创建middlewares.py文件。

Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。

#middlewares.py

#!/usr/bin/env python3

import random

import base64

from settings import USER_AGENTS

from settings import PROXIES

#随机的user_Agent

class RandomUserAgent(object):

def process_request(self,request,spider):

useragent = random.choice(USER_AGENTS)

request.headers.setdefault("User-Agent",useragent)

class RandomProxy(object):

proxy = random.choice(PROXIES)

if proxy['proxy'] is None：

request.meta['proxy'] = "http://"+proxy['ip_port']

else:

#对账户进行加密

base64_userpasswd = base64.b64encode(proxy['user_passwd'])

#对应到代理服务器的信令格式里

request.hearers['Proxy-Authorization'] = 'Basic'+base64_userpasswd

request.meta['proxy'] = "http://"+proxy['ip_port']

为什么HTTP代理要使用base64编码：

HTTP代理的原理很简单，就是通过HTTP协议与代理服务器建立连接，协议信令中包含要连接到的远程主机的IP和端口号，如果有需要身份验证的话还需要加上授权信息，服务器收到信令后首先进行身份验证，通过后便与远程主机建立连接，连接成功之后会返回给客户端200，表示验证通过，就这么简单，下面是具体的信令格式：

CONNECT 59.64.128.198:21

HTTP/1.1 Host: 59.64.128.198:21

Proxy-Authorization: Basic bGV2I1TU5OTIz

User-Agent: OpenFetion

其中Proxy-Authorization是身份验证信息，Basic后面的字符串是用户名和密码组合后进行base64编码的结果，也就是对username:password进行base64编码。

HTTP/1.0 200 Connection established

OK，客户端收到收面的信令后表示成功建立连接，接下来要发送给远程主机的数据就可以发送给代理服务器了，代理服务器建立连接后会在根据IP地址和端口号对应的连接放入缓存，收到信令后再根据IP地址和端口号从缓存中找到对应的连接，将数据通过该连接转发出去。

2. 修改settings.py配置USER_AGENTS和PROXIES

添加USER_AGENTS：

USER_AGENTS = [

"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",

"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",

"Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",

"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)"

]

添加代理IP设置PROXIES：免费代理IP可以网上搜索，或者付费购买一批可用的私密代理IP：

PROXIES = [

{'ip_port':'111.8.60.91:8123','user_passwd','user1:pass1'},

{'ip_port':'111.8.60.92:80','user_passwd','user1:pass1'},

{'ip_port':'111.8.60.93:8000','user_passwd','user1:pass1'}

]

除非特殊需要，禁用cookies，防止某些网站根据Cookie来封锁爬虫。

COOKIES_ENABLED = False

设置下载延迟

DOWNLOAD_DELAY = 3

最后设置setting.py里的DOWNLOADER_MIDDLEWARES，添加自己编写的下载中间件类。

DOWNLOADER_MIDDLEWARES = {

#'mySpider.middlewares.MyCustomDownloaderMiddleware': 543,

'mySpider.middlewares.RandomUserAgent':1,

'mySpider.middlewares.ProxyMiddleware':100

}

Settings

Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比如 设置Json Pipeliine、LOG_LEVEL等。

内置设置参考手册BOT_NAME默认: 'scrapybot'当您使用 startproject 命令创建项目时其也被自动赋值。CONCURRENT_ITEMS默认: 100Item Processor(即 Item Pipeline) 同时处理(每个response的)item的最大值。CONCURRENT_REQUESTS默认: 16Scrapy downloader 并发请求(concurrent requests)的最大值。DEFAULT_REQUEST_HEADERS默认: 如下

{

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'en',

}

Scrapy HTTP Request使用的默认header。DEPTH_LIMIT默认: 0爬取网站最大允许的深度(depth)值。如果为0，则没有限制。DOWNLOAD_DELAYDOWNLOAD_DELAY = 0.25 # 250 ms of delay默认情况下，Scrapy在两个请求间不等待一个固定的值， 而是使用0.5到1.5之间的一个随机值 * DOWNLOAD_DELAY 的结果作为等待间隔。默认: 0下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度， 减轻服务器压力。同时也支持小数:DOWNLOAD_TIMEOUT默认: 180下载器超时时间(单位: 秒)。ITEM_PIPELINES默认: {}保存项目中启用的pipeline及其顺序的字典。该字典默认为空，值(value)任意，不过值(value)习惯设置在0-1000范围内，值越小优先级越高。ITEM_PIPELINES = { 'mySpider.pipelines.SomethingPipeline': 300, 'mySpider.pipelines.ItcastJsonPipeline': 800, } LOG_ENABLED默认: True是否启用logging。LOG_LEVEL默认: 'DEBUG'log的最低级别。可选的级别有: CRITICAL、 ERROR、WARNING、INFO、DEBUG 。USER_AGENT默认: "Scrapy/VERSION (+)"爬取的默认User-Agent，除非被覆盖。点击关注发私信（基础视频），即可获取下载链接：