scrapy_proxy
安装
python3 setup.py install
或者
pip3 install git+https://github.com/Apuyuseng/scrapy-proxy.git
启用插件
settings.py
SPIDER_MIDDLEWARES = {
"scrapy_proxy.RedisMiddleware": 400
}
# 配置redis
RIDES = {
# 还可以填相关参数，和redis.ConnectionPool参数一致
'host':'localhost'
}
# 这里填写redis中存储等代理key,代理存储方式应该是列表，其中列表元素是json形式,如{'ip':'xxx.xxx.xxx.xxx:8080',account:'', 'password':''}
RIDES_PROXYS_KEY = ''检测ip被封
有些网站在检测到爬虫后会采取封ip,但是状态码是正常的，所以插件在每次请求返回数据都会调用 spider.check_invalid_proxy(response, request), 如果检测不正常可以进行一定处理，然后返回request对象，插件将会更换代理
