scrapy-rabbit

在scrapy的基础上进行修改,使用了异步请求,加快采集速度,并与rabbitmq结合,实现了断点续爬,与防止漏采


License
MIT
Install
pip install scrapy-rabbit==0.2.9