NEED Python2.7

功能

• 支持从json文件读取抓取任务

• 支持 python字典数据源方式 定义抓取任务

• 通配符和多页码抓取

• 参数暂存和传递 深度抓取

• css选择器

• 使用requests抓取网页

• 使用webkit内核抓取网页

安装

• 从pip安装 pip install pyrailgun

• 源码安装 python setup.py install

语法

• json对象说明

例子

• 快速入门

• 全功能简单例子

• 读取输入变量

• WebKit抓取

• 在没有X的服务器上运行webkit内核抓取

其他

• python2.7 是必须的

• _pages

更新

• 0.25 fix 一个crash问题

• 0.24 受版权限制，替换webbroser为自己写的版本 去除yaml的支持