tgz
0a7a5be2bb
Merge branch 'master' of http://121.36.198.49:3000/zhiyu/zhiyu_content_spider
|
преди 2 години | |
|---|---|---|
| content_spider | преди 2 години | |
| .gitignore | преди 2 години | |
| README.md | преди 2 години | |
| scrapy.cfg | преди 2 години |
README.md
采集脚本
cd /home/www/wangdu_spider
7lou采集
- 全部采集,有去重 scrapy crawl 7lou
- 部分采集,不去重 scrapy crawl zbone -a bid=xx,xx,xxx
趣阅采集
- 全部采集,有去重 scrapy crawl shuangduxs
- 部分采集,不去重 scrapy crawl sdone -a bid=xxx,xxx,xxx
百川采集
scrapy crawl baichuanzw