内容采集，从各个cp方采集书籍到植宇内容中台

3 Achegas

1 Branches

zhaoyang ca6924088d setting		%!s(int64=2) %!d(string=hai) anos
content_spider	ca6924088d setting	%!s(int64=2) %!d(string=hai) anos
.gitignore	ab0342a55b spider init	%!s(int64=2) %!d(string=hai) anos
README.md	ab0342a55b spider init	%!s(int64=2) %!d(string=hai) anos
scrapy.cfg	ab0342a55b spider init	%!s(int64=2) %!d(string=hai) anos

采集脚本

cd /home/www/wangdu_spider

7lou采集

全部采集,有去重 scrapy crawl 7lou
部分采集,不去重 scrapy crawl zbone -a bid=xx,xx,xxx

趣阅采集

全部采集,有去重 scrapy crawl shuangduxs
部分采集,不去重 scrapy crawl sdone -a bid=xxx,xxx,xxx