内容采集,从各个cp方采集书籍到植宇内容中台

zhaoyang f5622c2343 update status 2 年之前
content_spider f5622c2343 update status 2 年之前
.gitignore ab0342a55b spider init 2 年之前
README.md ab0342a55b spider init 2 年之前
scrapy.cfg ab0342a55b spider init 2 年之前

README.md

采集脚本

cd /home/www/wangdu_spider

7lou采集

  • 全部采集,有去重 scrapy crawl 7lou
  • 部分采集,不去重 scrapy crawl zbone -a bid=xx,xx,xxx

趣阅采集

  • 全部采集,有去重 scrapy crawl shuangduxs
  • 部分采集,不去重 scrapy crawl sdone -a bid=xxx,xxx,xxx