You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
wangweiliang2022 8ab3e61023 update 抖音评论接口 4 months ago
README.md update 抖音评论接口 4 months ago

README.md

徐汇项目增量爬虫

window 环境

1、yelp 每月1号更新
2、twitter 每周一更新一次
3、instagram 每月1号更新
4、tiktok 每月1号更新
5、trip 每月 2号~5号更新
6、小红书 每月底更新一次
7、抖音 每月底更新一次

服务器环境

1、微博 每两周更新一次
2、hudson yards 、Miami 官网爬取每两周更新一次

无法增量更新的网站 :马蜂窝、高德,但可以重新获取全部的评论

原因:马蜂窝、高德 评论时间不规律,需要重新获取全部评论

环境问题导致无法爬取的网站:携程

原因:电脑打开了ExpressVPN 则无法获取携程评论

抖音接口问题:出售人不继续向我们出租抖音评论接口