正在回答 回答被采纳积分+1
1回答
好帮手慕小猿
2023-07-10 10:09:13
同学，你好！start_url 爬取完成后，start_url 会被清除，速度非常快。同学可以先将种子下发到redis 中，再使用scrapy crawl get_movie运行项目，然后马上刷新reids数据库，可能会看到如视频的request、dupefilter数据
祝学习愉快~
-
同学，你好！同学检查下， 请求下一页url时是否设置了dont_filter=True
若设置了redis 中不显示dupefilter数据，爬取完成后就没有数据了，不设置redis 数据库中会显示dupefilter数据
祝学习愉快~
2023-07-10 15:31:06
Python全能工程师
- 参与学习 人
- 提交作业 16233 份
- 解答问题 4470 个
全新版本覆盖5大热门就业方向：Web全栈、爬虫、数据分析、软件测试、人工智能，零基础进击Python全能型工程师，从大厂挑人到我挑大厂，诱人薪资在前方！
了解课程
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星