老师我在练习爬豆瓣遇到这些问题咋办?
尝试用scrapy顺着老师讲的这个案例的步骤去爬豆瓣的剧评,但是在同一次爬取的时候,同时出现了上面三种情况。
8
收起
正在回答 回答被采纳积分+1
1回答
好帮手慕燕燕
2022-12-10 10:45:34
同学,你好!豆瓣网站反爬机制比较严格,且一直在升级,这里的信息提示需要登录才能继续爬取数据,即便登录后也可能会有遇到ip封锁的问题,建议同学更换其他网站练习,例如果壳网,https://www.guokr.com/
祝:学习愉快!
Python全能工程师
- 参与学习 人
- 提交作业 16247 份
- 解答问题 4470 个
全新版本覆盖5大热门就业方向:Web全栈、爬虫、数据分析、软件测试、人工智能,零基础进击Python全能型工程师,从大厂挑人到我挑大厂,诱人薪资在前方!
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星