这里自定义的user-agent中间件没有意义吗？
既然最后用的是settings里面的user-agent,这里自定义的user-agent中间件没有意义吗？一般爬取网站时是使用自定义user-agent随机选取比较好，还是直接在settings里面写一个比较好
16
收起
正在回答 回答被采纳积分+1
1回答
4.入门主流框架Scrapy与爬虫项目实战
- 参与学习 人
- 提交作业 107 份
- 解答问题 1672 个
Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。
了解课程
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星