user-agent疑问
本节，在settings中将user-agent设置为固定的一个值，这样子在大量爬取瓜子网站信息的时候，不会被网站发现，禁止爬取吗？
在这里输入代码，可通过选择【代码语言】突出显示
10
收起
正在回答
1回答
同学你好，user-agent用来告诉网站服务器，访问者是通过什么工具来请求的，如果是用户浏览器，不会限制请求，下面的user-agent设置的就是浏览器
加油，祝学习愉快~~~
相似问题
这个user-agent是固定的了
21
0
4
这里只需要设置请求头的user-agent吗？
10
0
3
关于user-agent
21
0
1
获取请求头"User-Agent"
12
0
1
这里自定义的user-agent中间件没有意义吗？
16
0
1
登录后可查看更多问答，登录/注册
4.入门主流框架Scrapy与爬虫项目实战
- 参与学习 人
- 提交作业 107 份
- 解答问题 1672 个
Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。
了解课程
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星