这里只需要设置请求头的user-agent吗?

这里只需要设置请求头的user-agent吗?

之前爬51job的时候,整个请求头都在伪装呀,为什么这里伪装一下user-agent就可以了?

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
好帮手慕美 2021-05-26 10:16:01

同学,你好!在请求头中user-agent是必不可少的,一般设置user-agent就可以,若还有其他更详细的设置,可以修改settings中的DEFAULT_REQUEST_HEADERS。

祝学习愉快!

  • 提问者 TeacherZhe #1

    也就是说面对大部分网站只需要伪装请求头里的user-agent就可以了?

    2021-05-27 05:20:59
  • 好帮手慕美 回复 提问者 TeacherZhe #2

    同学,你好!需要对具体网站具体分析,对于简单不复杂的网站是可以的。祝学习愉快!

    2021-05-27 11:15:00
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
4.入门主流框架Scrapy与爬虫项目实战
  • 参与学习           人
  • 提交作业       107    份
  • 解答问题       1672    个

Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

了解课程
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师