这个user-agent是固定的了

这个user-agent是固定的了

视频里的user-agent固定不变会不会被发现啊,设置随机的user-agent把优先级改最高行不行?不然怎么实现随机user-agent,还是说可以在setting文件中加一个random函数

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
慕之熠_灿烈 2020-03-02 15:41:00

同学,你好。

视频中但user-agent是在众多但user-agent中随机选择其中一个来作为本次爬虫的user-agent,实现方式跟爬去土巴兔站点时所使用的策略相同(该部分内容在视频中10分30秒左右)。

可以通过在setting文件中开启对应的中间件的方式来进行user-agent的随机选择(启动一个爬虫时,对应的中间件选择其中一个user-agent)。

如果我的回答解决了您的疑惑,请采纳!祝~学习愉快~

  • 提问者 weixin_慕UI515575 #1
    视频中就是因为设置中间件不行,中间件里设置user-agent就进不了网页,一直在算cookies值,视频中14分钟时关闭了user-agent中间件,在setting中开启了一个固定的user-agent,然后才能正常访问。这样的话是不是就不能设置随机user-agent了,还是说在setting中间也导入个random来设置随机
    2020-03-05 12:48:20
  • 好帮手乔木 回复 提问者 weixin_慕UI515575 #2
    同学你好:同学在setting中导入random设置user-agent也是可以的。学习愉快^_^。
    2020-03-05 17:28:00
  • 慕之熠_灿烈 回复 提问者 weixin_慕UI515575 #3
    本案例中实现爬虫时,对应的策略要求携带着cookie在再次访问目标站点时,user-agent需要与第一次获取cookie值的user-agent是一致的,所以手动修改成了唯一的user-agent,也就是说在本案例中不能设置随机user-agent来动态修改user-agent值。 此外,settings文件作为Scrapy框架的全局配置文件,若需要添加自定义的相关配置,则需要按照自定义中间件的方式进行,然后在settings文件中开启对应的选项即可,不建议在settings文件中直接自定义方法的方式来实现某功能,而且有可能会导致爬虫的启动、运行、配置信息读取等失败。
    2020-03-05 17:34:00
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
4.入门主流框架Scrapy与爬虫项目实战
  • 参与学习           人
  • 提交作业       107    份
  • 解答问题       1672    个

Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

了解课程
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师