关于scrapy里使用ip的问题

关于scrapy里使用ip的问题

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
好帮手慕美 2022-03-14 10:53:46

同学,你好!ip地址前要加上http,例:request.meta['proxy'] = "http://" + proxy['ip_port']

祝学习愉快!

  • 提问者 __________千 #1

    https://img1.sycdn.imooc.com//climg/622eb0dc0954acd819201080.jpg

    https://img1.sycdn.imooc.com//climg/622eb0e8094de00519201080.jpg

    https://img1.sycdn.imooc.com//climg/622eb1f60902b0a619201080.jpg

    设置了代理ip,设置了随机ua,加了cookie,数据爬了一会就访问不到了

    2022-03-14 11:10:21
  • 好帮手慕美 回复 提问者 __________千 #2

    同学,你好!同学可以看下使用代理ip是否可以正常使用,该网站的反爬机制比较复杂,同学可以尝试爬取去哪儿手机端的数据,链接如下https://touch.piao.qunar.com/。或者使用Selenium进行爬取

    祝学习愉快!

    2022-03-14 13:22:40
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师