我在请求前设置cookie为什么没用

我在请求前设置cookie为什么没用

视频中是拦截响应,判断是不是需要解密cookie,设置好cookie再重新请求。我想用另外一种方法

我事先解密的很多cookie放在数据库中(确定cookie都有效),然后在请求前设置cookie,但是到了解析文件中的parse方法中得到的响应 还是出现了‘正在打开中,请稍后’。这个怎么回事?

def process_request(self, request, spider):
   n =spider.con.count()
   cookie=spider.con.find_one({'num':random.randint(1,n)},{'_id':0,'antipas':1})
   request.cookies = cookie

    # 为了证明cookie是不是真的有效,紧接着写一个请求,发现cookie是有效的,可以请求到页面,但是在解析文件中得不到页面数据

    response = requests.get(url='https://www.guazi.com',cookies=cookie)

     print(response.text)

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
好帮手慕笑蓉 2020-04-21 15:56:51

同学,你好。瓜子网站设置了反爬,需要破解js得到cookies才可以,解析文件还是得到“正在打开中,请稍后”可能是同学的cookies对请求的连接无效,老师视频中的cookies来源于破解的JS文件,同学可以尝试得到破解的js文件中的cookies,再次请求尝试。

如果解决了你的疑惑,请采纳,祝学习愉快~ 

  • 提问者 weixin_慕UI515575 #1
    就是js中的cookies.,只不过我先解析出许多cookies,但是放到这里就不可以,但是拿去单独request请求是可以的,cookies是有效的
    2020-04-21 18:58:49
  • 同学,你好。cookies每次都是不一样的,可能使用一次有效,不会每次使用都有效,js文件在每次请求的时候都会更新,所以每次得到的cookies都不一样,所以会导致访问不了。 祝学习愉快~
    2020-04-22 10:04:45
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
4.入门主流框架Scrapy与爬虫项目实战
  • 参与学习           人
  • 提交作业       107    份
  • 解答问题       1672    个

Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

了解课程
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师