我在请求前设置cookie为什么没用
视频中是拦截响应,判断是不是需要解密cookie,设置好cookie再重新请求。我想用另外一种方法
我事先解密的很多cookie放在数据库中(确定cookie都有效),然后在请求前设置cookie,但是到了解析文件中的parse方法中得到的响应 还是出现了‘正在打开中,请稍后’。这个怎么回事?
def process_request(self, request, spider):
n =spider.con.count()
cookie=spider.con.find_one({'num':random.randint(1,n)},{'_id':0,'antipas':1})
request.cookies = cookie
# 为了证明cookie是不是真的有效,紧接着写一个请求,发现cookie是有效的,可以请求到页面,但是在解析文件中得不到页面数据
response = requests.get(url='https://www.guazi.com',cookies=cookie)
print(response.text)
9
收起
正在回答 回答被采纳积分+1
1回答
4.入门主流框架Scrapy与爬虫项目实战
- 参与学习 人
- 提交作业 107 份
- 解答问题 1672 个
Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星