requeset请求什么时候需要带请求头呢

收起

1回答

慕之熠_灿烈 2019-06-17 09:50:23

同学，您好。爬虫中设置请求头的目的是为了隐藏‘网络爬虫’的真实身份，从而避免目标服务器实施反爬策略以限制数据爬取，所以在一般情况下，都应该带上请求头的相关选项进行数据抓取。

如果我的回答解决了您的疑惑，欢迎采纳！！祝学习愉快~~~~~

提问者慕粉3125272 #1

那请求头中需要带上session吗

2019-06-17 13:52:27
慕之熠_灿烈回复提问者慕粉3125272 #2

同学，您好。需携带session的场景是当我们想绕过登录流程直接进入到登录后的页面。若待爬取的目标站点没有登录相关的设置，可以不携带session直接进行数据爬取；若目标站点需要进行登录才可以抓取目标数据，那么就需要携带session(前提是目标站点验证用户登录的策略是使用session进行记录)。如果我的回答解决了您的疑惑，欢迎采纳！！祝学习愉快~~~~~

2019-06-17 17:42:06