使用selenium需要不需要考虑反爬措施吗

老师，使用selenium需要不需要考虑反爬措施吗

程序蛙 2020-03-24

源自：自动化爬虫 6-2 实战—selenium实现51job全站点岗位信息自动化抓取-2

17

收起

1回答

好帮手慕美 2020-03-24 11:39:13

同学，你好。需要考虑反爬的，也要看爬取的网站是否设置了反爬机制，若设置了则是需要考虑的。不同网站的反爬策略是不一样的。

如果我的回答解决了您的疑惑，请采纳！祝学习愉快~~~~

提问者程序蛙 #1

老师，怎样在selenium中设置代理，需不需要设置headers，如果需要怎样设置？另外，怎样在selenium中使用多线程去抓取51job中的职位信息？

2020-03-24 11:59:58
好帮手慕美回复提问者程序蛙 #2

同学，你好。selenium是一种自动化测试工具，在爬取数据时大多数会用scrapy框架，后面课程中会讲到用框架，设置代理及多线程爬取信息，同学可先向后继续学习。祝学习愉快~~~~

2020-03-24 15:06:15

相似问题

scrapy爬取企查查多次爬取导致需要进行用户验证怎么办

requeset请求什么时候需要带请求头呢

参数错误，需要考虑吗？

使用selenium不需要定制请求头吗

什么时候需要有返回值

登录后可查看更多问答，登录/注册

4.入门主流框架Scrapy与爬虫项目实战

参与学习人
提交作业 107 份
解答问题 1672 个

Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

本课精华内容

问答作业

shell脚本老是报错

45 8

没有办法取到全部城市数据，要怎么操作呢

40 3

获取全部城市的问题

111 3

那个思科的下载不了啊。。。

30 1

数据爬取问题

44 19

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载