关于异步请求的网站和动态网页
异步请求的网站和动态网页都是在网页源代码里看不到需要的代码，这两者有什么区别吗？这两者那个更适合用selenium，那个更适合用scrapy啊？
18
收起
正在回答
2回答
同学，你好。
1、selenium用来模仿浏览器对网页的请求，如果得到可以访问的url是可以通过selenium请求的
2、异步请求是相对于请求方来说，实现高并发的请求，动态网页是服务器返回给我们的网页是动态加载的。
如果解决了你的疑惑，请采纳，祝学习愉快～
好帮手慕笑蓉
2020-06-15 15:27:07
同学，你好。selenium用来模仿浏览器对网页的请求，scrapy是异步请求网页数据，通常情况下，这两者可以一起使用，如：在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。
如果解决了你的疑惑，请采纳，祝学习愉快～
相似问题
登录后可查看更多问答，登录/注册
4.入门主流框架Scrapy与爬虫项目实战
- 参与学习 人
- 提交作业 107 份
- 解答问题 1672 个
Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。
了解课程
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星