scrapy这个的response会包含动态加载数据吗？

如果不能，该如何解决啊？

TeacherZhe 2021-04-07

源自：异步网络爬虫之Scrapy 2-6 爬取目标站点首页信息

8

收起

1回答

好帮手慕美 2021-04-07 11:02:36

同学，你好！动态加载的数据也是url中返回的内容，要具体分析url中返回的是什么数据，虽然是动态加载，但是会返回所有数据。

祝学习愉快！

提问者 TeacherZhe #1

诶，之前学selenium的时候不就是说request发送get请求不会返回动态数据嘛？
老师的意思是scrapy是和selenium一样，会返回所有类型的数据？

2021-04-07 19:11:53
好帮手慕美回复提问者 TeacherZhe #2

同学，你好！在数据采集之前，需要通过页面的加载方式（静态加载还是动态加载）确定需要获取资源的url，若是动态加载则需要分析得到数据对应的url，请求相应的url是可以获取所有数据的。
祝学习愉快！

2021-04-08 09:44:51

相似问题

关于异步请求的网站和动态网页

关于抓包的问题

静态成员方法中可以包含静态内部类嘛

滚动加载的问题

滚动加载的实现没听懂

登录后可查看更多问答，登录/注册

4.入门主流框架Scrapy与爬虫项目实战

参与学习人
提交作业 107 份
解答问题 1672 个

Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

本课精华内容

问答作业

shell脚本老是报错

45 8

没有办法取到全部城市数据，要怎么操作呢

40 3

获取全部城市的问题

111 3

那个思科的下载不了啊。。。

30 1

数据爬取问题

44 19

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载