老师，像这种没有把详情页的url放在html文本里的我应该怎么获取啊

吴老师在线叛逃 2023-10-05

源自：Scrapy 高级爬虫框架与分布式爬虫 1-10 Scrapy 伪装爬虫手段二：设置代理 IP

13

收起

1回答

好帮手慕小猿 2023-10-06 16:49:59

同学，你好！这种适合使用selenium 爬取，使用xpath 获取元素，使用click点击进去再获取详细内容的数据

祝学习愉快~

提问者吴老师在线叛逃 #1

那我应该怎么实现获取详情页数据之后进行翻页获取详情页数据呢

2023-10-07 15:58:29
好帮手慕小猿回复提问者吴老师在线叛逃 #2

同学，你好！获取详情页数据之后无法再返回之前页面进行翻页了。每个页面有20条以上数据，进入详细信息后再返回之前的窗口句柄，即：返回到数据列表页太难计数了。获取详情和翻页只能选择其中一个进行爬取。或者将数据列表页的标题、工作年限等属性爬取下来，详情的标题、详细介绍等内容爬取下来分别存在不同表中，再使用mysql的表连接，通过标题进行表关联，再进行数据合并。爬虫的爬取翻页、再爬取详细信息老师暂时还不能实现。
祝学习愉快~

2023-10-07 20:59:15
提问者吴老师在线叛逃回复好帮手慕小猿 #3

好的谢谢老师

2023-10-07 21:04:13

相似问题

关于详情页的数据请求该怎么获取？

详情页的跳转没有思路

老师，像这种两个页面之间的url没有变化的网站，我应该怎么做才能实现翻页爬取呢

如何将详情页与首页的商家详情绑定

老师，首页地址爬取的时候，怎么获新闻的详情的连接地址，

登录后可查看更多问答，登录/注册

Python全能工程师 2024 版

参与学习 1553 人
提交作业 2097 份
解答问题 772 个

8阶段5大热门领域，从入门到实战，带你从零基础晋级全能，全面提升就业力

本课精华内容

问答作业

慕慕生鲜网站及其接口在线文档无法访问

13 3

不知道为什么出错了

26 10

老师，为什么会一直显示握手失败啊，而且代码也没有运行下去

22 10

课程中老师讲的这个代码是什么意思啊，并不是很明白

16 9

为什么我获取到信息是这样子的啊，是被反爬了吗。怎么解决啊

20 8

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载