老师，像这种两个页面之间的url没有变化的网站，我应该怎么做才能实现翻页爬取呢

目标网址

https://we.51job.com/pc/search?keyword=python%E7%88%AC%E8%99%AB

吴老师在线叛逃 2023-10-05

源自：Scrapy 高级爬虫框架与分布式爬虫 1-10 Scrapy 伪装爬虫手段二：设置代理 IP

8

收起

1回答

好帮手慕小猿回答被采纳获得+3积分 2023-10-06 16:44:05

同学，你好！同学找的url接口不对，在搜索框中输入“python 爬虫”后，浏览器选择网络，点击搜索按钮可以看到所有的请求

可以找到如下url是返回不同页数的内容

同学修改pageNum参数就可以获取想要页的数据

祝学习愉快~

吴老师在线叛逃提问者 #1

请问如果以后我碰到类似的情况应该怎么有效的找到正确的url呢

2023-10-06 23:53:13
好帮手慕小猿回复提问者吴老师在线叛逃 #2

同学，你好！像这个回答一样，通过点击浏览器的“网络”选项卡，发送请求时，观察“网络”选项卡中的url，点击哪些url有返回数据，看“响应”选项卡中有我们要的数据。有我们要的数据就是对的url。

祝学习愉快~

2023-10-07 07:17:28
吴老师在线叛逃提问者回复好帮手慕小猿 #3

谢谢老师解答

2023-10-07 14:37:17

相似问题

老师，像这种没有把详情页的url放在html文本里的我应该怎么获取啊

老师，问一下两个页面之间数据的使用该怎么做

关于异步请求的网站和动态网页

老师我把page写的好大，还是能获取到数据

老师或者其他有在做前端的朋友，请问做5-2这种网页，花多久时间实现才算是满足工作要求？

登录后可查看更多问答，登录/注册

Python全能工程师 2024 版

参与学习 1553 人
提交作业 2097 份
解答问题 773 个

8阶段5大热门领域，从入门到实战，带你从零基础晋级全能，全面提升就业力

本课精华内容

问答作业

慕慕生鲜网站及其接口在线文档无法访问

13 3

不知道为什么出错了

26 10

老师，为什么会一直显示握手失败啊，而且代码也没有运行下去

22 10

课程中老师讲的这个代码是什么意思啊，并不是很明白

16 9

为什么我获取到信息是这样子的啊，是被反爬了吗。怎么解决啊

20 8

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载