老师，首页地址爬取的时候，怎么获新闻的详情的连接地址，
爬取以下地址，怎么获取到详情的地址？例如https://www.dongqiudi.com/news/1370496.html
不知道咋处理？请老师指导一下
https://www.dongqiudi.com/newsList/3，
https://www.dongqiudi.com/newsList/4，
https://www.dongqiudi.com/newsList/5，
https://www.dongqiudi.com/newsList/6
24
收起
正在回答
2回答
同学，你好。我们获得到的json文件的路径就是我们的请求路径。点击加载更多，会有json请求的文件。然后拼接json的请求路径即可。
如该请求https://dongqiudi.com/api/app/tabs/web/56.json?after=1572577395&page=1
其中56为栏目编号，after为时间戳，page为页码。栏目的编号都有：56,232,57,3,4,5,6。然后自己去拼接请求即可。
如果我解决了同学的问题，请采纳！学习愉快~~~~
4.入门主流框架Scrapy与爬虫项目实战
- 参与学习 人
- 提交作业 107 份
- 解答问题 1672 个
Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。
了解课程
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星