数据爬取问题

同学，你好！

1、打开懂球帝网站后，先在首页打开浏览器的'检查'，选择NetWork---->Fetch/XHR，再点击动态标签，可以看到返回的json文件

2、打开其中一个json文件，可以看到是英超，next是下一页数据的url，articles是页面中的每个文章

根据next可以分析出请求的url

3、articles中的url是当前文章的url，published_at是发表时间

在处理页码请求返回的数据时，可以使用json.loads()解析数据后使用for循环得到每个具体的文章，再使用get获取相应的数据

在解析详情页数据时，url和发表时间直接使用response.request.meta[]取值即可

4、图片可以直接获取图片的url

​

祝学习愉快！