亲爱的同学们,经过一段时间的学习,大家对 Scrapy 爬虫框架的运用是否已熟练掌握了呢?接下来请使用 Scrapy 框架完成下面的作业吧!
作业描述
为了更加高效的进行数据抓取,请大家运用 Scrapy 框架,对目标站点懂球帝的国内动态资讯数据进行抓取,保存至 Redis 数据库中。
抓取内容包含:新闻标题(title)、发行时间(release_time)、作者(author)、新闻内容(content)
目标站点 url:https://www.dongqiudi.com/articles
评分标准是什么?
一、规范【10分】
1、类的定义、类的成员变量命名规范
2、代码结构要层次分明
3、Python 代码规范及添加适量注释
二、程序整体运行效果【20分】
实现数据的抓取和存储
三、爬虫项目分析与实现【50分】
四、数据成功写入到数据库中【20分】