数据抓取不全的问题

老师好，我在抓取数据存入数据库时，发现数据库中的数据总数没有网站上的多，

请问：导致数据抓取不全的原因有哪些？（大概丢失了800多条数据）

源自：异步网络爬虫之Scrapy 2-9 目标信息数据持久化

收起

1回答

好帮手慕美 2020-03-30 18:35:57

同学，你好。同学可以看下在爬取数据时得到的数据是否是完整的。scrapy是异步的，一旦请求速度和下载页面速度过快，就会导致服务器无数据返回，会造成数据遗漏的情况。

如果我的回答解决了您的疑惑，请采纳！祝学习愉快~~~~

提问者程序蛙 #1

1.怎么查看爬取数据时得到的数据是否是完整的？ 2.若不完整，怎么解决？

2020-03-31 11:36:11
好帮手慕美回复提问者程序蛙 #2

同学，你好。 1、同学可以看下在获取项目url及在控制台打印的内容是否与网站上是相同的 2、同学可以不断的请求，然后对数据进行去重，才能保证数据的唯一性。课程中没有涉及到去重的内容，同学可以查阅相关文档进行学习。祝学习愉快~~~~

2020-03-31 16:25:11