scrapy爬取数据不完整

如题，使用scrapy爬取百度新闻URL时，相同的xpath语句，爬取的数据却大量缩水。在浏览器使用xpath语句时，显示300多条数据，但是使用scrapy却只能爬到60多条数据。急求解决方案。

源自：异步网络爬虫之Scrapy 2-6 爬取目标站点首页信息

收起

1回答

好帮手慕笑蓉回答被采纳获得+3积分 2020-05-08 18:44:03

同学，你好。可能是由于请求对方服务器的的速度太快，就会导致服务器无数据返回，查看控制台可以看到虽然请求参数是200，但数据为空。建议同学设置爬虫的请求速度和下载速度，如可以通过time.sleep控制程序请求的速度。

如果解决了你的疑惑，请采纳，祝学习愉快～

慕粉2259528397 提问者 #1

请问sleep函数应该具体写在哪里呢

2020-05-08 20:42:26
好帮手慕笑蓉回复提问者慕粉2259528397 #2

同学，你好。可将sleep内容写到每次向网页发起请求数据前，以控制每次请求数据的请求间隔时间。祝学习愉快~

2020-05-09 14:17:59
慕粉2259528397 提问者回复好帮手慕笑蓉 #3

我的程序里面对第一页数据只请求一次（news = response那一行），sleep就不知道往哪里写，写在请求前面吗，还是后面？

2020-05-09 17:18:43