为什么只能爬取9页数据

一页数据大概50页，数据库中有450条，就不能爬取了

mfloat流风 2020-02-14

源自：爬虫进阶与实战 7-5 实战—实现爬取信息持久化业务-1

18

收起

1回答

慕之熠_灿烈 2020-02-14 16:18:33

同学，你好。

造成上述问题可能的原因如下：

（1）ip有效性被服务器甄别出来，造成及时性的数据丢失；

（2）可按页进行抓取，定位到哪一页到数据不可以正常抓取，然后分析其页面构成与之前页面是否一致或分析其目标url的链接中参数的与之前页面是否相同；

如果我的回答解决了您的疑惑，请采纳！祝~学习愉快~

提问者 mfloat流风 #1

添加了代理

2020-02-14 17:00:14
慕之熠_灿烈回复提问者 mfloat流风 #2

建议同学，按照（2）中所描述的方式先进行下测试，查看到底是哪一页数据未抓取成功，然后针对这一页的数据单独进行抓取，观看其是否成功下载对应的数据。

2020-02-14 18:10:42

相似问题

关于爬虫爬取数据的问题

老师我把page写的好大，还是能获取到数据

数据爬取问题

scrapy爬取数据不完整

老师为什么这里显示的数据跟我数据库不符合？

登录后可查看更多问答，登录/注册

4.入门主流框架Scrapy与爬虫项目实战

参与学习人
提交作业 107 份
解答问题 1672 个

Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

本课精华内容

问答作业

shell脚本老是报错

45 8

没有办法取到全部城市数据，要怎么操作呢

40 3

获取全部城市的问题

111 3

那个思科的下载不了啊。。。

30 1

数据爬取问题

44 19

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载