爬的好慢

爬的好慢

爬了10多分钟瓜子二手车才爬了5000条数据,正常么

DOWNLOAD_DELAY = 0.1
只有一条请求


正在回答

登陆购买课程后可参与讨论,去登陆

1回答

同学,你好。爬取速度慢有多方面的原因,在爬大量网页的时,一边爬一边写进数据库的话会导致内存占用过多,速度变慢。也和网速或网页中的内容多少有关系。没影响的

如果我的回答解决了您的疑惑,请采纳!祝学习愉快~~~~

问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
4.入门主流框架Scrapy与爬虫项目实战
  • 参与学习           人
  • 提交作业       107    份
  • 解答问题       1672    个

Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

了解课程
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师