老师,发送种子url的时候scrapy框架是如何请求的呢?

老师,发送种子url的时候scrapy框架是如何请求的呢?

https://img1.sycdn.imooc.com//climg/630dfbd40990fb9117770684.jpg

这里只是把种子连接发到redis里,但是centos中的scrapy程序是如何请求这个url的呢?

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
好帮手慕美 2022-08-31 10:14:46

同学,你好!在scrapy-redis分布式爬虫中,爬虫是依赖spider中设置的redis_key启动的,当往get_movie:start_urls中填入url后,爬虫就会启动,并取出这些链接进行爬取。

祝学习愉快!

问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师