问题

在课程中3:55老师关于存入redis中key的讲解不是很明白

为什么在命名redis_key = 'jingdong'之后，存入redis的数据的键值依然是name = 'app'中的app

懒惰的围脖 2024-04-17

源自：Scrapy 高级爬虫框架与分布式爬虫 2-10 【实战】京东商城：分布式爬虫（二）

10

收起

1回答

好帮手慕小猿回答被采纳获得+3积分 2024-04-18 10:08:55

同学，你好！配置 redis_key 可以将不同的爬虫任务分配到不同的任务队列中，同学可以理解redis_key 就是放第一次开始爬取的url。在 Scrapy-Redis 中，爬取后的数据保存在 Redis 中时，通常遵循<spider_name>:items的格式进行命名的。其中：

<spider_name> 是具体的爬虫名称，这样可以确保不同爬虫的数据被分开存储。

items 是默认的存储键，用于存储爬取的数据。

之前爬取flask 项目时老师存储redis里的数据也是app ,指的是name="app"中的app

这节课老师的项目名也是app ,所以爬取的数据也是存储在app 中

祝学习愉快~

懒惰的围脖提问者 #1

关于“配置 redis_key 可以将不同的爬虫任务分配到不同的任务队列中”是否可以理解为分布式爬虫可以在一个项目中，进行多个网页的抓取，例如本例中抓取的数据网页为京东，redis_key = 'jingdong' 在终端传入 lpush jingdong 京东url 将jingdong的分布式抓取任务传递给分布式爬虫,那在给redis_key = ['jingdong', 'url2', 'url3']那么
lpush url2 url2地址
lpush url3 url3地址
是否会将这三个网址全部通过分布式爬虫抓取到目标网页，将三个网页全部数据存入到redis数据库中app键中？

2024-04-18 10:56:42
好帮手慕小猿回复提问者懒惰的围脖 #2

同学，你好！会的
祝学习愉快~

2024-04-18 11:17:40

相似问题

密码验证问题

我想咨询下，有没QQ群，有问题要提问

边框背景的问题

有个问题？

我问问sdk兼容性问题

登录后可查看更多问答，登录/注册

Python全能工程师 2024 版

参与学习 1553 人
提交作业 2097 份
解答问题 772 个

8阶段5大热门领域，从入门到实战，带你从零基础晋级全能，全面提升就业力

本课精华内容

问答作业

慕慕生鲜网站及其接口在线文档无法访问

13 3

不知道为什么出错了

26 10

老师，为什么会一直显示握手失败啊，而且代码也没有运行下去

22 10

课程中老师讲的这个代码是什么意思啊，并不是很明白

16 9

为什么我获取到信息是这样子的啊，是被反爬了吗。怎么解决啊

20 8

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载