middlewares中自定义的类中的方法命名以及dont_filter参数问题

middlewares中自定义的类的方法名称比如process_reques这些名称是固定的吗？还是可以随意命名（测试随意命名后好像不行呢），以及dont_filter参数问题，dont_filter=True 告诉爬虫不参与去重这样不是会降低爬虫效率，该项目中在进行详情页请求时为什么会出现重复的url。

qq_rz眞_0 2021-10-27

源自：Scrapy爬虫项目实战 4-5 拥抱变化——解析详情页

9

收起

1回答

好帮手慕美回答被采纳获得+3积分 2021-10-27 16:05:50

同学，你好！

1、方法名是固定的，例：process_request：每个交给下载器的request对象都会经过该方法，并期望返回response 。

process_response：当下载器完成请求，返回响应给引擎的时候调用

2、不去重可能会降低爬虫效率，也会避免若请求重复爬取不到数据的情况。

3、重复的请求并不一定是重复的url，可能是多次请求一个url。可能会出现下载失败的情况，scrapy会重新请求，从而产生了重复的请求
祝学习愉快！

qq_rz眞_0 提问者 #1

哪些情况下会造成下载失败呢，网络原因这个应该是其中之一吧，是否还有其他情况，对于可能会出现下载失败的情况，scrapy会重新请求,如果多次下载失败scrapy还会重复请求吗？还是说可以设置重复请求的次数，比如我想如果请求失败次数超过3次就不再重复请求了。

2021-10-27 16:16:48
好帮手慕美回复提问者 qq_rz眞_0 #2

同学，你好！
1、大多数情况下是网络原因导致的
2、可以设置重试请求次数的，默认是3次。可以在setting.py文件中进行设置：
RETRY_ENABLED: 是否开启retry
RETRY_TIMES: 重试次数
祝学习愉快！

2021-10-27 17:06:42

相似问题

构造方法定义问题

方法中的数组a参数问题

数组名是不是有问题啊

关于类中的方法问题

自定义方法

登录后可查看更多问答，登录/注册

Python全能工程师

参与学习人
提交作业 16233 份
解答问题 4470 个

全新版本覆盖5大热门就业方向：Web全栈、爬虫、数据分析、软件测试、人工智能，零基础进击Python全能型工程师，从大厂挑人到我挑大厂，诱人薪资在前方！

本课精华内容

问答作业

可变参数和参数规则不是很明白

54 1

为什么add_student函数报错

34 1

所有程序都突然运行不了了

39 2

请问这个下划线如何打出来才不会报错

211 30

三引号和斜杠的问题

72 1

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载