关于请求车的详情页时报错回调函数的问题

如果请求每辆车的详情页的时候报错了，调用handle_err()方法，这时候failure.request.meta的meta已经是包含车名和详情页url的字典了，而不是包含车名、品牌、来源url的字典了，就保存不到mongodb中了吧？

慕勒1399825 2020-06-05

源自：实战：抓取二手车网站汽车数据 3-7 解析目标站点的列表页数据

12

收起

1回答

好帮手慕美 2020-06-05 13:45:01

同学，你好。会保存到mongodb中的，在get_task()中会将取到的数据删除，当请求失败后会获取到失败的task保存到数据库中，以便后续重新得到该task并请求数据

如果我的回答解决了您的疑惑，请采纳！祝学习愉快~~~~

提问者慕勒1399825 #1

在请求详情页的时候报错，failure.request.meta的meta已经是包含车名和详情页url的字典了，和原mongodb中的字典已经不一样了啊

2020-06-05 14:48:15
好帮手慕美回复提问者慕勒1399825 #2

同学，你好。当在发送请求有错误时会执行errback，通过failure可以得到当前失败的request和response，从而将的请求中的task扔回到数据库中。可以得到车名和详情页url表明该请求没有错误，不会执行errback。祝学习愉快~~~~

2020-06-05 15:45:33

相似问题

问题汇总:跨域访问需要后台那边配合吗？为什么动态生成函数名？等等、、、

关于函数的问题

请问关于回调函数的疑问

关于函数调用

关于回调函数

登录后可查看更多问答，登录/注册

4.入门主流框架Scrapy与爬虫项目实战

参与学习人
提交作业 107 份
解答问题 1672 个

Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

本课精华内容

问答作业

shell脚本老是报错

45 8

没有办法取到全部城市数据，要怎么操作呢

40 3

获取全部城市的问题

111 3

那个思科的下载不了啊。。。

30 1

数据爬取问题

44 19

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载