住抓取过程中的域名问题

修改allowed_domains时，改为上述这种，却并未抓取到，而把前面的https://的去掉却可以抓取到，这是为什么？

慕无忌0471768 2021-10-18

源自：异步网络爬虫框架Scrapy 3-4 爬取目标站点首页信息

12

收起

1回答

好帮手慕凡 2021-10-19 10:35:25

同学，你好！

xiaoguotu.to8to.com是域名，https:// 是协议，当指定域名范围时，写上域名即可，祝学习愉快~

提问者慕无忌0471768 #1

那直接设置url就行了，为什么还要设置域名？

2021-10-19 10:44:19
好帮手慕凡回复提问者慕无忌0471768 #2

同学，你好！
防止在爬取过程中，跳到其他网站进行爬取，所以对域名加了限制，不在此允许范围内的域名就会被过滤，而不会进行爬取，祝学习愉快~

2021-10-19 10:53:31

相似问题

跨域的以为

域名映射

为什么我的抓出来数据浏览器省略了？

域名疑问

没有抓到包？？

登录后可查看更多问答，登录/注册

Python全能工程师

参与学习人
提交作业 16233 份
解答问题 4470 个

全新版本覆盖5大热门就业方向：Web全栈、爬虫、数据分析、软件测试、人工智能，零基础进击Python全能型工程师，从大厂挑人到我挑大厂，诱人薪资在前方！

本课精华内容

问答作业

可变参数和参数规则不是很明白

54 1

为什么add_student函数报错

34 1

所有程序都突然运行不了了

39 2

请问这个下划线如何打出来才不会报错

211 30

三引号和斜杠的问题

72 1

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载