获取不到页面信息

返回的只有一个<html></html> 但是上面的页面url是可以正常打开的

源自：实战：抓取二手车网站汽车数据 3-5 自定义中间件

收起

3回答

卡拉啵啵 2019-10-29 15:12:26

打开网址看一下，可能哪个地区没有相应的汽车信息，或者你可以给url一个定值，不从mongodb里面去取数据。

老中医学编程 2019-10-11 01:19:52

request.headers['User-Agent']= "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

在middleware中设置user-agent

提问者 Pinocchio_J 2019-07-25 15:51:14

解决了....原因是之前没带user-agent信息

可能是被网站屏蔽了- -

Sliver_Horn #1

我想问下你，user-agent是设置到downloader_middleware中间件里面吗？

2019-08-24 11:33:41

登录后可查看更多问答，登录/注册

Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

问答作业

45 8

40 3

111 3

30 1

44 19

请稍等 ...

请选择置顶位置