为什么下载不了图片?

为什么下载不了图片?

def item_completed(self, results, item, info):
打印这里面的results是这种:(False, <twisted.python.failure.Failure scrapy.pipelines.files.FileException: >)

单独请求图片网址可以得到图片,另外新建一个scrapy框架,只请求图片网址,Pipeline代码不变也是可以下载的

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

3回答
慕桂英2025389 2020-05-29 10:00:03

打开命令行 

pip install Pillow

然后重新启动main

OK

时间, 2020-04-20 15:54:56

同学,你好。

1、同学可以看下得到的下载图片的地址是否正确

2、同学可以自定义get_midia_requests(),构建request请求,然后再下载

3、同学可以将相关代码提供下,方便更好的为您解决

如果我的回答解决了您的疑惑,请采纳!祝学习愉快~~~~

  • 提问者 weixin_慕UI515575 #1
    图片地址正常的,整个框架只请求这个图片可以正常下载,get_midia_requests方法也没用,flie_path里面也是正常的,到item_completed里面打印results就都是空的了 def get_media_requests(self, item, info): print('准备下载',item['image_urls']) name = item['car_num'] name2 =item['car_brand'] for i, url in enumerate(item['image_urls']): yield scrapy.Request(url=url,meta={'name':name,'name2':name2,'num':i}) def item_completed(self, results, item, info): """ 图片下载 """ print('图片开始下载',results) image_path = [x['path'] for ok,x in results if ok] if image_path: return item else: print('图片下载失败') def file_path(self, request, response=None, info=None): """ 设置图片名称 """ print('设置名字',request.url) file_name = request.meta['name2'] + request.meta['name']+'_'+str(request.meta['num']) +'.jpg' return file_name
    2020-04-20 18:28:55
  • 提问者 weixin_慕UI515575 #2
    整个框架不做其他的事情,把图片地址作为开始的url 是可以得到图片的。但是和其他数据一起抓的时候,图片下载不了,期间打印出的图片URL一直没有出错,url都是正常的,但是就是下载不了
    2020-04-20 18:34:40
  • 时间, 回复 提问者 weixin_慕UI515575 #3
    同学,你好。同学提供的该部分代码无法确定具体问题,同学可以在抓取数据时一点点的添加其他数据看下能否正常下载图片。祝学习愉快~~~~
    2020-04-20 19:19:13
提问者 weixin_慕UI515575 2020-04-19 14:46:15

下载失败的时候报这个错

2020-04-19 14:42:53 [scrapy.pipelines.files] WARNING: File (unknown-error): Error downloading image from <GET https://image.guazistatic.com/gz01200417/18/07/460b98717edd0a48c88bd810eb787dba.jpg@base@tag=imgScale&w=600&h=400&c=1&m=2&q=88> referred in <None>: Response content isn't text

问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
4.入门主流框架Scrapy与爬虫项目实战
  • 参与学习           人
  • 提交作业       107    份
  • 解答问题       1672    个

Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

了解课程
请稍等 ...
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师