关于保存图片的问题
请老师指点为什么新闻详情页里有多张图片的时候,只能下载下来一张啊?
class DongqiudiImagePipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(url=image_url, meta={"item": item})
def item_completed(self, results, item, info):
image_paths = []
for ok, x in results:
if ok:
image_paths.append(x['path'])
if not image_paths:
raise DropItem('Item contains no images')
def file_path(self, request, response=None, info=None):
img_name = request.meta['item']['title']+'.jpg'
return img_name
crawl_dongqiudi中获取image_urls的xpath
news_info['image_urls'] = response.xpath("//div[@class='con']/div/p/img/@data-src").extract()17
收起
正在回答 回答被采纳积分+1
1回答
4.入门主流框架Scrapy与爬虫项目实战
- 参与学习 人
- 提交作业 107 份
- 解答问题 1672 个
Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星