修改reduce num为10 执行失败

将reduce task 数量改成10出现了这种情况，map执行完之后又重新执行了而且reduce一直到不了100% 请问老师这是什么情况我是不是应该kill这个进程

Esther_浚伊 2022-02-18

源自：拿来就用的企业级解决方案 1-1 小文件问题之SequenceFile

5

收起

1回答

徐老师 2022-02-18 19:19:59

产生这种现象是因为任务在运行了一段时间以后失败了，具体什么原因导致的需要到yarn上查看这个任务的具体错误日志信息才能进一步分析

徐老师 #1

这个任务有重试机制，失败后会重试，如果3次都执行失败任务会自动结束，不用手工kill

2022-02-18 19:21:16
提问者 Esther_浚伊 #2

因为我第一次执行的时候成功了跟老师一样比reduce任务1的时候还慢我就执行了第二次现在就想停止这个进程怎么操作呀老师

2022-02-18 19:23:13
徐老师回复提问者 Esther_浚伊 #3

在yarn上停止任务使用yarn kill命令，在课程中这个小节里面有讲到
https://class.imooc.com/lesson/1680#mid=37961

2022-02-18 19:28:03

相似问题

16:30,先执行reduce为什么size会不是0啊

老师，我的删除语句一直执行失败（其它的操作正常执行，就是删除一直显示失败）

为什么是插入失败呢？？

1、start事物，执行SQL，commit，如果SQL执行失败，是不是提交不成功？

老师,对代码执行流程有点疑惑

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1166 人
提交作业 6091 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载