程序卡住了

每次执行到这里就卡住了，然后任务状态一直是已接收

慕慕65597133 2020-09-02

源自：拿来就用的企业级解决方案 2-2 数据倾斜案例实战

43

收起

3回答

徐老师 2020-09-02 17:30:25

到这里提示的目录下面看一下，把里面的日志文件都删掉

提问者慕慕65597133 #1

我看了，这两个地方都是空的，是我的data目录太大了

2020-09-02 17:33:07
提问者慕慕65597133 #2

我的data目录有三个g了，可是我把/下的文件斗删除了，data目录还是那么大

2020-09-02 17:34:59
徐老师回复提问者慕慕65597133 #3

还有一招终极解决方案查看linux中的大文件你在/data目录下执行这个命令 find . -type f -size +100M 这样可以查看/data目录下超过100M的大文件，找到之后，把可以删除的删除掉即可

2020-09-02 17:38:37

点开查看后面1条评论

提问者慕慕65597133 2020-09-02 17:14:53

我的截图

徐老师 2020-09-02 16:37:49

Accepted表示任务在申请资源，如果一直处于这个状态，你看下集群的资源，应该是不够用了

提问者慕慕65597133 #1

那应该怎么办？清理集群？我就跑这一个任务啊，之前卡住的我都kill掉了

2020-09-02 16:38:52
徐老师回复提问者慕慕65597133 #2

你是不是在yarn中设置了多个资源队列，建议在你本地的学习环境中不要设置多个资源队列，就使用那个default就行了

2020-09-02 16:45:27
徐老师 #3

你再提交一下任务，把yarn界面截一个完整的图发出来，以及scheduler资源队列界面也截个图我看下

2020-09-02 16:47:22

点开查看后面2条评论

相似问题

lerna publish 卡住了

走到这里卡住了是什么情况[图片]

卡住了老师帮忙看看

程序崩溃、程序中断、抛出错误的区别什么？

卡住的问题

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1166 人
提交作业 6092 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载