关于提交wordCount到Yarn一直报错 Deployment took more than 60 seconds
问题描述:
hadoop集群是启动着的，如下图所示
bigdata01
bigdata02
bigdata03
然后我提交wordCount就报错信息如下
使用yarn applicaiton -list查看yarn目前的队列，队列中没有任务
7
收起
正在回答 回答被采纳积分+1
1回答
徐老师
2021-12-23 17:47:46
尝试在hadoop集群的etc/hadoop目录下的yarn-site.xml中增加下面这个配置：
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
然后重启hadoop集群，再提交flink任务试一下
-
幕布斯009563 #1
添加了，关闭重启还是报了
Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
然后我去yarn上面查看，发现jobmanager.log报错
2021-12-24 08:20:55 -
应该是这个地方的问题，你搭建的是分布式集群，分布式集群的yarn-site.xml中必须要有yarn.resourcemanager.hostname这个参数的配置。你确认一下bigdata01~bigdata04所有节点中的这个配置是否都有：
[root@bigdata01 hadoop]# vi yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata01</value> </property> </configuration>
2021-12-24 10:11:27 -
徐老师 #3
现在你的日志里面提示的在找resourcemanager的时候找的是0.0.0.0这个IP，这样如果不在bigdata01节点提交任务会有问题，找不到resourcemanager服务
2021-12-24 10:12:43
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星