使用spark-submit提交wordcount出错

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
徐老师 2022-03-01 18:21:33

应该是你这个节点的基础配置有问题。


你如果没有按照课程中的方式配置bigdasta04节点的话,可以尝试在bigdata01节点上部署一下spark,然后提交任务看一下是否正常。

如果在bigdata01可以正常运行,再回过来解决bigdata03节点的配置问题,根据错误分析,可能是因为在bigdata03节点上的/etc/hosts文件中没有正确配置当前机器IP和bigdata03主机名的映射关系。

  • 提问者 慕先生3560333 #1

    bigdata01上运行能成功 但为啥是bigdata03出了问题呢 我反复对照了映射关系 没有问题呀

    2022-03-01 18:44:15
  • 那你仔细检查一下这两个节点的基础配置,肯定是有一些区别的。 重点关注主机名相关的配置,以及/etc/profile中的环境变量配置。
    2022-03-01 18:47:22
  • 提问者 慕先生3560333 #3

    还有就是我之前能在bigdat04上面跑那个测试样例的 但跑这个就出现了问题 

    2022-03-01 18:47:27
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师