spark on yarn模式启动为什么只需要客户端节点

有点不理解，on yarn 模式应该是让yarn来分配计算资源，但是真正的计算应该还是spark引擎完成的吧，但是yarn怎么知道spark 部署在那几台服务器呢？毕竟sprak都没启进程，spark客户端节点提交的时候也没有告诉hadoop，spark集群地址。

源自：Spark快速上手 1-3 Spark ON YARN集群安装部署

收起

1回答

徐老师回答被采纳获得+3积分 2024-02-27 08:20:50

spark on yarn 模式，整个spark 任务是在 yarn 中执行的。

因为任务运行时需要的资源是由 yarn分配和管理的，分配之后就在 yarn中执行 spark任务了，所以不需要依赖于spark 集群。

小强4441198 提问者 #1

我理解了等于就是说再提交的时候，就把执行spark计算的依赖都打进了jar 中然后让yarn去调度分发到某个hadoop集群去执行就可以了对吧

2024-02-27 23:00:55
徐老师回复提问者小强4441198 #2

是这个意思。

2024-02-28 08:24:14