Spark原理疑问

这里Spark集群是怎么回事？？？

1-2中说的 StandAlone集群部署，Spark启动计算的时候数据都是从哪里来的？？？

1-3 中说 Spark On YARN ，，数据是从 HDFS中来，没问题，但引出了2-1的问题

2-1 这里又说 Spark是 StandAlone集群的，又说是基于 HDFS为数据源，这到底怎么回事啊？？？这里的部署架构是什么啊？？？完全没头没尾的

源自：Spark快速上手 2-1 Spark工作原理分析

收起

1回答

徐老师回答被采纳获得+3积分 2020-12-07 06:36:45

不管spark是standalone集群还是onyarn集群，在计算的时候都可以读取hdfs中的数据

在第一节视频快速了解spark中介绍了spark和hadoop是可以结合到一起使用的，spark只是一个计算框架，计算用到的数据是来源于hdfs的，不限于spark集群用哪种架构

徐老师 #1

在这里以standalone集群举例子是因为这种架构比较好理解，这两种架构的唯一区别就是standalone集群是spark部署独立集群，自己管理自己使用的资源，onyarn集群是公用yarn集群(hadoop)中的资源

2020-12-07 06:49:55
py_builder 提问者回复徐老师 #2

我明白了，正好听了公司某大佬的演讲，我们使用 spark on YARN 希望的是通过YARN进行资源调度管理，图中的是 standAlone与 Hadoop结合使用的场景。

2020-12-07 23:49:13