有点搞不清Spark和Scala的关系了
老师，请问一下：
Scala是门语言，Spark是个计算框架，感觉可以类比java和Spring的关系吗？
Spark有flatMap，Scala也有这个函数，这个又觉得前面的类比不太对，这两个flatMap有什么关系吗？
9
收起
正在回答
1回答
Spark计算框架是使用scala语言实现的。可以认为是java和spring之间的关系。
scala中的flatmap函数是只会在一台机器上执行的，spark中的flatmap算子是可以并行在多台机器中执行的。
虽然名字是一样的，但是运行机制是不一样的。
二者的名字一样主要是为了方便理解，他们都是可以将一条数据转化成多条数据返回的。
-
幕布斯5216845 #1
比如统计word的个数这个案例里，比如txt的数据很多。
那么生成的RDD是只有一个吗？还是说不管数据多少都只有一个RDD呢？
我感觉是只有一个RDD，但是一个RDD里面有多个分片，每个分片对应一个工作节点（一个docker）？
2021-09-24 21:42:27
相似问题
关于双语问题
24
0
5
老师说 java代码没有scala简洁？
12
0
2
怎么查看spark-core依赖所需的Scala版本？
16
0
1
那既然是非关系型数据库
15
0
3
使用spark-submit提交wordcount出错
10
0
8
登录后可查看更多问答，登录/注册
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星