关于RDD算子

老师，rdd的算子操作产生不是也是rdd1吗？
课上说算子执行期间产生的对象，是指新的rdd吗？

CDWei 2022-06-28

源自：Spark性能优化的道与术 4-4 JVM垃圾回收调忧

3

收起

1回答

徐老师 2022-06-28 21:07:59

例如:map算子代码内部new了一个List，那这个List就是算子执行期间创建的对象。

提问者 CDWei #1

是类似paralize（Array（））里面这个array也是对象是吗？那他产生的是一个rdd，里面是对象？

2022-06-28 21:11:11
徐老师 #2

可以这样理解。

2022-06-28 21:49:45

相似问题

checkpoint的疑问

关于%运算符的问题

关于复杂度计算的问题

增加排序的算子后，出现异常

关于幂运算和平方根

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载