这种方法和broadcast的区别

假设针对调用数据库连接

broadcast是将数据库连接复制到每个task

map partition也是针对每个分区调用一次数据库连接

那这两种有什么区别的或者说实际工作中更倾向于用哪种

DavidTC 2022-01-23

源自：Spark性能优化的道与术 5-1 算子优化之mapPartitions

5

收起

1回答

徐老师 2022-01-23 16:37:16

数据库连接无法序列化，无法广播到多个task。
在处理数据时需要和数据库交互，没有使用broadcast功能的，都是使用mappartition。

提问者 DavidTC #1

那假如广播和mappartition都可行的情况下是优先用广播吗

2022-01-23 16:40:25
徐老师回复提问者 DavidTC #2

broadcast是为了广播数据。
mappartition的应用场景主要就是为了在处理的时候能够一次性获取一个分区的数据进行处理。
这两个功能是不一样的。

2022-01-23 16:46:32
提问者 DavidTC 回复徐老师 #3

清楚了谢谢老师

2022-01-23 16:52:52

点开查看后面1条评论

相似问题

老师我想问下这2种有什么区别

这两种写法什么区别？

关于原型继承和构造继承的区别

请问静态方法和实例方法的区别

请问有参数的read方法和无参数的read方法有什么区别？

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1167 人
提交作业 6092 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载