老师您好，spark除了repatition能解决数据倾斜，还有什么其他方法吗？

老师您好，spark除了repatition能解决数据倾斜，还有什么其他方法吗？

CDWei 2022-08-03

源自：Spark性能优化的道与术 5-3 算子优化之repartition的使用

5

收起

1回答

徐老师 2022-08-03 17:15:27

repartition可以实现RDD重分区，可以解决RDD中各个分区数据分布不均匀的情况(这属于数据倾斜)。

大数据中的数据倾斜处理方案都是通用的，在讲MapReduce时讲的数据倾斜和Hive中讲的数据倾斜在Spark中同样适用。

相似问题

数据倾斜问题

关于浏览器倾斜效果

关于数据倾斜的疑问

老师，检查下作业，另外还有其他去重的方法么

老师，我的代码里只有输入数据和退出功能可以用，其他都用不了，请老师帮我看看

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1166 人
提交作业 6090 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载