shuffle并行度的疑问

shuffle并行度的疑问

text.map(num => num)
  .setParallelism(2) //设置map算子的并行度为2
  .shuffle
  .print()
  .setParallelism(4) //设置print算子的并行度为4
  
  
 老师这是你StreamPartitionOpScala里面的代码,为什么在shuffle之前还要在设置一下并行度啊?不是值验证shuffle的随机性吗

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
徐老师 2023-12-15 08:37:33

显式指定一下前后两个算子的并行度,并且设置为不同的并行度,便于理解,也便于观察效果。

问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师