shuffle并行度的疑问

shuffle并行度的疑问

1
2
3
4
5
6
7
8
text.map(num => num)
  .setParallelism(2//设置map算子的并行度为2
  .shuffle
  .print()
  .setParallelism(4//设置print算子的并行度为4
   
   
 老师这是你StreamPartitionOpScala里面的代码,为什么在shuffle之前还要在设置一下并行度啊?不是值验证shuffle的随机性吗

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
徐老师 2023-12-15 08:37:33

显式指定一下前后两个算子的并行度,并且设置为不同的并行度,便于理解,也便于观察效果。

问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师
插入代码