map算子并行度和print算子并行度问题

老师您好，在4.8节您演示的shuffle随机分区方法中，这里的设置map算子并行度为2是将上游设置两个分区来执行map操作，print算子并行度为4，是将下游设置四个分区执行print操作的意思吗？

但是这里shuffle是在设置下游print之前执行的呀，那上游怎么知道数据该发往哪一个分区呢？

江景又妍和 2022-07-12

源自：Flink快速上手篇 4-8 DataStream API之Transformation-分区规则的使用

6

收起

1回答

徐老师 2022-07-12 17:54:18

1.是的

2.shuffle就是随机对数据分区了，数据会随机分发到下游

提问者江景又妍和 #1

那老师这种链式的语法在执行的时候没有顺序吗？shuffle在分发的时候已经知道下游的并行度了吗？

2022-07-12 17:57:11
徐老师回复提问者江景又妍和 #2

1.有顺序 2.shuffle就是指定了上游算子数据到下游算子数据的分发规则，flink任务是调用execute的时候才会触发执行，所以可以提前知道下游并行度

2022-07-12 18:01:42

相似问题

关于复杂度计算的问题

shuffle并行度的疑问

盒子模型3-32选择题

关于浮点数计算和精度丢失问题

margin-top:50%,子元素为什么不相对父元素下移？

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1166 人
提交作业 6090 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载