scala和broadcast的问题
rescale重分区有些不太理解,等于是局部循环的意思吗,这个局部的规则是怎么定的,这段代码不太理解。
@Override
public int selectChannel(SerializationDelegate<StreamRecord<T>> record) {
if (++nextChannelToSendTo >= numberOfChannels) {
nextChannelToSendTo = 0;
}
return nextChannelToSendTo;
}
还有broadcast广播,什么是会把输出数据输送到下游的每个Channel中?指的是重复消费吗?
9
收起
正在回答
1回答
rescale可以认为是局部分区,不是全量分区
看源码只看一个方法很多时候是不完整的,源码会涉及很多上下游的东西
刚才找了一个有rescale源码介绍的文章你可以参考一下
https://blog.csdn.net/lvwenyuan_1/article/details/103722226
broadcast可以实现的效果是,假设数据源里面有1~10这10条数据,调用了broadcast之后,后面假设接了一个map算子,map算子的并行度为4,那么map算子的每个并行度里面都可以收到1~10这10条数据,也就是map算子最终会处理40条数据。
大数据工程师 2024 版
- 参与学习 1151 人
- 提交作业 5960 份
- 解答问题 1144 个
不用Java初级内容充数!不用与大数据岗位无关内容占课时!我们做的就是“精华版”大数据课程
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星