map阶段的疑问

map阶段的疑问

老师请问:

在map阶段结束时,需要送去shffle的数据,相同key是多个<k2,v2>的组合还是<k2,<v2s.....>>,比如"hello hello world"是<hello,1> <hello,1> <world,1>这种形式,还是<hello,<1,1>>  <world,1>?


正在回答

登陆购买课程后可参与讨论,去登陆

1回答

是这样的形式

<k2,<v2s.....>>

  • 最近我准备抽时间把mr阶段的源码梳理一遍,到时候通过本地断点调试源码的形式把这个流程跑一遍,帮助大家理解
    2020-11-16 17:58:11
  • 慕无忌1298265 提问者 #2
    是在reduce端接到数据后再做合并吗?类似把各个不同map发来的<k2,<v2s.....>>汇总,把v2s打散,最后组装成总的<k2,<v2s.....>>交给reduce函数?
    2020-11-16 18:00:04
  • 徐老师 回复 提问者 慕无忌1298265 #3
    是的,reduce段对多个map端发过来的v2s再做最终的汇总
    2020-11-16 18:01:24
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师