map阶段

map第一阶段好像没有实现呢？读偏移量是不是不重要？第二步的v2默认是1吗？就算是同一个单词，也是计数而已吧？

慕粉35743035 2021-11-10

源自：Hadoop之初识MR 2-2 实战：WordCount案例开发

8

收起

1回答

徐老师 2021-11-10 08:57:58

1.Map的第一阶段不需要自己实现，框架已经做好了，k1就是偏移量，基本上都是用不到的，只需要用到v1
2.v2具体是几是由我们自己控制的，在这里设置为1，是为了将每个切出来的单词都认为出现1次，便于在reduce阶段进行聚合计数

相似问题

阶段五没有作业了吗？

老师，没有学三阶段，直接看四阶段可以么

老师，map阶段从shuffle中读取数据？

关于阶段学习问题

请问阶段一结束后可以直接学习阶段三（数据库）吗？因为阶段二web相关的我基本都会，想先学后面的

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1186 人
提交作业 6193 份
解答问题 1201 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

21 22

查看更多本课问答

请稍等 ...

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号