关于 rudece阶段经过磁盘IO读取本地文件中的数据一些疑惑？

相关截图：

问题描述：

老师 shuffer通过网络把数据写到本地磁盘得经过网络IO和磁盘IO我能理解
但是reduce执行的时候为啥还必须通过磁盘IO读取了？直接读内存不行嘛？

慕楠枫桥 6天前

源自：Hadoop之初识MR 4-2 Hadoop中的序列化机制

2

收起

1回答

徐老师 6天前

shuffle把map阶段的数据拉取到reduce端之后生成的就是文件了，reduce阶段在执行的时候就需要读取文件了，所以会涉及磁盘IO了。

相似问题

关于数据库的存储与读取的问题

老师好像没教怎么一次读取文件中的全部对象

zero copy

PHP中能一位一位的读取文件吗

同一函数中多个对象读取文件

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1166 人
提交作业 6092 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载