老师，在面试中遇到说写流程的源码，重点要说明哪几个方法和类呢？

老师，在面试中遇到说写流程的源码，重点要说明哪几个方法和类呢？需要去记住里面的方法和类吗？

create这个步骤有dfsoutputsream这个类的两个分支，一个分支是addfile（）方法，以及datasreamer这个类，是创建一个线程dataqueue

然后是write阶段是nextBlockoutputsream和dataxseriver线程吗？

CDWei 2022-07-12

源自：Spark性能优化的道与术 6-9 项目作业

6

收起

1回答

徐老师 2022-07-12 17:14:16

面试中如果遇到这种问题是属于开放问题，按照自己的理解说一下整体流程就行，想要扩展的话可以重点分析一下里面的某个类或者方法，这个可以自己选择就行

Rancho蓝卓 #1

对于这个面试题应该具体从spark哪开始说呢？SparkSQL的执行流程？Spark的shuffle过程？可否用MapReduce里的inputformt和outputformat分析呢？

2022-11-08 18:08:24
徐老师回复 Rancho蓝卓 #2

想要展示自己的源码知识面，那就挑自己最熟悉的说就行，哪块源码都可以。

2022-11-08 18:16:11

相似问题

老师请问为什么equals方法在重写时，hashCode方法为什么也建议重写呢？该怎么重写呢？

老师子类重写父类只要名一样。返回值和参数可以随便自己来的对吧？这样写可以吗返回String类型

是不是所有的输出流最后都要用flush方法?

这里这个重写父类方法没有显示调用父类的方法也算是重写了父类方法吗？

方法重写问题

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载