请问在Spark Job执行完之后，怎么查看已完成的Spark Job执行情况？

在Spark Job执行时，可以通过Tracking URL进到Spark Job执行情况的页面，但是执行完后，页面刷新之后，执行情况页面就没有了；并且再重新通过history 链接进入，也依然是打不开Spark Job执行情况查看页面！

源自我心 2021-01-24

源自：Spark性能优化的道与术 3-4 checkpoint代码执行分析

12

收起

1回答

徐老师回答被采纳获得+3积分 2021-01-24 18:47:25

需要开启hadoop的日志聚合，以及spark的historyserver服务

徐老师 #1

这块的操作在3-5章节中

2021-01-24 18:48:44
源自我心提问者回复徐老师 #2

明白了，我只在bigdata01主机开启了spark的historyserver服务，但是在bigdata04客户端没有开启Spark的historyserver服务！谢谢老师指点！

2021-01-24 18:54:01

相似问题

spark on yarn模式启动为什么只需要客户端节点

好像要把for循环执行完了才执行shutdown

请问老师为什么不会执行

请问，图中break是否if和for循环判断完以后才执行？

部署Flink任务到集群上之后，Job作业也提交成功了，但是一直跑不成功

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载