checkpoint的疑问

老师我有个疑问这个checkpoint切断血缘关系可以理解为以每个action操作分的step为节点存储每个step节点的临时数据吗？

源自：Spark性能优化的道与术 3-6 checkpoint源码分析之读操作

收起

1回答

徐老师 2023-10-26 16:13:30

切断血缘关系不是这样理解的。

假设基于数据源产生了RDD1，基于RDD2计算得到了RDD3。

那么此时RDD2的父RDD就是RDD1，RDD3的父RDD就是RDD2，他们之间的关系是：RDD1->RDD2->RDD3

假设我们针对RDD2做了checkpoint，那么就切断了RDD2和RDD1之间的关系，RDD2就不需要维护他和RDD1之间的关系了。

提问者 crazycrush #1

老师我还有点疑问，从结果上来说，step1-step2-step3如果我存储了step2，也是存的该节点数据啊。就算恢复也不需要再去计算step1了啊

2023-10-28 12:04:44
徐老师回复提问者 crazycrush #2

持久化不会切断血缘关系，因为step2持久化后可能会丢失，丢失时就需要基于血缘关系恢复数据了。checkpoint会切断血缘关系，因为checkpoint保存的数据在hdfs中，认为绝对安全，不会丢。

2023-10-28 13:26:31
徐老师 #3

step2的数据是基于step1来的，恢复的时候需要计算step1才能最终得到step2。

2023-10-28 13:28:10