checkpoint的疑问
老师你不是说对需要checkpoint的RDD,先执行persist(StorageLevel.DISK_ONLY)
那为什么这个代码里面没有啊
//1:设置checkpint目录
sc.setCheckpointDir("hdfs://bigdata01:9000/chk001")
val dataRDD = sc.textFile("hdfs://bigdata01:9000/hello_10000000.dat")
//2:对rdd执行checkpoint操作
dataRDD.checkpoint()
dataRDD.flatMap(_.split(" "))
.map((_,1))
.reduceByKey(_ + _)
.saveAsTextFile(outputPath)6
收起
正在回答 回答被采纳积分+1
相似问题
登录后可查看更多问答,登录/注册
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星