checkpoint的疑问
老师你不是说对需要checkpoint的RDD,先执行persist(StorageLevel.DISK_ONLY)
那为什么这个代码里面没有啊
//1:设置checkpint目录 sc.setCheckpointDir("hdfs://bigdata01:9000/chk001") val dataRDD = sc.textFile("hdfs://bigdata01:9000/hello_10000000.dat") //2:对rdd执行checkpoint操作 dataRDD.checkpoint() dataRDD.flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_ + _) .saveAsTextFile(outputPath)
5
收起
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星