checkpoint的疑问
老师你不是说对需要checkpoint的RDD，先执行persist(StorageLevel.DISK_ONLY)
那为什么这个代码里面没有啊
1 2 3 4 5 6 7 8 9 10 | //1：设置checkpint目录 sc.setCheckpointDir("hdfs://bigdata01:9000/chk001") val dataRDD = sc.textFile("hdfs://bigdata01:9000/hello_10000000.dat") //2：对rdd执行checkpoint操作 dataRDD.checkpoint() dataRDD.flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_ + _) .saveAsTextFile(outputPath) |
5
收起
正在回答 回答被采纳积分+1
相似问题
登录后可查看更多问答，登录/注册
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧