checkpoint

老师，设置

RocksDBStateBackend

这种 checkpoint 五秒一次会不会造成hdfs 上小文件问题

qq_北辰元凰_0 2023-06-01

源自：Flink高级进阶之路 4-3 KafkaConsumer的容错

4

收起

1回答

徐老师 2023-06-01 21:39:14

会，不过不严重，因为checkpoint产生的快照数据默认只会保存最新的那一份，之前产生的会过期被删除，不影响大局。

相似问题

老师，关于spark checkpoint如何读取的还是有疑问

checkpoint的疑问

请问checkPoint在HDFS生成的持久化文件，什么时候回被删除呢？

checkpoint之前先持久化

BroadcastState中似乎并没有用到与CheckpointedFunction接口相关的类，在两个数据流中也没有实现这个接口

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1168 人
提交作业 6093 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载