疑问

是不是可以考虑把offset保存在内存里（redis）；等消费数据（入库等）的事务完成后，再去提交offset。是不是就万无一失了？

上海第一产品经理 2021-11-18

源自：消息队列之Kafka从入门到小牛 6-6 Kafka的三种语义

11

收起

1回答

徐老师回答被采纳获得+3积分 2021-11-18 21:21:28

最好把offset和结果数据存储在一起，例如，都存储到mysql中，offset一个字段，结果数据一个字段，这样可以控制在一个事务里面

慕粉163136580 #1

老师，offset不是存放在kafka下面的consumer_offset文件里面的吗？

2022-05-19 17:50:26
徐老师回复慕粉163136580 #2

是存在consumer_offset里面，他这个问题是问在业务系统中想要实现仅一次语义时的处理方案。

2022-05-19 17:53:32
慕粉163136580 #3

老师，我明白了，但是感觉自己维护的话有点繁琐，每次消费都得去mysql里查找每个分区offset的最大值

2022-05-19 17:57:07

相似问题

6-9选择题的疑问

对<%=%>有疑问

大大的疑问

2-23代码检查及疑问

关于mapper的疑问

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1186 人
提交作业 6193 份
解答问题 1201 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

21 22

查看更多本课问答

请稍等 ...

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号