kafka消费顺序问题

课程中说生产者生产的数据，在消费的时候是无序的，但是我本地代码测试了很多次，结果都是有序的，这是怎么回事呢？

我进入分组查看后，发现每次生产的10条数据会默认都进入到一个分区中，并不是随机分配到不同分区中的，这是什么原因呢？并且反复多次启动后，生产者生产的数据会轮流进入不同的分区，但每一次生产的一连串数据都只会进入一个分区，这是不是意味着每次建立连接，那么在这次连接中所产生的所有数据都会进入一个分区，无论这次连接中的数据是通过多次send产生的？

蒋昌魁 2023-10-13

源自：消息队列之Kafka从入门到小牛 6-5 Consumer消费顺序

5

收起

1回答

徐老师回答被采纳获得+3积分 2023-10-13 10:59:49

只要有多个分区，写入默认就会随机写入，消费时也无法保证所有分区数据的有序性。

你再看下6-4小节的内容，从这个案例里面也能发现写入随机这个特性。

消费无序这个特性可以通过多消费几次，对比一下每次消费的数据顺序

蒋昌魁提问者 #1

老师您看，最新写入的500条数据，全部进入到了一个分区中

2023-10-13 11:09:14
徐老师回复提问者蒋昌魁 #2

1.你先看一下6-4，根据视频里面执行一下，看看是不是写入到多个分区。2.for里面加一个sleep，再测试一下

2023-10-13 11:21:58
蒋昌魁提问者回复徐老师 #3

嗯，谢谢老师，原来是数据量和时间不够大的原因，加了之后，基本平均分配了，不过2000多条数据我发现消费的时候竟然顺序依然是有序的

2023-10-13 11:49:34

点开查看后面3条评论

相似问题

kafka消费者手动提交问题

Flume集成kafka章节中数据传输问题

消费者组和消费者有什么区别？

15：34时老师是不是口误了？

RabbitMQ 队列中的消息再消费一遍导致插入简历表出现冲突的问题

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载