CMAK监控的问题

CMAK监控的问题

老师  三个问题 需要请教一下  望解惑  

1 未开启checkpoint的情况下

我在socket输入数据 然后用cmak监控  好像会丢数据  !!!

输入两条数据  有时候偏移量只加了1   有时候又加了俩


2 开启checkpoint的情况下 往Kafka中生产不了数据  cmak完全没反应    且socket隔断时间会被断开




3 配置不变的情况   zk集群启动之后  会出现Kafka集群启动不起了的情况

例如:前一天Kafka启动不了了    后一天又能启动了  这种







正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
徐老师 2025-08-09 09:11:29

1:socker这个数据源只能提供最多一次的语义,有时候因为网络的问题可能会丢数据。

2:socket这个数据源无法提供仅一次语义,kafka是可以提供仅一次语义的,如果要开启checkpoint的话,建议数据源和目的地全部都使用kafka来测试。

3:配置不变的情况下,如果出现有时候能启动,有时候不能启动。大概率是和zookeeper有关系,可能有时候zookeeper的服务没有成功启动,导致kafka启动有问题。

确认一下zookeeper成功启动之后,再去启动kafka。

还有一个最直接的办法就是去查看kafka的日志,从日志中是可以看出来kafka因为什么没启动成功的。

  • 提问者 慕楠枫桥 #1

    老师  第二个问题

    我看课程成数据源用的是socket cmak也会又反应啊  同样是开启了ckeckpoint

    2025-08-09 09:34:05
  • 徐老师 回复 提问者 慕楠枫桥 #2

    使用socket测试的话一般情况是没问题的,就是可能有时候由于网络问题可能会导致丢数据,因为你现在遇到了数据异常的问题,所以就暂时先别使用这种方式了。


    你现在先使用kafka(数据源)+flink+kafka(数据源)这种架构去测试一下,看看能不能正常跑起来。

    如果这个可以的话,最后再测试socket(数据源)+flink+kafka(数据源)这种架构的来测试。

    2025-08-09 11:51:59
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师