Flume集成kafka章节中数据传输问题

Flume集成kafka章节中，我往log日志中传入hello时，hdfs并没有接收到，检查端口什么都没问题，应该是什么原因导致kafka不能与hdfs进行数据传输

下载视频

收起

1回答

徐老师 2022-08-23 22:28:08

这个问题需要拆开来分析检查，分成两个采集任务去分析

1.首先检查数据是否进入了kafka，最好启动个kafka消费者验证一下

2.如果数据进入了kafka，再排查kafka到hdfs的流程

提问者大鑫啊1978 #1

老师，数据能进入kafka，但kafka进入hdfs的流程应该怎样去梳理问题出在哪呢

下载视频

2022-08-24 17:10:56
徐老师回复提问者大鑫啊1978 #2

在运行kafka->hdfs的flume进程时，启动的时候把日志打印到控制台，观察控制台上的日志有没有什么异常的，然后手工开启一个kafka的生产者，手动模拟向这个topic中产生数据，看看数据能不能进入hdfs

2022-08-24 17:15:29
提问者大鑫啊1978 回复徐老师 #3

在hadoop创建目录发现是处于安全模式并且有些块损坏了

2022-08-29 17:03:07