老师,我采集文件内容到hdfs有问题

正在回答

登陆购买课程后可参与讨论,去登陆

1回答

错误信息提示的是a1这个Agent中没有定义channl。


是不是配置文件中指定的agent的名称和启动时指定的agent的名称不一样?也有可能是配置文件内部的单词或者什么写错了,建议和课程中的配置一行一行对比一下应该就能发现问题了



进一步分析的话就要看下面信息了

1:截图一下agent配置文件的详细配置信息

2:截图一下Flume的启动命令

  • 从未定义 提问者 #1

    https://img1.sycdn.imooc.com//climg/63e98b170932397c18931027.jpg

    https://img1.sycdn.imooc.com//climg/63e98b170940ed6a19201018.jpg


    2023-02-13 08:58:02
  • 徐老师 回复 提问者 从未定义 #2

    从配置文件和启动命令上来看没问题。


    需要注意一点:/data/log/studentDir下面的文件被采集过之后就会增加一个后缀.completed,这样这个文件就不能再被采集了(有可能是你之前启动过Flume,导致这个文件被采集过了,所以现在无法正常采集)。


    你按照下面这个流程重新做一下:

    1:启动Flume的Agent

    2:向/data/log/studentDir目录中拷贝一个新文件(注意:先执行第1步,再执行第2步)

    3:到hdfs路径中观察是否有新增文件

    2023-02-13 10:09:26
  • 徐老师 回复 提问者 从未定义 #3

    还有一点需要注意,file-to-hdfs.conf配置文件中的参数信息不要手写,建议到官网中复制,或者到课程的电子书中复制,因为手写很容易导致某个字母写错,或者大小写写错,这种错误不容易发现

    2023-02-13 10:12:26
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师