flume不能上传文件到hdfs中,主要是telnet连接不上,请求老师帮助

flume不能上传文件到hdfs中,主要是telnet连接不上,请求老师帮助


相关截图:

https://img1.sycdn.imooc.com//climg/6269f9560943f24609870686.jpghttps://img1.sycdn.imooc.com//climg/6269f95b092c0a7a06190586.jpghttps://img1.sycdn.imooc.com//climg/6269f95f0911233714090293.jpg

https://img1.sycdn.imooc.com//climg/6269f933093112e316330648.jpghttps://img1.sycdn.imooc.com//climg/6269f937092d930316530523.jpghttps://img1.sycdn.imooc.com//climg/6269f93b0913983811830521.jpghttps://img1.sycdn.imooc.com//climg/6269f93d0949267613060461.jpghttps://img1.sycdn.imooc.com//climg/6269f94109dfdcab16570524.jpg

相关代码:

2022-04-28 09:54:02,806 (lifecycleSupervisor-1-1) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.start(MonitoredCounterGroup.java:95)] Component type: SINK, name: k1 started
2022-04-28 09:54:02,806 (lifecycleSupervisor-1-0) [INFO - org.apache.flume.source.SpoolDirectorySource.start(SpoolDirectorySource.java:85)] SpoolDirectorySource source starting with directory: /data/log/studentDir
2022-04-28 09:54:02,820 (lifecycleSupervisor-1-0) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.register(MonitoredCounterGroup.java:119)] Monitored counter group for type: SOURCE, name: r1: Successfully registered new MBean.
2022-04-28 09:54:02,821 (lifecycleSupervisor-1-0) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.start(MonitoredCounterGroup.java:95)] Component type: SOURCE, name: r1 started
2022-04-28 09:54:02,827 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.hdfs.HDFSDataStream.configure(HDFSDataStream.java:57)] Serializer = TEXT, UseRawLocalFileSystem = false
2022-04-28 09:54:02,943 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.hdfs.BucketWriter.open(BucketWriter.java:246)] Creating hdfs://192.168.159.129:9000/flume/studentDir/stu-.1651110842828.avro.tmp
2022-04-28 09:54:04,069 (Thread-8) [INFO - org.apache.hadoop.hdfs.protocol.datatransfer.sasl.SaslDataTransferClient.checkTrustAndSend(SaslDataTransferClient.java:239)] SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2022-04-28 09:54:32,364 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.EventQueueBackingStoreFile.beginCheckpoint(EventQueueBackingStoreFile.java:230)] Start checkpoint for /opt/apps/apache-flume-1.9.0-bin/data/studentDir/checkpointDir/checkpoint, elements to sync = 6
2022-04-28 09:54:32,368 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.EventQueueBackingStoreFile.checkpoint(EventQueueBackingStoreFile.java:255)] Updating checkpoint metadata: logWriteOrderID: 1651110842399, queueSize: 0, queueHead: 4
2022-04-28 09:54:32,370 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.Log.writeCheckpoint(Log.java:1065)] Updated checkpoint for file: /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-8 position: 282 logWriteOrderID: 1651110842399
2022-04-28 09:54:32,370 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.close(LogFile.java:520)] Closing RandomReader /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-1
2022-04-28 09:54:32,378 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.close(LogFile.java:520)] Closing RandomReader /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-2
2022-04-28 09:54:32,384 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.close(LogFile.java:520)] Closing RandomReader /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-3
2022-04-28 09:54:32,390 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.close(LogFile.java:520)] Closing RandomReader /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-4
2022-04-28 09:54:32,397 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.close(LogFile.java:520)] Closing RandomReader /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-5
2022-04-28 09:54:32,404 (Log-BackgroundWorker-c1) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.close(LogFile.java:520)] Closing RandomReader /opt/apps/apache-flume-1.9.0-bin/data/studentDir/data/log-6


正在回答

登陆购买课程后可参与讨论,去登陆

1回答

先解决第1个问题:

这里提示无法识别node3这个主机名,需要检查下node1这个节点的/etc/hosts中node3是否配置,以及对应的ip是否正确。


最后还要检查下其他所有节点中的/etc/hosts中的信息,需要保持一致。

https://img1.sycdn.imooc.com//climg/6269fe2609f82e2a09770682.jpg

  • 听风之夜C 提问者 #1

    老师,这里是看到视频中bigdata没有启动,所以我也没有启动node3  我试试  都启动看看可以吗

    网上查找的资料 有的说是Hadoop中的guava这个文件的版本和flume中的版本不一致导致,所以我将Hadoop中的guava的文件cp到flume中了
    2022-04-28 10:50:18
  • 徐老师 回复 提问者 听风之夜C #2

    视频中bigdata01\02\03是一个集群,每次使用的时候都启动了。


    1:你现在先把hadoop集群、flume服务全部停掉。

    2:然后把node3节点开机

    3:在node1启动hadoop集群

    4:再按照课程中的流程启动那几个flume进程。



    如果你的hadoop、flume版本和课程中的一样,就不会出现guava之类的错误,可能是由于其他原因造成的。


    如果你的hadoop、flume版本和课程中的不一样,那可能guava自身确实会有问题,可以按照网上查的资料替换一下guava的版本试一下

    2022-04-28 10:56:12
  • 听风之夜C 提问者 #3

    老师,上传上来了 

    https://img1.sycdn.imooc.com//climg/626a01d0090f3abd14540368.jpg

    但是为什么  telnet 连接不上呢

    https://img1.sycdn.imooc.com//climg/626a02030944471f10920694.jpg

    布局如下:

    node1:  192.168.159.129   namenode

    node2:  192.168.159.130   datanode

    node3:  192.168.159.131   datanode

    node4:  192.168.159.132   flume

    2022-04-28 10:56:50
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师