关于flume采集文件内容和上传日志脚本之间的区别

关于flume采集文件内容和上传日志脚本之间的区别

老师您好,在这一节中,我看到flume将本地的日志采集然后上传到hdfs中,这个功能我觉得用之前在hdfs里使用的脚本,然后添加crontab定时任务也可以完成。不知道使用flume有什么优势呢?为什么要单独出来这么一个日志采集的工具呢?


可能我的思维太简单了,麻烦老师解答了。谢谢老师。

正在回答

登陆购买课程后可参与讨论,去登陆

1回答

flume的特点不仅仅是采集日志文件,还可以支持多种数据源的采集,只需要写配置文件,简单易用,这是他最大的优点,不要局限在只采集日志文件上面。

  • 江景又妍和 提问者 #1

    谢谢老师的回答。我感觉flume像是替代了繁琐的数据采集脚本或者是程序。只需要配置文件就可以进行数据采集。这让我觉得很神奇,想了解一下他的source channel sink是如何做到的,这些通过阅读官网上的文档可以得到吗?

    2022-03-24 23:08:08
  • 想要看具体这些组件是怎么工作的就需要去看源码了,flume的源码可以到官网下载,或者到GitHub上下载
    2022-03-24 23:25:56
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师