老师，flume这些组件不能对接数据库吗？

老师，flume这些组件不能对接数据库吗？

秦宝宝是我最爱的宝宝 2021-02-01

源自：Flume从0到高手一站式养成记 1-2 Flume的三大核心组件

10

收起

1回答

徐老师回答被采纳获得+3积分 2021-02-01 10:38:09

flume默认是不支持的，flume侧重的是对日志数据的收集，日志数据和数据库中的数据是不一样的。

当然，如果确实想使用flume采集数据库中的数据，需要自定义source组件

如果想使用flume向数据库中写数据，需要自定义sink组件。

在工作中针对数据库数据的采集，一般使用sqoop

或者使用阿里开源的组件datax 或者canal

秦宝宝是我最爱的宝宝提问者 #1

明白了，flume主要侧重日志而不是数据库数据

2021-02-01 10:44:34
徐老师回复提问者秦宝宝是我最爱的宝宝 #2

是这样的

2021-02-01 10:45:58

相似问题

生成数据和课程不一致

关于flume采集文件内容和上传日志脚本之间的区别

数据库文件

老师无法连接数据库

idea的数据库链接里面看不到其他数据库，怎么和Navicat的数据库同步一下

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载