架构的疑问

老师你说的批流一体架构，我有点疑问，之前kafka-》kafka……-》click house

我中间在写kafka的时候也写一份hive不行吗？或者直接kafka-》hive-》hive-》clickhouse？这样有问题吗？最后paimon的作用可以看成是替代了kafka和hive得双写吗？

crazycrush 2024-06-20

源自：实时数仓-湖仓一体项目 1-5 数据仓库架构和湖仓一体架构的发展之路

3

收起

1回答

徐老师 2024-06-21 08:06:37

湖仓一体架构是针对之前的批流一体架构的升级版，只需要使用数据湖就可以完成之前(kafka和hive)才能完成的工作。

可以认为是paimon替代了kafka和hive的双写。

提问者 crazycrush #1

老师还有个疑问直接kafka-》hive-》hive-》clickhouse 用flink 水位线这样做实时有什么缺点啊？

2024-06-21 09:54:24
徐老师回复提问者 crazycrush #2

这个架构属于离线架构了，中间用到了hive，无法保证数据的实时性。

2024-06-21 10:10:22

相似问题

系统架构师认证是什么？

三层架构与mvc之间有什么联系？

关于软件架构模式

King同学：有个关于架构的讨论，分享一下。

框架的问题

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载