Hive 和 HBase 数据结构的问题

Hive 和 HBase 数据结构的问题

老师提到 HBase 做写操作,Hive做查询 数据分析

我的问题是

HBase 是 非关系型数据库 hdfs中数据文件的格式  是什么样的

例如  

rowKey    列族    列    值


Hive 我们学习时 大都是关系型的数据格式


那么 HBase 在和 Hive相互之间配合使用的时候,是什么样子的 有什么要求 或者 

在将Hbase中的数据 另外向Hive存储一份的时候应该是做一下格式处理???

下载视频          

正在回答

登陆购买课程后可参与讨论,去登陆

1回答

1.Hbase中的数据在hdfs中,具体的存储格式是一个HFile格式的文件,这是HBASE自己定义的数据格式,不是普通的文本文件。
我们在操作HBASE的时候是通过HBASE的命令添加数据,具体数据存储到里面的格式就由HBASE来控制了。
2.HBASE中的表可以在Hive中映射为一个外部表,这样可以提供SQL分析能力,核心思路主要是将HBASE中列族中的列映射为Hive外部表的列。
3.也可以考虑将HBASE中的数据向Hive中再存储一份,便于通过SQL分析数据。此时相当于使用scan从HBASE中扫描指定表的数据,扫描出需要的列,然后将结果数据写到HDFS里面,最后再映射到HIVE中即可。此时HDFS数据的格式要看你在HIVE中需要使用什么格式的数据。

问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师