Hive 和 HBase 数据结构的问题
老师提到 HBase 做写操作,Hive做查询 数据分析
我的问题是
HBase 是 非关系型数据库 hdfs中数据文件的格式 是什么样的
例如
rowKey 列族 列 值
Hive 我们学习时 大都是关系型的数据格式
那么 HBase 在和 Hive相互之间配合使用的时候,是什么样子的 有什么要求 或者
在将Hbase中的数据 另外向Hive存储一份的时候应该是做一下格式处理???
3
收起
正在回答
1回答
1.Hbase中的数据在hdfs中,具体的存储格式是一个HFile格式的文件,这是HBASE自己定义的数据格式,不是普通的文本文件。
我们在操作HBASE的时候是通过HBASE的命令添加数据,具体数据存储到里面的格式就由HBASE来控制了。
2.HBASE中的表可以在Hive中映射为一个外部表,这样可以提供SQL分析能力,核心思路主要是将HBASE中列族中的列映射为Hive外部表的列。
3.也可以考虑将HBASE中的数据向Hive中再存储一份,便于通过SQL分析数据。此时相当于使用scan从HBASE中扫描指定表的数据,扫描出需要的列,然后将结果数据写到HDFS里面,最后再映射到HIVE中即可。此时HDFS数据的格式要看你在HIVE中需要使用什么格式的数据。
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星