分区查询的问题

学到这里突然有一个疑问，之前是有说过分区表，比如根据日期进行分区，某一天的数据就放在了一个文件夹下（hdfs的文件夹），这个数据存储是怎么一个过程呢？

原始的表数据存放在一个位置，然后分区后的数据再放在自己定的那个位置？一共有两份数据吗

幕布斯5216845 2021-09-23

源自：数据仓库Hive从入门到小牛 5-4 Hive的排序函数

9

收起

1回答

徐老师回答被采纳获得+3积分 2021-09-23 20:16:47

如果是外部分区表，在关联分区的时候只需要建立一个映射关系，不需要额外再存储一份数据

幕布斯5216845 提问者 #1

如果是内分区，是从hdfs中拷贝一份数据来吗，这样怎么保证源数据跟hive中的表数据一致性呢？

2021-09-23 20:23:24
徐老师回复提问者幕布斯5216845 #2

内部表会复制过去一份， hdfs数据不可删除，这个特性可以保证数据的一致性

2021-09-23 20:27:37
幕布斯5216845 提问者回复徐老师 #3

比如内分区表执行了一个添加操作，添加了某行数据。hive中的数据就多了一行，对应的源数据也会添加这行数据吗？
还有个疑问，复制过去一份也是在hdfs中吧，只是目录不同了？

2021-09-23 20:31:06

点开查看后面4条评论

相似问题

mybatis使用分页插件后的查询问题

在productDaoImpl 实现查询分类信息，我的实现办法如下：

5-2查询问题

关于分页插件的使用疑问

term 查询时候的问题

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载