老师，insert overwrite 底层原理是怎么实现的？

老师，是不是 insert overwrite 会把之前落盘的数据使用 map reduce 重新读取并且和当前的数据集做一个去重，然后把之前的数据删除掉，把当前去重的结果集存到原来的位置，那这样的话如果 overwrite 的性能就会非常之慢了，如果没有做分区的话如果之前表里面数据量很大的话，就更慢了？

而 insert into 就只是在文件末尾追加

不知道我的理解对不对？

ischand 2022-03-10

源自：综合项目：电商数据仓库之商品订单数仓 3-4 【实战】基于订单表的拉链表实现-2

4

收起

1回答

徐老师回答被采纳获得+3积分 2022-03-10 18:05:33

insert overwrite是直接覆盖之前的数据。

insert into是将数据追加到表中文件的末尾。

ischand 提问者 #1

insert overwrite 是全量覆盖的意思是吗？

2022-03-10 18:09:40
徐老师 #2

普通表全量覆盖，分区表覆盖指定分区

2022-03-10 18:12:00
ischand 提问者回复徐老师 #3

手敲了个例子，终于理解了，之前一直以为 overwrite 是覆盖相同字段的记录，现在知道是覆盖全表了，谢谢老师解答~

2022-03-10 18:57:34

相似问题

动态代理类的底层实现原理是什么？

如果想要彻底搞懂位移和取反的原理，我还需要了解哪方面的知识呀？

Spring IoC底层实现原理，在SpringBoot中好像都是使用CGLib，这是什么情况？？？

ES这个章节没有讲一下底层实现吗？

本章节的动态代理增强了代理类中所有的实现方法

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载