老师，insert overwrite 底层原理是怎么实现的？

老师，是不是 insert overwrite 会把之前落盘的数据使用 map reduce 重新读取并且和当前的数据集做一个去重，然后把之前的数据删除掉，把当前去重的结果集存到原来的位置，那这样的话如果 overwrite 的性能就会非常之慢了，如果没有做分区的话如果之前表里面数据量很大的话，就更慢了？

而 insert into 就只是在文件末尾追加

不知道我的理解对不对？

ischand 2022-03-10

源自：综合项目：电商数据仓库之商品订单数仓 3-4 【实战】基于订单表的拉链表实现-2

收起

1回答

徐老师回答被采纳获得+3积分 2022-03-10 18:05:33

insert overwrite是直接覆盖之前的数据。

insert into是将数据追加到表中文件的末尾。

收起回答

ischand 提问者 #1

insert overwrite 是全量覆盖的意思是吗？

2022-03-10 18:09:40
徐老师 #2

普通表全量覆盖，分区表覆盖指定分区

2022-03-10 18:12:00
ischand 提问者回复徐老师 #3

手敲了个例子，终于理解了，之前一直以为 overwrite 是覆盖相同字段的记录，现在知道是覆盖全表了，谢谢老师解答~

2022-03-10 18:57:34