怎么能确定SQL只产生了一次shuffle过程？

怎么能确定SQL只产生了一次shuffle过程？

慕莱坞2534779 2021-09-15

源自：数据仓库Hive从入门到小牛 5-7 项目作业

17

收起

1回答

徐老师 2021-09-15 17:28:16

例如，group by会产生shuffle，一个sql用一次就是产生一个shuffle，一个sql用两次就会产生2个shuffle

相似问题

关于shuffle疑问

发生死锁的原因是线程处于等待状态，那为什么在运行到生产13时候产生死锁

没理解“死锁”是怎么产生的，谢谢！

请问该怎么使用Math.random()函数产生0-200之间的随机数？

为什么练习中的”地球诞生“只出现一次，不是应该打印三次么？谢谢！

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1166 人
提交作业 6092 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载