【学习任务】项目任务-使用HiveSQL发现倾斜的Key
我要参与
【学习任务】项目任务-使用HiveSQL发现倾斜的Key
学习任务 1.0k
等49人参与
来源: 第8周 / 大数据工程师

题目描述:
表table_a(数据量10亿)

​```
event_id(string)--事件id   		session_id(string)--会话id 
​```

表table_b(数据量5亿)

​```
session_id(string)--会话id  		topic(string)--主题
​```

这两个表在进行join的时候如果出现数据倾斜,该怎么确定倾斜的key?

效果:
使用SQL分析表中倾斜的Key

任务要求:

1:使用SQL分析表中倾斜的Key

任务提示、思路分析:

1:对两表session_id分别随机采样,再从采样中看某个session_id是否重复值过多

去发布

登录后即可发布作业,立即

我的作业

全部作业

意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师