数据倾斜问题

实际工作中大致如何具体去推测有数据倾斜的数据？能不能给些思路

源自：拿来就用的企业级解决方案 2-3 数据倾斜案例实战

收起

1回答

徐老师回答被采纳获得+3积分 2020-09-04 08:24:29

实际工作中一般是遇到一些任务执行非常耗时，此时我们才会去排查是不是遇到了数据倾斜，任务异常耗时是数据倾斜最直观的信号

GRdreamflying 提问者 #1

就是如何去定位对应哪个字段有问题。？

2020-09-04 08:26:37
徐老师回复提问者 GRdreamflying #2

在排查具体哪个字段有数据倾斜问题的时候，一般就是看你的代码里面是根据哪些字段进行了group by，肯定是这些进行了分组的字段出现了数据倾斜，可以通过具体的业务来推理一下这个字段出现倾斜的原因，有时候通过业务能分析出来到底这个字段中的哪个值出现了倾斜，如果通过业务推理不出来，那么就取出来一部分数据看一下，或者就等这个异常耗时的任务执行结束之后看下结果就能看出来是哪个值出现了倾斜，然后就根据我们讲的这个思路吧倾斜的key打散即可

2020-09-04 08:33:56
codesci 回复徐老师 #3
课程中提到，
- 不知道数据大致分布情况，可进行抽样
这个抽样具体是怎么操作的呢？
2021-11-04 16:11:10