join数据倾斜解决方法

大规模join查询的性能瓶颈，通常不是集群总算力不足，而是少数节点被倾斜数据压垮，导致整个作业在最后一个task上长时间卡死，大数据join数据倾斜怎么解决：先把节点间数据分布看清楚数据倾斜不是玄学,是分布式计算里最典型的“木桶效应”，某个join键在数据源中占比一旦明显高于其他键，相同键的记录就会被shuff……