数据倾斜解决方案

数据倾斜就是集群里少数几个节点扛着绝大多数活，其他节点早早干完干等着，整个查询的耗时被这几个“累死”的节点死死卡住，这就像十个人搬砖，八个人一人搬一块，剩下两个人一人搬十块，搬得快的不是先下班，而是等那群搬得慢的，放到分布式计算里，一个Spark或者Hive任务跑得慢，十有八九不是集群不够大，而是某几个key的……

数据倾斜的根因在于分片键选型与查询执行计划的双重失衡，单靠调整并行度或资源参数无法根治，必须从数据分布源头和SQL访问模式两端同步下手，分布式数据库处理海量数据时,最怕的不是数据大，而是数据“偏”，几十个节点忙得冒烟，剩下的节点闲着看戏，整个任务的耗时被最慢的那个节点死死卡住，这条“短板”就是倾斜节点，业内专家……