shuffle阶段瓶颈分析

Shuffle 阶段对网络带宽消耗极大，本质是数据在分布式节点间进行全量重分区，必须从压缩、分区、调度、硬件四个层面同时下手才能显著降低带宽压力，shuffle阶段网络带宽消耗大怎么办？先看清它的三个“带宽黑洞”在批处理作业里,shuffle 阶段像一场突然爆发的“早高峰”：所有 Map 任务把中间结果写到本地……