NCCL通信开销分析

多卡训练的效率瓶颈多半不在GPU算力本身，而在数据供给与跨卡通信同步；多数情况下，先被拖垮的是I/O和AllReduce等待，而不是FLOPS，把多卡训练拆成计算、数据、通信、调度四段看，GPU经常不是最忙的那一环，卡数一多，等待会被放大，单卡时看不见的小问题会变成全局瓶颈，下面按排查优先级拆开讲，多卡训练效率……