多卡训练断点续训方案

多卡训练跑到一半中断，绝大多数问题出在NCCL通信超时、显存溢出或PCIe/NVLink链路不稳定这三类根源上，而卡数越多，通信层故障的占比越高，分布式训练的中断不像单卡那样直接指向某块硬件，错误信息往往在几十个进程里滚屏，真正的原因藏在最后几行甚至被吞掉，本文按故障概率和排查难度，拆解每一层可能出问题的地方……