多卡训练故障保护机制

GPU服务器多卡训练故障隔离方案：炸卡前划好边界多卡训练被迫中断，绝大多数情况不是算力不够，而是单卡故障没有在本地被关住，让整组训练陪葬，用故障域隔离把一张卡的故障限制在它自己身上，训练就不至于从头再来，大模型训练任务动辄几百卡协同，单卡显存报错、掉卡、通信超时这类硬故障，几乎每个大规模训练团队都会遇到，没有故……