GPU服务器中断恢复方法

训练任务中断后GPU服务器的恢复流程可以压缩成一句话：先保住现场和checkpoint，再按“硬件自检—驱动与通信层—存储完整性—断点续训”的顺序逐层排除，多数情况下一个自检周期内就能判定是原地重启续训，还是换卡、换节点重跑，顺序错了，代价往往不是多花半小时,而是把还能救的现场证据一起冲掉，训练任务中断后GPU……