分布式训练稳定性

GPU故障漂移是长训练任务最大的隐性杀手，它不会直接让训练崩溃，而是通过间歇性性能下降、微小计算错误和悄无声息的降频，让训练时间拉长、模型质量受损，甚至让数周的算力投入化为泡影，GPU故障漂移到底“漂”在哪：从稳定到崩塌的四个阶段GPU故障漂移（GPU Fault Drift）指的是显卡从健康状态到完全失效之间……