降低检查点搬迁通信开销方法

训练弹性伸缩中检查点搬迁的成本，本质上是时间成本、存储成本和网络带宽成本的三方博弈，核心矛盾在于IO等待与GPU空转的取舍，近年来，大模型训练集群普遍采用弹性伸缩策略来应对波动的算力需求，当训练任务被抢占或重新调度时，检查点文件需要在节点间迁移，这个过程往往比想象中更耗时，很多用户只关注GPU租赁价格，却忽略了……