并行训练连接建立时间

多机训练启动阶段的网络握手开销，本质上是分布式集群在建立通信拓扑、交换元信息和同步初始状态时产生的固定成本，它决定了训练任务从”提交”到”真正跑起来”之间那段不可压缩的等待时间，很多团队在单卡上调好的模型,一上多机就发现前几分钟GPU利用率是零，日志停在”Initializing”不动，这不是代码bug，而是握……