多机多卡通信拓扑收敛速度优化

多机多卡训练收敛速度的核心瓶颈往往不在算力，而在通信拓扑的选择与配置，它决定了梯度同步的效率和GPU利用率，直接影响每一步迭代耗时，进而决定模型能否在预期时间内收敛，实际部署中，机间通信带宽远低于机内NVLink，拓扑结构放大了这一差距，通信拓扑是多人协作的分工方式——环形接力稳但怕掉棒，树状汇报快但怕根节点拥……