GPU直连 训练加速

卡间互联不是训练效率的唯一变量，但它决定多卡并行时梯度同步和参数交换的下限，带宽和拓扑选错会把算力卡成“等通信”，很多团队买卡时盯峰值算力，训练一跑起来却发现GPU利用率上不去，日志里all-reduce、all-gather耗时占比高，GPU在等通信，卡间互联就是这条通信链路的底座，下面按影响因素、链路对比……