跨机组网适用边界

单机多卡适合单卡显存不够但整体算力需求在百卡以内的场景，跨机组网在千卡以上训练时是唯一选择，但通信开销和工程复杂度会让小规模场景得不偿失，先搞清楚它们在解决什么问题分布式训练面对的基本矛盾只有两个：单卡显存放不下，或者单卡算力跑太慢，单机多卡与跨机组网都是围绕这两件事展开的，单机多卡指的是在一台物理服务器内插多……