模型训练带宽需求

带宽不够确实会拖慢模型训练，但结论分场景：单机多卡训练几乎不受内网带宽影响，多机分布式训练中带宽不足会直接成为性能瓶颈，且模型越大、并行规模越大，带宽对训练速度的拖累越明显，内网带宽不够影响大模型训练吗先说结论：影响极大，但只在跨机场景下体现，你在单台服务器上插8张A100，卡间走的是NVLink，带宽能到60……