多卡训练成本节省

一张卡和多张卡跑训练的成本差，不是简单的“卡数乘单价”：多数情况下，多卡总成本是单卡的数倍到十余倍，但单位有效算力成本可能更低；小任务、小模型微调，单卡往往更省，大模型预训练或多任务并行，多卡摊薄后更划算，先把账本拆开看，训练成本不只买卡或租卡的钱，还包括电费、散热、通信、运维、排队和故障重跑，单卡像一个人干活……