高显存训练卡做推理划算吗

推理卡与训练卡的显存容量选择逻辑截然不同，推理场景更注重容量与带宽的匹配、并发批处理能力以及单位成本承载的吞吐量，而不是单纯追求大容量，训练卡需要在显存中同时存放权重、梯度、优化器状态和中间激活值，容量不够直接导致训练中断；推理卡只需存放权重和KV Cache，但在线服务的延迟和吞吐要求决定了显存必须刚好卡在性……