AI推理算力选择

如果你正在做GPU推理且对延迟敏感，同时预算能覆盖硬件折旧周期，自建物理集群通常更划算；但如果你的需求波动大、追求快速上线，云算力依然是更优解，这个结论建立在两个前提上：你的推理负载是否稳定，以及你是否把运维人力算进了成本，先分清推理和训练的算力需求差异绝大多数团队纠结这个问题，是因为把训练和推理混在一起算账……