推理服务器类型有哪些

推理服务器并非单一品类，而是按部署位置、硬件架构、应用场景和服务模式分为四大类，选择哪种直接取决于你的业务体量、延迟要求和预算上限，很多人把推理服务器理解成“一台很贵的电脑”，其实它的分化程度远超想象，同样是跑大模型，有人用几万元的单卡工作站，有人用上百万的整机集群，还有人干脆一行代码都不写，直接调云端API……