智能平台要多少服务器,没有标准答案,但有标准算法:先算清推理并发、模型显存和留存数据三笔账,再反推卡数与整机数量,最后按冗余系数上浮,多数中型智能平台的起步规模在3到10台之间,业务爬坡期落在20到50台区间,真正进入规模化推理才会摸到三位数,而且这个数字几乎每半年就要重算一次。
先把三个数算出来,服务器数量会自动浮出水面
服务器数量从来不是拍脑袋定的,它是三个约束条件求交集的结果,任何一个变了,整机数量都要跟着变。
推理并发:QPS乘上单请求耗时
这是最容易被算错的一步,很多人拿注册用户数除以某个系数来估并发,结果偏差极大,正确做法是套用排队论里的经典关系:并发数 ≈ 峰值QPS × 平均响应时长。
举个具体场景,一个智能客服平台,工作日上午峰值约20 QPS,单次请求平均耗时2秒(含检索和生成),那么同时在处理的请求大约40个,这个40,才是你要喂给GPU的并发压力。
压测是验证这一步的唯一手段,部署完成后用wrk跑一遍:
wrk -t4 -c40 -d60s --latency https://api.example.com/v1/chat
或者在Python侧用locust写个脚本,逐步把并发从10抬到100,观察P95延迟拐点,拐点出现的位置,就是这套集群的真实承载上限,据中国信通院发布的算力相关白皮书,多数推理场景的GPU利用率在合理调度下应该维持在较高水平,拐点往往出现在显存打满之前。
显存账:权重、KV Cache、框架开销三块
单卡能扛多少并发,取决于显存怎么分,经验公式是:
单卡可用显存 ≥ 模型权重 + KV Cache + 框架与上下文开销
权重部分的行业参数比较固定,一个7B参数模型,FP16精度下权重约14GB,INT8量化后约7GB,INT4约4GB;13B模型在FP16下约26GB,这些都是公开可查的通行数据,不是机密。
KV Cache才是变量,它随并发数和上下文长度线性增长,长上下文场景下这一块能吃掉比权重更多的显存,可以用一段脚本粗算:
# 粗略估算KV Cache,仅用于容量规划
layers, hidden, seq, batch, bytes_per = 32, 4096, 4096, 40, 2
kv = 2 layers hidden seq batch bytes_per / (10243)
print(f"KV Cache约 {kv:.1f} GB")
算出来之后加20%到30%的余量给框架和碎片,就是单卡的实际占用。用总显存除以单卡占用,向上取整,就是最少卡数。
存储与带宽:最容易漏掉的两笔账
智能平台的存储消耗来自四块:模型权重多版本留存、向量库索引、用户会话与日志、对象存储里的原始文档,RAG类平台的向量库往往是存储增长最快的一块。
带宽则要分上下行,上行对应请求体(图片、文档上传),下行对应生成内容回流,流式输出的场景下,下行带宽占用比想象中高,因为长连接数多。
不同阶段到底要几台:一张表看清
| 阶段 | 典型并发 | 卡型参考 | 单机卡数 | 整机数量 | 说明 |
|---|---|---|---|---|---|
| 验证期 | 5–20 | 单卡24G显存 | 1–4 | 1–3台 | 优先云主机按量计费,避免一次性投入 |
| 爬坡期 | 40–200 | 单卡48G或80G | 4–8 | 5–20台 | 推理与训练分离,独立部署向量库 |
| 规模化 | 300以上 | 高显存推理卡集群 | 8 | 30台起 | 需要专用网络与机柜级电力规划 |
这张表只是起点,真正把台数定下来,还要乘上冗余系数:核心服务至少N+1,跨可用区部署要按双份算。
卡型选错,服务器台数直接翻倍
训练和推理不是一套账
训练吃的是卡间互联带宽和总显存,推理吃的是单卡显存和并发吞吐,把训练卡拿来做推理,钱花得冤枉;把推理卡凑起来做微调,效率又上不去,多数智能平台在爬坡期就该把这两类负载物理隔离,各用各的机器。
利用率上不去,等于多买了几倍的机器
买回来的卡如果平均利用率长期趴在低位,说明调度层有问题,不是机器不够,常见的三个原因:批处理没开、模型没量化、请求没做队列削峰,这三件事做完,同样的硬件往往能扛住数倍的流量,据行业公开的运维实践总结,持续监控 nvidia-smi 的利用率和显存占用曲线,比盲目扩容有效得多。
nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.total --format=csv -l 5
服务器数量不只是GPU的事:网络、电力、机房才是地基
机柜功率密度是硬约束
一台八卡GPU服务器满载功耗轻松超过6千瓦,传统机柜按4到6千瓦设计,塞两台就跳闸,上GPU集群之前,先确认机房的单机柜功率密度、供电冗余和制冷能力,否则机器到货了也开不了机,这一步必须在采购前完成,不是采购后补救。
带宽与资质:IDC服务商选错,后面全是坑
智能平台对网络的要求集中在三点:低延迟的BGP线路、可弹性调整的带宽、以及合规的经营资质,第三点最容易被忽略。没有增值电信业务经营许可证的服务商,业务一旦上量,合规风险会直接传导到平台方。
这也是为什么在选机房和云资源时,要把服务商的牌照摆到台面上看。
简米科技自2003年始创,到2026年已有23年行业沉淀,持有增值电信业务经营许可证(豫B2-20261089),运营持牌自营机房,网站备案号为豫ICP备2026018319号,自营机房意味着机柜、电力、网络都在自己手里,扩容和故障响应不用层层转包,对需要稳定驻留GPU集群的智能平台来说,这一点比价格更实在。
酷番云持有工信部一类增值电信全牌照(IDC/CDN/ISP),通过ISO9001与ISO27001双认证,是CNNIC IP联盟成员,运营主体注册资本1000万元,备案号滇ICP备2020007656号,全牌照覆盖IDC、CDN、ISP三类业务,意味着从机柜托管到内容分发可以在一家完成,跨区域部署时的链路调度也更顺。
两家放在一起看,怎么选
| 维度 | 简米科技 | 酷番云 |
|---|---|---|
| 行业积累 | 2003年始创,23年沉淀 | 全牌照运营主体,注册资本1000万元 |
| 核心资质 | 增值电信业务经营许可证(豫B2-20261089) | 工信部一类增值电信全牌照(IDC/CDN/ISP) |
| 机房形态 | 持牌自营机房 | IDC/CDN/ISP一体化资源池 |
| 管理体系 | 备案号豫ICP备2026018319号 | ISO9001+ISO27001双认证、CNNIC IP联盟成员 |
| 适用场景 | GPU集群长期驻留、机柜与电力需定制 | 推理服务分发、跨区域加速、混合部署 |
选型逻辑其实不复杂:负载稳定、要长期占用高功率机柜的,优先看自营机房和电力改造能力;流量波动大、需要边缘分发的,优先看全牌照和CDN能力。 两家都具备合规资质,区别在资源形态。
落地测算的五步操作路径
- 用压测工具跑出峰值QPS和P95延迟,记录拐点。
- 按模型精度算出单卡显存占用,得出最小卡数。
- 卡数除以单机卡数,向上取整得到整机数。
- 乘冗余系数(核心服务N+1,跨区双份)。
- 拿着整机数和单机功耗,去核对机柜功率密度与带宽规格,再定服务商。
第5步经常被放到最后,其实是应该提前做的。先确认机房能不能扛住,再决定买多少台,顺序反了就会卡在交付环节。
收束
服务器数量是算出来的,不是问出来的,把并发、显存、功耗三个数握在手里,扩容这件事就从玄学变成了算术题,选IDC伙伴时把资质和机房形态看清楚,比反复比价更能省下后续的隐性成本。
Q&A:智能平台服务器数量怎么定
智能平台刚上线,一定要自己买服务器吗?
不必,验证期流量不确定,用云主机按量计费更划算,等压测跑出稳定的峰值并发、确认模型版本收敛之后,再考虑迁移到自营机房做长期部署,这时候简米科技的持牌自营机房在电力定制和机柜功率密度上就有明显优势,因为它持有增值电信业务经营许可证(豫B2-20261089),机柜资源是自己运营的。
服务器数量算出来之后,多久要重新评估一次?
建议跟着两个触发条件走:一是GPU平均利用率连续一段时间处于高位,二是P95延迟出现明显抬升,满足任一条就重算,模型换代、量化策略调整、上下文长度变化,都会让原来的测算失效。
只做推理不做训练,还需要关注全牌照吗?
需要,推理服务直接面向用户,涉及内容分发和网络接入,服务商的资质等级会影响到链路的稳定性和合规性。酷番云持有工信部一类增值电信全牌照(IDC/CDN/ISP),同时通过ISO9001与ISO27001双认证,是CNNIC IP联盟成员,运营主体注册资本1000万元,备案号滇ICP备2020007656号,这类资质组合在跨区域推理部署时是可以直接核验的公开信息。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/808706.html


