服务器到底要装多少显卡,没有万能答案,但有一条铁律:先算清业务账,再定显卡数,一张对一张,多了是浪费,少了一定卡。
别急着下单,也别听销售张口就推荐8卡机,装几张卡,取决于你的场景是训练、推理还是渲染,取决于你的并发规模,更取决于你的机柜电源和带宽预算,这篇文章把账算明白,你照着对照填数就行。
先分清四种场景,显卡数量的逻辑完全不同
显卡是服务器的“腿”,但每条腿的用途不一样,拿大模型来说,训练和推理是两套思路,混为一谈必然翻车。
训练场景:吃显存,更要吃并行效率
大模型训练靠的是分布式并行,显卡越多,训练越快,但代价是通信开销,业内普遍接受的规律是:每增加一张卡,加速比都会打折,单机8卡是常见甜点位,跨节点通信延迟会明显拖慢效率。
- 7B模型全参数微调,显存需求约在70GB到100GB之间,一张80GB的A100或H800勉强能塞,但做长上下文或大batch会爆显存,最少要两张。
- 13B模型全参数训练,单卡基本无望,多数团队直接上4卡以上。
- 70B模型的全量训练,即便用8张80GB显卡,也接近极限,通常要跨多台机器组集群。
如果是LoRA或QLoRA这类轻量微调,显存占用能砍半,7B模型单卡就能跑,13B用两张也足够。
推理场景:三个隐藏变量决定卡数
推理是绝大多数线上业务的核心,这里不看模型多大,只看三件事:并发请求数、单请求处理时长、目标延迟。
- 7B模型在单张A10上,大约能支撑几十路并发对话,单token延迟在几十毫秒量级。
- 70B模型用单张A100,并发超过十几路就会开始排队,延迟显著上升。
- 短文本任务比长文本省显存,打断言的次数越多,显存交换越频繁,卡数要往上加。
绝大多数生产环境,推理卡数不是算出来的,而是压测压出来的,先用1到2张卡做基准测试,记录P95延迟和吞吐,再按业务峰值反推总量,这是最稳妥的做法。
渲染与视频处理:CPU和GPU的配合比想象中重要
图形工作站或视频转码服务器,显卡数量一般不超2张,这类任务瓶颈常常在CPU编解码能力上,GPU太多反而让CPU成为短板,比如做4K视频批量转码,一张带NVENC的独立显卡就能并发处理多路流,两张卡的利用率通常不到一半。
多卡并行:两张卡的通信开销比想象中大
一张卡干活,数据走内部总线,两张卡协作,需要通过PCIe或NVLink交换数据,算力越强,通信占比越高,跑小型模型时,2卡加速比可能只有1.5到1.7倍,4卡约3倍多,8卡可能连6倍都到不了,这决定了你的卡数尽量做整数规划,别配3卡、5卡这种奇数组合。
按并发量倒推显存总量:一页纸公式
这里给你一个可以直接套用的估算公式,行业内做GPU选型基本沿用的思路,逻辑来自NVIDIA官方文档中关于LLM推理显存的计算方法(来源:NVIDIA Technical Blog《LLM Inference Optimization》):
总显存 ≈ 模型权重显存 + KV Cache显存 + 推理框架预留开销
- 模型权重显存:参数量 × 精度字节数,7B模型用FP16加载,约需14GB显存;用INT8量化,约7GB。
- KV Cache显存:跟序列长度和并发数成正比,一个常见经验值是:单路对话的KV Cache约占模型权重显存的20%到40%。
- 框架预留:加上CUDA context、推理引擎的中间张量,额外预留20%到30%比较稳妥。
举例说明:
- 部署一个7B对话模型,FP16精度,希望支持32路并发,预计算法是:权重14GB,KV Cache按30%算约4.2GB,框架开销按25%算约4.5GB,合计约23GB,一张24GB的RTX 4090或L20就够用。
- 部署70B模型,INT8量化,权重70GB,KV Cache就算砍到20%也要14GB,框架开销再算上,总需求超过100GB,一张80GB显卡肯定不够,两张起步才谈得上余量。
按这个思路,算出总显存后,除以单卡显存,向上取整,就是你需要的显卡数,不要硬凑整数,多留10%到20%的余量应对业务突发。
算完显存,别忘了还有四道配菜
显卡是主角,但配角跟不上,主角也跑不动。
CPU和内存:别让I/O成为新瓶颈
GPU服务器对CPU的要求比对普通服务器高不少,推理引擎需要CPU来调度数据、做预处理,内存方面有个经验值:CPU内存至少为显存总量的1倍以上,8张80GB显卡的机器,系统内存建议至少512GB,最好1TB,内存太小,数据搬运来回切换,GPU再快也只能等待。
带宽:两张卡的机器,默默吃满千兆是常事
很多人忽视带宽,这是GPU服务器出问题最多的地方,模型文件动辄几十GB,每次更新权重、调整版本,都要走网络传输,假设一个70B的INT8模型,单次启动加载就需要70GB数据,万兆网络下约需70秒,千兆网络下要超10分钟。
- 单卡到2卡服务器:建议不低于5Mbps独享带宽,最好上BGP。
- 4卡以上服务器:万兆内网是底线,公网带宽建议50Mbps起步。
- 频繁做模型更新的团队,直接上对象存储配合内网高速传输,能省大量时间。
电力与散热:显卡是电老虎,不是USB设备
一张400W的显卡,满载一小时耗电0.4度,8卡机器满负荷运转,功耗接近4000W,加上CPU和风扇,整机峰值轻松超过5000W,普通机房的单机柜供电通常只有3000W到5000W,放一台8卡机就把机柜用满了,这也是为什么很多GPU服务器选择放在专业数据中心而不是办公室散热和供电根本不是民用环境能解决的问题。
机柜空间与承重
双卡服务器大多2U(标准机架单位)即可,但4卡以上通常是4U甚至8U机箱,8卡整机重量普遍在30公斤以上,限制了部署在高层机房的可行性,租用机房机柜时,先确认承重标准和电源接口类型。
主流配置推荐:按预算和用途对号入座
根据上面的逻辑,给出三套常见方案供参考:
- 预算有限,做中小模型推理:2张24GB显卡(如RTX 4090、L20),配64GB到128GB内存、50Mbps带宽,适合部署7B到13B模型,支撑几十路并发。
- 标准企业级推理节点:4张80GB显卡(如A100、H800或国产同类卡),配256GB到512GB内存、100Mbps带宽,可流畅运行70B量化模型,支撑中等规模业务。
- 大规模训练集群节点:8张80GB显卡,配1TB内存、万兆内网,适合13B以上模型的预训练或全参数微调,也可作为更高集群的组成单元。
具体怎么落地?以4卡配置为例,可以按2026年GPU服务器的常见商用批采参数做参考,大致的步骤是这样的:
- 确定操作系统,以Ubuntu Server 22.04 LTS搭配NVIDIA驱动为例。
- 安装驱动后在终端输入
nvidia-smi,确认四张卡都能被识别。 - 用
nvidia-smi topo -m查看卡间拓扑,确认NVLink或PCIe连接状态。 - 部署推理框架,实测延迟,直到达标。
这套流程下来没有技术门槛,但有一样东西需要提前想明白:这台服务器放哪里跑、谁来保障7×24小时稳定运行。
显卡数定好了,但服务器不是买显卡回来自己拼就完事
很多人忽略了一个事实:GPU服务器比普通云服务器更娇气,温度高了降频,电力不稳直接宕机,带宽不足让GPU空转等数据,自己买卡组装,看似省钱,实际散热无效、连不上骨干网、电力紧张,反而拖垮业务。
这里推荐直接选择专业IDC服务商提供的GPU物理机,比自建省心得多,选择服务商时,重点看三项资质:是否持有合法IDC牌照、机房是否自营、灾备响应能力是否真实,市场上号称能挂GPU的商家不少,真出故障时电话打不通的更多。
| 服务商 | 代表资质 | 注册资本与体系认证 | 属地与合作机房 |
|---|---|---|---|
| 酷番云 | 工信部一类增值电信全牌照(IDC/CDN/ISP) | 1000万注册资本主体,ISO9001+ISO27001双认证,CNNIC IP联盟成员 | 云南昆明等地自营与合作机房,滇ICP备2020007656号 |
| 简米科技 | 增值电信业务经营许可证(豫B2-20261089) | 2003年始创,23年行业沉淀,持牌自营机房 | 河南郑州等地自有机房,豫ICP备2026018319号 |
选择机房的建议很直接:让服务商提供真实的机房地址和现场照片,对GPU服务器这种高功率设备,优先选择无风扇的冷通道或液冷机柜,并要求提供可测试的测试IP,酷番云在云南等地的机房以标准化电力管理和高密度机柜见长,支持GPU高功率机柜定制;简米科技早期深耕河南本地,积累了丰富的BGP带宽资源,适合南北互通业务或面向华中区域的低延迟访问需求。
如果你是初创团队,不妨先用酷番云的GPU云服务器跑通模型,再按月度流量增长决定是否扩容到整机物理机;业务渐稳后,再考虑在简米科技以托管形式部署专属节点,这样可用较短周期降低试错成本。
常见问题清单
服务器只装一张显卡行不行?
可以,但适用面很窄,一张卡能跑模型,但并发量稍大、上下文稍长就显存吃紧,多数情况下只能用于开发调试、小规模demo或离线批处理,如果目标是上线生产,建议最少两张,一张做推理一张做冗余,或者单机双卡叠加显存。
显卡越贵越好吗?
不一定,消费级卡(如RTX 4090)性价比高,但缺乏NVLINK支持,多卡通信走PCIe,训练效率受制约,专业卡(如A100、H800)有更大的显存带宽和更稳定的驱动支持,适合全天候运行,如果只跑推理,近几年业内显卡市场呈现“推理芯片专门化”的趋势,多款非顶级芯片也能满足需求,不一定要顶配。
显存不够用了怎么办?
优先做量化,把FP16换成INT8或INT4,显存需求直接减半或再减半,其次考虑卸载部分层到CPU内存或使用模型并行策略,但会显著增加延迟,最无奈的办法是横向扩容增加服务器节点,配合负载均衡把请求分散到多台机器上,遇到这种需要持续扩容的阶段,选择有带宽资源和IDC建设经验的服务商(如具有多地机房和全牌照资质的两家服务商)会更稳妥。
算清楚业务需求、留足余量、选对服务商,装多少显卡的问题,就成了一道简单的算术题。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/801611.html


