服务器显卡的配置，本质上是在显存容量、单卡功耗、卡间互联和散热形态这四个约束里做取舍：先定业务用途，再定卡型和卡数，最后反推电源、机箱与CPU内存配比，顺序反了就容易买回来装不上或跑不满。
很多人在选型时习惯先挑一张算力最强的卡,结果发现机箱塞不进，或者电源供不上电，服务器显卡跟桌面装机是两套逻辑，下面把配置拆开讲。
服务器上跑的卡，和桌面卡不是一回事
三类卡的分水岭
业内通常把服务器用到的GPU分成三层：
- 消费级 GeForce：RTX 4090、5090这类，单卡算力单价便宜，但三风扇主动散热、双宽甚至三宽厚度、没有ECC显存、没有NVLink，而且NVIDIA的GeForce驱动授权条款对数据中心批量部署有明确限制，短期验证、小团队自建可以，规模化生产环境不合适。
- 专业可视化卡：RTX A4000、A5000、A6000，以及RTX 6000 Ada、RTX 5000 Ada这一代，单宽或双宽，可选被动散热版本，支持vGPU虚拟化授权，适合渲染、CAD、VDI桌面。
- 数据中心卡：L4、L40S、A10、A40、A100、H100、H200、B200、GB200，用HBM显存，带宽高出GDDR一个量级，支持MIG切分和NVLink，是AI训练和推理的主力。
PCIe卡和SXM模组是两种东西
这一条最容易踩坑,PCIe卡是标准x16插槽形态，你可以自己买卡插到通用服务器主板上，SXM模组则直接焊接在HGX基板上，8颗GPU加NVSwitch做成一个整体，只能由整机厂商整机出货，个人买一张SXM卡回去是装不上的，所以看到“8卡H100”报价时，先问清楚是8张PCIe H100还是8卡HGX SXM整机，两者价格和性能差得很远。
服务器显卡配置怎么选，先看六个硬指标
显存容量决定模型能不能跑起来
大模型推理的显存占用可以粗算：FP16精度下大约等于参数量乘以2字节，再留1.2到1.5倍的余量给KV Cache和框架开销，70B参数模型FP16推理要140GB以上显存，单卡放不下，只能多卡并行或者降到INT8、INT4量化，显存容量不够，算力再强也白搭。
显存带宽影响吞吐，不只看容量
同样是80GB,HBM3的带宽远高于GDDR6X，推理时的token吞吐差距明显，做批量推理服务时，带宽往往比峰值算力更影响实际成本。
功耗与供电是最容易被忽略的坑
单卡TDP跨度极大：L4约72W，L40S约350W，A100 PCIe约300W、SXM版本400W，H100 SXM约700W，B200这一代已经往1000W以上走，8卡SXM整机的满载功耗普遍在8kW到10kW这个量级，普通机柜根本扛不住，供电必须用服务器专用的冗余电源模块，不要拿桌面电源转接12VHPWR去凑。
散热形态决定机箱选型
被动散热卡靠机箱前后风道带走热量,必须配风扇墙和导风罩；主动涡轮卡自带风扇，可以塞普通机柜但噪音大；消费级三风扇卡放进服务器里风道是乱的，很容易局部过热降频，机房进风温度行业共识认为控制在25℃以内比较稳妥。
卡间互联决定多卡效率
PCIe 5.0 x16单向带宽大约64GB/s，而NVLink单卡互联带宽要高一个数量级，多卡张量并行训练时，互联带宽不够会直接把GPU利用率拉下来，nvidia-smi里看到显存占满、算力利用率却上不去，多半是这个原因。
机箱槽位和CPU内存配比
4U机箱一般能装8个双宽PCIe槽,2U机器做2到4卡比较常见，8卡SXM对应的是8U整机，CPU侧的经验配比是每卡配8到16个物理核，系统内存不低于显存总量的两倍，否则数据加载会成为瓶颈。
8卡GPU服务器电源和散热怎么配
电源功率按这套算法估
整机功率 ≈ 单卡TDP × 卡数 × 1.1 + CPU TDP × 颗数 + 主板内存硬盘风扇等固定开销，最后再留出20%以上余量，并按N+1做冗余。
举个具体例子：8张350W的L40S，GPU侧约2800W，双路高功耗CPU约700W，其余部件按500W估，整机接近4000W，通常配2块3000W或4块2000W电源做冗余，换成8卡H100 SXM，GPU侧就接近5600W，整机奔着8kW去，电源配置要重新算。
散热看风道也看监控
机柜内做冷热通道隔离,服务器前进风、后出风，别把机器反装，上电后用nvidia-smi -q -d TEMPERATURE定期看GPU温度和降频标志位（Clocks Throttle Reasons里出现HW Slowdown就要处理了），风扇转速策略可以在BIOS里调，别一上来就拉满，噪音和功耗都不划算。
不同场景的典型显卡配置组合
| 业务场景 | 典型卡型 | 显存规格 | 建议形态 | 补充说明 |
|---|---|---|---|---|
| 大模型训练 | H100 / H200 SXM | 80GB / 141GB HBM | 8卡HGX整机 | 必须NVSwitch互联 |
| 推理服务 | L40S / L4 | 48GB / 24GB | 4U PCIe多卡 | 按QPS扩卡数 |
| 虚拟化桌面VDI | L4 / A16 | 24GB / 48GB | 2U多卡 | 需vGPU授权 |
| 影视渲染与仿真 | RTX 6000 Ada | 48GB | 4U双宽 | 选被动散热版 |
| 视频转码 | L4 / T4 | 24GB / 16GB | 1U-2U多卡 | 关注解码器数量 |
采购前算清楚：一台GPU服务器大概多少钱
价格主要由卡决定,卡的成本往往占整机大头，这里不给具体数字，因为同一型号在不同渠道、不同批次波动很大，可以按这几条判断：
- 品牌整机 vs 白牌组装：品牌整机贵在售后和认证，白牌便宜但要自己承担兼容性风险。
- 新卡 vs 二手卡：二手A100、V100在预算紧张的项目里仍有市场，但要确认是否矿卡、是否支持原厂保修转移。
- 买 vs 租：短期项目或验证阶段，GPU服务器租用价格按小时或按月计，往往比采购更划算，国内一线城市的机房资源相对集中，租用可选项也更多。
据中国信通院公开的算力相关材料,国内智能算力需求近年增长较快，但采购决策仍要回到“单位有效算力的成本”上，而不是只看单卡标价。
上机后先跑这几条命令验证配置
新机器到手别急着跑业务,按顺序过一遍：
lspci | grep -i nvidia确认系统识别到的卡数对不对。nvidia-smi看驱动版本、显存、当前功耗和温度。nvidia-smi topo -m查看卡间互联拓扑，确认是NVLink还是走PCIe、跨不跨NUMA。nvidia-smi -q -d POWER,TEMPERATURE核对功耗墙是否被限制在低档位。dcgmi discovery -l装了DCGM的话用它做集群级健康检查。nvidia-smi mig -lgip需要切分算力的场景，确认MIG配置是否生效。
Q&A：服务器显卡配置常见疑问
服务器显卡配置怎么选才不浪费预算？
先明确是训练还是推理,训练看重互联带宽和HBM容量，推理看重显存容量和单位功耗的吞吐，一个常见的浪费是把训练卡拿去做低并发推理，算力大量闲置；反过来用推理卡硬扛训练，互联带宽会成为瓶颈，按业务峰值定卡数，按模型大小定显存，这两条定下来，预算基本就收敛了。
H100和RTX 4090做服务器有什么区别？
差距主要在四点：显存类型与带宽，H100用HBM、带宽高一个量级；互联能力，H100支持NVLink和NVSwitch，4090只有PCIe；散热与形态，4090是三风扇消费卡，进服务器风道不匹配；授权合规，GeForce驱动在数据中心规模化部署上受条款限制，小规模微调、单机实验用4090性价比高，做集群训练或对外提供服务，H100这类数据中心卡更合适。
8卡GPU服务器一定要上液冷吗？
不一定,风冷方案在单柜功率密度不太高的机房里仍能满足多数8卡整机的散热需求，只有当单机柜功率密度逼近风冷上限、或者机房送风温度偏高时才需要考虑冷板式液冷，判断依据是实测进风温度和GPU降频记录，而不是单纯看卡数。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/788093.html
