“服务器 GPU”（Server GPU）是指专门设计用于数据中心、云计算平台、高性能计算（HPC）和人工智能（AI）训练与推理的图形处理单元，与普通消费级显卡（如 NVIDIA GeForce 系列）不同，服务器 GPU 在稳定性、吞吐量、互联带宽和能效比上有着极高的要求。
以下是关于服务器 GPU 的核心知识点梳理：
主要厂商与产品系列
目前市场主要由以下几家厂商主导：
NVIDIA（英伟达）- 市场领导者
NVIDIA 占据了全球服务器 GPU 市场的绝大部分份额，尤其是其 CUDA 生态系统的壁垒极高。
- H 系列（高性能计算/AI 训练）：
- H100 / H200： 当前 AI 大模型训练的主力军，H200 在 H100 基础上增加了 HBM3e 内存，带宽更高,适合超大参数模型。
- H800 / A800： 曾是中国市场的主要高端型号（受出口管制影响，性能有所调整）。
- A 系列（上一代主力/推理）：
- A100： 曾长期作为 AI 训练的标准配置,目前仍广泛用于推理和中等规模训练。
- A30 / A40： 面向图形渲染、视频转码和轻量级 AI 推理。
- L 系列（推理优化）：
- L40S： 基于 Ada Lovelace 架构，专为 AI 推理和图形工作负载优化，性价比高于 H 系列。
- B 系列（最新一代）：
- B200 / GB200：
2026 年发布，基于 Blackwell 架构，性能较 H100 有显著提升，主打超大规模 AI 集群。
- B200 / GB200：
AMD（超威半导体）
- MI 系列：
- MI300X： AMD 目前最强的 AI 加速卡，主打大显存（192GB HBM3），在推理场景和某些特定训练任务中具备竞争力，价格通常低于 NVIDIA。
- MI250X / MI250： 上一代产品，主要用于 HPC 和科学计算。
Intel（英特尔）
- Gaudi 系列：
- Gaudi 2 / Gaudi 3： 专为 AI 训练和推理设计的专用加速器，试图在成本敏感型市场中挑战 NVIDIA。
- Data Center GPU Max 系列（Ponte Vecchio）： 面向 HPC 和图形渲染。
华为（中国本土厂商）
- Ascend（昇腾）系列：
- Ascend 910B： 目前中国国内最主流的大模型训练替代方案，广泛用于百度、科大讯飞等国内大厂。
- Ascend 310： 主要用于边缘推理。
服务器 GPU 的关键特性
| 特性 | 说明 |
|---|---|
| 高带宽内存 (HBM) | 服务器 GPU 通常配备 HBM2e 或 HBM3 内存，带宽远超传统 GDDR 显存，这对大模型训练至关重要。 |
| NVLink / NVSwitch | NVIDIA 特有的高速互联技术，允许 GPU 之间直接通信，带宽远高于 PCIe，是构建多卡集群的关键。 |
| 双精度浮点性能 (FP64) | 在科学计算（HPC）中非常重要，但 AI 训练更关注半精度 (FP16/BF16) 和 INT8 性能。 |
| 散热与功耗 | 服务器 GPU 功耗极高（如 H100 为 700W+），需要液冷或高密度风冷数据中心支持。 |
| ECC 内存 | 支持错误检查和纠正，确保长时间运行下的数据完整性，防止计算错误。 |
| 虚拟化支持 | 支持 vGPU 技术，允许多个虚拟机共享同一块物理 GPU，提高资源利用率。 |
主要应用场景
- AI 大模型训练 (LLM Training)
- 需要极高的并行计算能力和 GPU 间互联带宽。
- 典型硬件：NVIDIA H100/H200, AMD MI300X, 华为 Ascend 910B。
- AI 推理 (Inference)
- 部署已训练好的模型供用户调用，对延迟和吞吐量要求高,成本敏感。
- 典型硬件：NVIDIA L40S, T4, A10; AMD MI25; Intel Gaudi。
- 高性能计算 (HPC)
- 气象模拟、基因测序、物理仿真等科学计算。
- 典型硬件：NVIDIA A100/H100, AMD MI250X。
- 图形渲染与虚拟化 (VDI/DaaS)
- 云游戏、3D 建模、视频渲染、远程桌面加速。
- 典型硬件：NVIDIA A40, L40S, Tesla T4。
选购与部署建议
- 生态兼容性： 如果团队依赖 CUDA 生态，NVIDIA 仍是首选，如果追求性价比或正在构建自主可控体系，可考虑 AMD MI300X 或华为昇腾,但需评估软件迁移成本。
- 集群规模： 小模型推理可用单卡或少量卡；大模型训练需要数千卡集群，必须考虑 NVLink/NVSwitch 互联和 RDMA 网络。
- 供电与散热： 部署前需确认机房电力容量（单机柜功率可达 30-50kW+）和冷却方案（风冷 vs 液冷）。
- 软件栈： 关注厂商提供的 AI 框架支持（如 PyTorch, TensorFlow, MindSpore）和优化库（如 cuDNN, TensorRT）。
当前市场趋势与挑战
- 出口管制： 美国对华出口高端 GPU 受限，导致中国市场转向 A800/H800 特供版、华为昇腾、或自行研发芯片。
- 推理市场崛起： 随着大模型落地，推理需求超过训练需求，推动了对低功耗、高能效推理 GPU 的需求。
- 异构计算： CPU + GPU + DPU（数据中心处理器）协同工作成为主流架构。
- 液冷普及： 随着 GPU 功耗突破 1000W（如 GB200），传统风冷已接近极限,液冷数据中心成为新建机房的标配。
如果您有具体的应用场景（如“我想搭建一个 100 卡的大模型训练集群”或“我需要用于视频转码的服务器”）,我可以提供更详细的配置建议。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/%e6%9c%8d%e5%8a%a1%e5%99%a8gpu%e9%80%89%e5%93%aa%e4%b8%aa%e5%9e%8b%e5%8f%b7%e5%a5%bd%ef%bc%9f%e6%9c%8d%e5%8a%a1%e5%99%a8gpu%e7%a7%9f%e8%b5%81%e4%bb%b7%e6%a0%bc%e6%98%af%e5%a4%9a%e5%b0%91/
