在南京挑AI训练卡，核心就一句话：先把模型的参数规模、序列长度、是否多卡并行搞清楚，再对照显存带宽和NVLink互联需求选型号，最后用南京本地的租赁或二手渠道压成本。
按业务负载倒推硬件需求
很多团队买卡翻车，不是因为预算不够，而是先看价格再看算力，正确顺序应该是业务负载、显存占用、卡间通信、预算。
先分清训练、微调、推理三种负载
- 全量预训练：必须多卡并行,卡间通信速度权重很高。
- 微调：LoRA或QLoRA对显存需求低于全量微调,单卡就能跑。
- 推理：对显存带宽敏感，算力要求低一档,但要求低延迟和高并发。
模型参数量与显存占用的粗算公式
显存占用可以简化为：模型参数、梯度、优化器状态、激活值四部分之和。
- FP32训练，每参数4字节，加上Adam优化器状态和梯度,大致需要参数量20倍左右的字节。
- 混合精度FP16或BF16加Adam,大致需要参数量8到12倍的字节。
- 7B模型混合精度训练，显存最少约70GB到100GB，单张80GB A100刚好能装下。
- 13B模型混合精度训练，单卡80GB很紧张,建议多卡或量化到4bit。
南京AI训练卡型号怎么选：四张主流卡的硬参数对比
先看一组公开参数,心里有个底。
| 型号 | 显存容量 | 显存带宽 | NVLink | 适合场景 |
|---|---|---|---|---|
| A100 80GB | 80GB HBM2e | 约2TB/s | 有 | 多卡预训练、大模型微调 |
| H100 80GB | 80GB HBM3 | 约3.35TB/s | 有 | 大模型预训练、长序列训练 |
| L40S 48GB | 48GB GDDR6 | 约864GB/s | 无 | 推理、轻量训练 |
| RTX 4090 24GB | 24GB GDDR6X | 约1TB/s | 无 | LoRA微调、小模型实验 |
A100和H100怎么选：多卡互联与单卡算力侧重不同
A100和H100怎么选，关键看是否做多卡预训练，如果预算能覆盖H100，且模型需要频繁做卡间all-reduce通信，H100的NVLink带宽更高，训练吞吐提升明显，但如果只是单卡微调，A100已经够用，把预算留给显存更大的80GB版本更实际，南京不少智算中心同时提供A100 80GB和H100 80GB,H100租金通常比A100高出一个档位。
4090能训练大模型吗：消费卡在南京小团队的真实定位
4090能训练大模型吗？直接回答：能训练小模型和做LoRA，但不能做大规模全量训练，24GB显存是硬限制，可以拿QLoRA微调7B模型，也可以训练1B到3B的小模型，南京许多高校课题组和初创团队用4090做算法验证，成本低,但一旦跑到13B全量训练就会显存溢出。
南京GPU租赁价格和采购渠道差异
租用还是自购：按使用时长算账
- 短期项目几个月内结束：优先租A100 80GB,避免硬件折旧和闲置成本。
- 长期训练任务超过一年：自购4090或二手3090搭建小集群,算力密度低但总成本可控。
- 需要多卡并行的：租用智算中心H100或A100，自建NVLink集群的电力、机房、散热成本太高。
南京GPU租赁价格方面，A100 80GB月租大致在数千到万元区间，H100明显更高，4090单卡主机租用价格与一台普通服务器接近,适合小团队做预研。
南京本地供货渠道
- 南京智算中心：提供A100、H100租赁,适合企业级训练任务。
- 高校实验室对外服务：部分南京高校有闲置算力分时出租,价格相对灵活。
- 二手市场：3090、4090在南京珠江路及线上渠道流通,需重点检查显存颗粒和保修记录。
四个典型业务场景的型号匹配
7B-13B模型LoRA微调
- 首选：RTX 4090或A100 40GB。
- 理由：QLoRA可把显存压到24GB以内，4090够用；LoRA加FP16需要40GB左右，A100 40GB更稳。
- 实操：用PEFT库把base model加载为4bit,只训练适配器参数。
百亿参数预训练或长上下文训练
- 首选：H100 80GB或A100 80GB多卡。
- 理由：需要NVLink减少通信瓶颈，H100带宽更高,长序列下激活值显存更大。
- 实操：至少2卡起步，使用DeepSpeed ZeRO或Megatron-LM做模型并行。
扩散模型与图像生成
- 首选：4090或L40S。
- 理由：扩散模型对显存敏感，24GB可跑SDXL训练,但大批量需要L40S的48GB。
- 实操：batch size先调小，再做梯度累积,避免显存溢出。
线上推理服务
- 首选：L40S、A10等推理卡,或者4090。
- 理由：推理看重显存带宽和功耗比，不需要NVLink,L40S能效比更好。
- 实操：用TensorRT-LLM或vLLM做量化部署,降低显存占用。
实操清单：下单前逐项验证
- 检查PCIe通道数：主板能否给足x16,多卡时会不会降速到x8。
- 检查电源：4090功耗450W，H100功耗700W,冗余电源要留出余量。
- 检查散热：南京夏季高温高湿,机箱风道和机房空调必须跟上。
- 确认驱动：NVIDIA驱动版本与CUDA版本匹配,避免框架报错。
- 跑一次显存基准：用PyTorch分配大张量测试实际可用显存,排除硬件阉割卡。
Q&A：南京AI训练卡型号怎么挑才能匹配业务
在南京做深度学习，第一张训练卡买什么？
单卡预算低、主要跑小模型或LoRA，先买4090；如果有算法验证和论文复现需求，租A100 80GB更省心,不用承担硬件折价风险。
租用A100和自购4090，训练速度差多少？
看模型规模和精度，小模型上4090和A100差距并不悬殊，但大模型因为显存溢出和FP16算力差异，A100更稳，行业共识认为,多卡互联场景下A100或H100的优势才会完全体现。
南京哪里能稳定租到H100？
优先联系南京智算中心和本地算力服务商，其次看高校超算中心的校外服务，租前确认是否支持按小时计费和长期折扣,避免跑一半算力被调度走。
在南京挑训练卡，本质是拿业务需求倒推显存与互联，再匹配本地渠道，别只看单卡算力，显存不够或互联带宽不足,业务跑不起来都是白搭。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/679046.html
