8卡3090服务器性能实测

8卡RTX 3090服务器在常见的7B-13B参数模型INT4量化推理场景下，通常可带动约20-40路AI并发；FP16精度下约8-14路；运行70B大模型时则降到1-5路，实际数字取决于输入输出长度、KV缓存和推理框架调度，先算一笔显存账：8块3090到底有多少余粮8卡RTX 3090服务器最核心的资源就是显……