显卡显存不足解决方案

推理场景下的显存估算，核心公式是：显存 ≈ 模型权重 + KV Cache + 激活值 + 框架开销，其中KV Cache往往是被低估的吞显存大户，权重占用只是入门而已，大模型推理显存需要多大：先算权重，别高兴太早很多人以为把70B模型文件塞进显存就够了,其实那只是第一步，业内专家指出，模型权重在FP16精度下……