LLM推理显存估算方法

显存占用 ≈ 模型参数量 × 单参数占用字节数 + 激活值显存 + KV Cache显存 + 上下文窗口开销，其中量化程度是决定显存大小的最关键变量，很多开发者在部署大模型时,常遇到“显存不够用”或“显存占用异常高”的尴尬局面，这通常是因为只关注了模型本身的大小，而忽略了推理过程中的动态显存消耗，理解显存构成的……