如何减少大模型KV Cache显存

大模型KV Cache占用大量显存的核心原因在于其存储了所有历史Token的中间计算状态，随着对话长度线性甚至二次方增长，这部分静态数据的体积迅速膨胀，最终挤占了模型权重和激活值的计算空间，理解这个问题，不需要深奥的数学推导，只需要把大模型的推理过程想象成一场漫长的“记忆接力”，在生成第一个字时，模型只需要处理……