KV缓存显存优化方法

KV缓存是Transformer模型推理时存储在显存中的历史键值对，它是显存压力的主要来源， 在长文本、多轮对话或高并发场景下，KV缓存甚至比模型权重更占显存，直接影响推理成本和部署方案，如果把大模型比作一位正在写长文的作者,KV缓存就是摆在手边的便签纸，作者每写一个新词，都要翻看之前记下的关键词和要点，同时再……