长序列推理显存挑战

长上下文推理的显存挑战，核心在于KV Cache随序列长度线性增长，序列越长，显存占用越恐怖，单纯堆算力或买卡并不解决根本问题， 真正值得关注的，不是模型权重占了多少显存，而是每一轮生成时都要存下“已经看过的所有内容”，上下文从2K涨到128K，模型参数量一个字节没变，显存账单却可能翻几十倍，下面把这个问题拆开……