大模型词表扩展显存优化方法

大模型词表扩展会增加显存占用，增量主要体现在Embedding层，且推理阶段KV Cache的隐性涨幅往往被低估，词表扩展的显存增量从哪来Embedding矩阵：最直接的显存黑洞大模型的词表扩展第一步就是改Embedding层，假设原始词表规模为V，隐藏层维度为H，Embedding参数量就是V乘以H，以LLa……