NTK插值在LLM中的应用

NTK-aware插值是一种通过调整位置编码缩放因子，使大语言模型在训练上下文长度之外仍能保持语义连贯性的关键技术，其核心在于解决长文本推理中的“迷失中间”现象，当我们在处理超长文档或复杂代码库时，传统的大模型往往会在长序列的中间部分丢失关键信息，这种现象被称为“迷失中间”（Lost in the Middle……