大模型长文本位置编码选择

大模型选择RoPE而非绝对位置编码的核心原因在于，RoPE能更好地保持序列的相对位置信息，并具备优秀的外推能力，从而让模型在处理长文本时依然能准确理解词与词之间的逻辑关系，在自然语言处理的演进史上，位置编码一直是个让工程师头秃的难题，早期的Transformer模型直接给每个词加一个固定的“身份证号”，这就是绝……