大模型特殊token有哪些

大模型需要特殊Token，是因为它们充当了人类语言与机器逻辑之间的“语法标点”和“系统指令”，用于明确指令边界、控制输出格式、处理未登录词以及维持上下文连贯性，从而确保模型能精准理解意图并生成符合预期的结果，在自然语言中，我们习惯用空格、标点或语气来区分语义，但在大模型的底层视角里，文字只是一串连续的字符序列……