大模型从“通用”走向“专用”的核心路径，在于CPT（持续预训练）与SFT（监督微调）的有机结合。CPT负责注入领域知识，解决“懂不懂”的问题；SFT负责对齐人类意图，解决“会不会”的问题。 两者并非割裂的技术孤岛，而是大模型能力构建中承前启后的两个关键阶段。CPT是地基，决定了模型的知识广度与深度；SFT是装修，决定了模型输出的质量与可用性。 理解了这一逻辑,大模型落地的技术门槛其实并不高。
CPT（持续预训练）：注入领域知识的“预科班”
通用大模型虽然博览群书，但在特定垂直领域往往缺乏深度知识储备，CPT（Continued Pre-training）正是为了解决这一痛点而生。
- 核心逻辑：海量数据喂养
CPT的本质是在通用大模型的基础上，使用特定领域的海量无标注数据进行二次预训练，让通用模型“阅读”成千上万份医疗病历、法律条文或金融研报。 - 主要目标：知识注入与领域适应
通过CPT，模型能够习得特定领域的专业术语、语言风格和潜在逻辑。这一阶段不要求模型回答问题，只要求模型“读懂”该领域的文本规律。 它是提升模型在垂类任务上表现的基础保障。 - 技术特点：无监督学习
CPT通常采用自回归任务，即让模型预测下一个字，这种方式不需要人工标注，因此可以利用大规模的行业语料，成本相对可控,但算力消耗较大。
SFT（监督微调）：对齐人类意图的“岗前培训”
如果说CPT让模型拥有了领域大脑，那么SFT（Supervised Fine-Tuning）则是教会模型如何听懂指令并规范作答。
- 核心逻辑：高质量指令教学
SFT使用的是高质量的“指令-回复”对数据，通过人工标注或高质量合成的方式，告诉模型：“当用户问A时，你应该回答B，且格式要符合C”。 - 主要目标：意图对齐与格式规范
通用模型虽然知识丰富，但往往“爱说废话”或“不懂规矩”。SFT的核心作用是激发模型的能力，使其输出符合人类预期的答案。 在客服场景中，SFT能教会模型用礼貌、简洁的语言解决问题,而不是长篇大论地堆砌知识。 - 技术特点：有监督学习
SFT需要高质量的标注数据，数据质量直接决定了微调的效果，相比于CPT，SFT所需的数据量较小,但对数据的精准度要求极高。
CPT与SFT的协同关系：缺一不可的“接力跑”
很多初学者容易混淆两者，甚至试图跳过CPT直接SFT。一篇讲透大模型cpt和sft，没你想的复杂，关键在于理清两者的协同关系。
- 先后顺序：先CPT后SFT
标准的垂类模型训练流程通常是：通用基座模型 -> CPT（领域知识注入） -> SFT（任务指令对齐），如果先做SFT再做CPT，模型可能会遗忘指令遵循能力，导致“越训练越笨”。 - 互补效应：知识库与执行器
CPT扩充了模型的“知识库”，解决了知识盲区；SFT优化了模型的“执行器”，解决了交互体验。没有CPT，SFT可能是在“教模型编造专业知识”；没有SFT，CPT模型只是一个“不懂沟通的书呆子”。 - 数据策略：量级与质量的博弈
CPT侧重于数据的“广度”和“量级”，通常需要GB级甚至TB级的数据；SFT侧重于数据的“精度”和“多样性”,通常几千条到几万条高质量数据即可达到显著效果。
企业级落地的专业建议
在实际的产业落地中,如何平衡CPT和SFT的资源投入是成败关键。
- 评估领域知识密度
如果所在领域（如医疗、法律）专业壁垒极高，通用模型完全无法理解术语，必须投入资源进行CPT，如果仅是改变说话风格或处理常规业务流程,直接使用SFT往往就能满足需求。 - 警惕“灾难性遗忘”
在进行CPT时，模型容易忘记通用知识，建议在训练数据中混入一定比例的通用数据，保持模型的通用能力，同样，SFT过程中也要注意保持模型的创造力,避免过度拟合导致模型变得死板。 - 数据质量大于数量
无论是CPT还是SFT，数据清洗是投入产出比最高的环节，脏数据会直接误导模型，且后期难以修正，建立严格的数据清洗和评估管线,是大模型训练团队的护城河。
相关问答
CPT和SFT可以只用其中一个吗？
可以，但效果取决于具体场景，如果您的应用场景不需要深厚的专业知识，仅需要模型按照特定格式输出（如改写、，直接使用SFT通常足够，但如果涉及专业领域的知识问答，仅靠SFT容易导致模型“一本正经地胡说八道”,此时必须引入CPT来注入知识。
为什么SFT的数据量远小于CPT，却能有效改变模型行为？
CPT是在教模型“语言规律和世界知识”，需要海量数据覆盖各种可能性，属于“通识教育”，SFT是在教模型“任务指令”，本质上是激活模型已有的能力并引导其输出形式，属于“应试技巧”，模型在预训练阶段已经具备了能力，SFT只是通过少量高质量样本告诉模型“我们要的是这种风格”,因此数据量需求较小。
您在模型训练过程中，是更倾向于先补齐知识短板，还是直接优化指令对齐？欢迎在评论区分享您的实战经验。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/%e5%a4%a7%e6%a8%a1%e5%9e%8bcpt%e5%92%8csft%e6%98%af%e4%bb%80%e4%b9%88%ef%bc%9f%e4%b8%80%e7%af%87%e8%ae%b2%e9%80%8f%e6%a0%b8%e5%bf%83%e5%8c%ba%e5%88%ab/
