大模型数据制作流程的核心在于“数据质量决定模型上限，精细化工程决定模型下限”，高质量的数据不仅是模型训练的燃料，更是决定模型推理能力、泛化能力以及安全性的根本因素，在当前大模型技术路线趋于同质化的背景下，数据工程的差异已成为拉开模型性能差距的关键变量。关于大模型数据制作流程，我的看法是这样的：它绝非简单的“清洗与投喂”，而是一个包含数据获取、清洗去重、质量评估、指令微调（SFT）及人类反馈强化学习（RLHF）的闭环系统工程，必须遵循“垃圾进，垃圾出”的铁律。
数据获取与清洗：构建高质量基座
数据源头的选择决定了模型的知识广度与深度。
- 多源异构数据整合，优质的大模型训练数据应涵盖通用网页数据、百科书籍、代码数据以及高质量行业语料。代码数据的引入不仅能提升逻辑推理能力，还能增强模型的结构化输出能力。
- 严格的去重策略，重复数据会导致模型训练过程中的loss震荡，甚至引发“死记硬背”的过拟合现象，必须采用文档级、段落级以及句子级的多层级去重算法,确保数据集的多样性与纯净度。
- 隐私与安全过滤，利用正则表达式与专用模型，剔除电话号码、身份证号等敏感PII信息，同时过滤仇恨、暴力等有害内容,这是保障模型安全合规的第一道防线。
数据质量评估与分级：精细化筛选
清洗后的数据并非都能直接用于训练,必须建立严格的质量评估体系。
- 基于模型的质量打分，利用训练好的打分模型或GPT-4等强模型，对语料进行教育价值、逻辑性、连贯性等多维度打分。高质量数据应优先用于核心训练阶段，低质量数据应果断剔除。
- 数据分级策略，将数据分为“高知识密度”与“低知识密度”两类，高知识密度数据（如教科书、论文）在训练中应给予更高的采样权重，而低知识密度数据（如普通网页闲聊）则应降低权重,以优化训练算力分配。
- 语言分布平衡，针对中文大模型，需特别注意中英文数据的配比，适当引入英文高质量数据，有助于模型学习逻辑推理范式,再通过跨语言对齐技术迁移至中文能力。
指令微调（SFT）数据构建：激发模型能力
预训练模型仅具备知识储备，指令微调（SFT）数据则决定了模型如何“说话”。
- 指令设计的多样性，SFT数据需覆盖头脑风暴、分类、提取、写作等多种任务类型。指令的多样性能够极大地拓展模型的泛化边界，避免模型陷入特定的应答模式。
- 拒绝采样与CoT数据，对于复杂逻辑任务，必须构建包含思维链的数据，通过“问题-推理过程-答案”的数据结构，引导模型学会逐步推理,拒绝采样技术可以有效筛选出模型难以处理的样本进行针对性增强。
- 多轮对话一致性，构建多轮对话数据时，需确保上下文逻辑连贯，避免出现“失忆”或自相矛盾的情况,这要求标注人员具备极高的专业素养。
偏好对齐（RLHF）：注入人类价值观
模型不仅要“会回答”，还要回答得“符合人类偏好”。
- 构建高质量偏好数据集，RLHF阶段需要构建（Prompt, Chosen, Rejected）三元组数据。Chosen（优选）与Rejected（劣选）的回答必须差异明显且原因单一，避免多重因素干扰奖励模型的训练。
- 迭代式优化机制，数据制作不是一次性的，通过收集用户实际使用中的Bad Case，反哺到训练数据中，形成“训练-部署-反馈-再训练”的数据飞轮,是模型持续迭代的关键。
独立见解：从“量”到“质”的范式转移
在关于大模型数据制作流程，我的看法是这样的：行业正在经历从“以量取胜”到“以质取胜”的深刻变革。
- 数据工程比算法创新更关键，在模型架构相对固定的当下，谁掌握了高质量的行业数据,谁就拥有了垂直领域的护城河。
- 合成数据是未来趋势，随着自然高质量语料的枯竭，利用强模型生成高质量的合成数据，将成为突破数据瓶颈的重要途径，但必须建立严格的合成数据验证机制，防止“模型坍塌”。
- 专业标注团队是核心资产，自动化工具只能解决效率问题，数据最终的“灵魂”取决于标注人员的认知上限，建立一支懂业务、懂逻辑的专业标注团队,是数据制作流程中不可或缺的一环。
相关问答模块
问：在大模型数据制作中，如何平衡通用数据与垂直行业数据的比例？
答：这取决于模型的定位，如果是通用基座模型，通用数据（如Common Crawl、维基百科）应占比80%以上，以保证模型的通识能力，行业数据作为补充，如果是垂直行业模型，建议将行业高质量数据占比提升至30%-50%，并在预训练后期或微调阶段重点投入，以避免通用能力退化，关键在于通过课程学习策略，先学通用知识,再学专业领域知识。
问：为什么说SFT数据的质量比数量更重要？
答：SFT阶段的核心目的是对齐人类指令，而非注入大量新知识，大量低质量的SFT数据（如格式错误、逻辑混乱的回答）会严重破坏模型的预训练能力，导致“灾难性遗忘”，经验表明，几千条经过精心打磨、逻辑严密的高质量SFT数据，其效果往往优于几十万条粗制滥造的数据，模型学习的是数据的分布,高质量数据能引导出更优的分布。
您在模型训练过程中遇到过哪些棘手的数据问题？欢迎在评论区分享您的解决思路。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/94247.html
