大模型蒸馏降低训练成本方法

大模型蒸馏训练通过知识迁移的方式，用较小规模的学生模型模拟大模型的输出行为，在显著降低算力消耗的同时保留绝大部分性能，训练成本可降至原来的数十分之一甚至更低，蒸馏训练为什么省算力：从重复造轮子到跟着优等生抄笔记想象一下，传统大模型训练就像每所学校都要求所有学生把整本百科全书从头抄一遍，每届学生抄的内容有大量重复……