大模型蒸馏温度怎么调

大模型蒸馏中Temperature参数通常建议设置为0.1至0.3之间的低值，以确保学生模型能精准模仿教师模型的确定性分布，避免引入过多随机噪声，在人工智能模型压缩与优化的技术链条中，知识蒸馏（Knowledge Distillation）已成为提升推理效率的关键手段，许多开发者在微调小模型时，往往过度关注学习……