AI 蒸馏不是复制答案：在训练中途，教师会悄悄把“推理”教给你

你有没有发现，同样是让小模型向大模型学习，不同训练阶段学到的“知识”并不一样？

如果是在预训练早期，小模型可以同时模仿老师的表达方式和知识；但到了训练中段，也就是模型已经读过大量精选文本、开始形成专门能力的时候，继续照搬老师的答案，可能会出现一个反直觉结果：模型更会做题了，却不一定更会记住事实。

这正是论文《Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall》讨论的问题。它研究的不是“怎么让模型更大”，而是更实际的问题：怎样用有限的小模型，尽可能继承强模型最值钱的能力？

先说说什么是知识蒸馏

可以把大模型想成一位经验丰富的老师，小模型则是一名学生。普通训练是让学生自己看题目、做题、再对答案；知识蒸馏则允许学生偷看老师的“解题过程”——老师认为哪些词更可能出现在正确答案里，学生就尽量跟着老师的判断走。

传统做法通常让两个模型概率分布的差异变小。直观上，老师既然更强，学生照着学，推理和知识应该一起进步。

但在训练中段，事情没那么简单。模型此时已经读过大量通用文本和精选语料，内部逐渐出现两类能力：一类是把事实存下来，另一类是把多个事实串起来解决新问题。它们看起来都叫“知识”，学习方式却并不相同。

研究者把训练分成几个阶段，比较“普通训练”和“基于老师输出的蒸馏训练”。他们发现：

在预训练阶段，蒸馏往往能同时改善事实记忆和推理能力；但到了 mid-training，也就是精选语料上的中间训练阶段，继续追随老师，反而可能让小模型出现“更会推理、少记事实”的倾向。

这并不一定是坏事，反而提出了一个重要问题：蒸馏究竟应该教模型“像老师一样答题”，还是应该只学习老师如何组织信息、拆解问题？

如果老师给出的概率分布里同时包含事实、措辞、常见表达和推理策略，那么小模型可能会把老师当前的判断当成需要背诵的标准答案。特别是在模型已经具备一部分能力之后，过于忠实地复制老师，可能让训练目标偏向“贴近老师”，而不是“自己解决问题”。

假设一名学生已经学完基础课程，现在开始刷专项题。最好的老师不是每天发一张标准答案让学生背，而是展示：这道题为什么从这个条件开始、哪一步最关键、如果条件改变，结论会怎样变化。

知识蒸馏也是同一个道理。早期，学生需要从老师那里获得基本词汇和表达习惯；到了中后期，更应该学习老师如何分解问题、比较候选路径和验证结论。否则，学生可能把“老师常用的说法”当成“永远正确的知识”，遇到题目换一种问法就不会了。

因此，论文的启发并不是“蒸馏无效”，而是蒸馏的收益取决于时机和目标。我们不能只问“蒸馏有没有用”，还要问：

第一，模型训练不能只看最终分数。一个小模型可能推理题分数更高，但事实问答明显变差；如果只看平均分，就可能误以为训练更成功了。

第二，蒸馏需要“分阶段配方”。预训练阶段可以让学生更全面地模仿老师；中后期则应减少对老师表面答案的依赖，保留推理轨迹、过程反馈和解题结构，或者混入更多普通训练样本。

第三，评估体系要跟上。推理能力、事实记忆、泛化能力和抗干扰能力，应该分别测量。尤其在企业知识库、法律、医疗和代码模型中，“能推导”不等于“记得准”，两者缺一不可。

这项工作提醒我们：蒸馏不是把答案从大模型复制到小模型，而是在不同训练阶段，把不同的能力传递下去。越到训练中段，越要警惕“学会老师的口吻，却没有学会老师的思考”。

你有没有想过：让小模型跟着大模型学，最容易学会的可能不是“聪明”，而是“像老师那样说话”😳

一项新研究发现，知识蒸馏的效果会随着训练阶段变化：早期，小模型可能同时提升推理和事实记忆；但到了训练中段，继续过度模仿老师，竟可能更偏向推理、牺牲事实记忆。

这就像学生刷题：基础阶段要记公式和词汇，到了提高阶段，更重要的是学会拆题、找关键条件，而不是背老师每道题的固定答案。

真正值得关注的，不只是蒸馏有没有效，而是：什么时候学、学什么、以及怎样避免把“表达方式”误当成“知识本身”。未来的小模型训练，可能不再是简单复制答案，而是分层继承能力。