蒸馏推理能力，为什么不该学「整段答案」，而只学「差的那一点」
- 关联论文：2607.15161
推理模型的「后训练」阶段，现在主流是两条路：一条用奖励模型跑 RL，稳定但天花板明显；另一条是 on-policy 蒸馏（OPD）——让学生模型在自己的采样轨迹上，逐 token 模仿老师的输出分布。这条路绕开了奖励模型，但一直有个说不清的别扭：你到底在对齐什么？
问题出在，老师模型本身是「基础模型 + 推理强化」两步做出来的。在很多 token 上，它和基础模型的行为几乎完全一样：寒暄、格式、套话。这些地方老师的分布跟 base 几乎重合，学生硬学这些，等于把大量冗余信号灌进梯度里。真正稀缺的「推理增量」，被淹没在一整段分布里。结果就是学生学会了老师的啰嗦，却没学到老师的推理动作。
OPD² 的做法非常直接：把监督信号从「老师的分布」换成「老师减 base 的差量」。公式只有一行——
$$\Delta_\theta(x_t \mid x_{<t}) = p_{\theta_{\text{teacher}}}(x_t \mid x_{<t}) - p_{\theta_{\text{base}}}(x_t \mid x_{<t})$$
直觉很干净：在两者行为一致的 token 上，差量约等于 0，不产生有效梯度，自动被跳过；而在思维链分叉、验证、自检这些关键决策点上，差量明显偏离 0，信号被放大。这个差量既可以是正（老师比 base 更倾向走这步，是推理增强点），也可以是负（老师压低了 base 的偏好，说明这是推理要避开的常见错误）。
工程上它仍然是标准的 on-policy 蒸馏：学生自己采样，在自己的轨迹上算老师与 base 的 logit 差，做一个 delta 加权的 NLL 损失。不需要奖励模型，不需要改模型结构，改造量大概在几行 loss 代码的量级。
论文报告的结果有三个要点：数学、科学、代码三类推理 benchmark 上一致优于传统 OPD，不是单点涨分；达到同等效果所需的 post-training 明显更短，这对算力吃紧的团队是实打实的省钱；代码以 naver-ai/opd2 名义开源。
但边界同样要说清楚。原文摘要层面没有披露具体用的哪组 teacher/base 模型，没给各 benchmark 的绝对分数与提升幅度，「更短 post-training」也没有量化为具体比例；delta 在概率接近 0 或 1 的极端 token 上容易出现大幅负值，是否做了 clipping、归一化也没交代——这恰恰是工程落地时最容易出事的地方。更关键的是，它依赖 base 权重可获取：GPT、Claude、Gemini 这类闭源 API 你拿不到 base 模型，也就用不了这个方法。另外，teacher 与 student 跨模型家族时差量是否还成立、推理增强会不会在闲聊场景里过度触发，论文都没有正面回答。
所以更准确的说法是：OPD² 提供了一个更好的「信号选择视角」——post-training 的监督应该瞄准能力增量，而不是完整分布。它和 DPO、KTO、拒绝采样这些方法的 reward 设计，其实是同一条思路的不同实现，思路本身可以借；但作为一项已验证的工程结论，目前还只能算「概念干净、路线可信、数字待补」。
三个标题变体
- 蒸馏推理能力，别学老师的整段答案，只学它多出来的那一点
- 一行公式砍掉蒸馏里的冗余信号：OPD² 的「差量蒸馏」在数学、科学、代码推理上全面胜过传统 OPD
- 老师减学生基座，差出来的那个值才是真正的推理能力——推理模型蒸馏的新信号设计
小红书卡片文案
📡 推理模型的后训练，为什么越努力学老师，学得越像老师但没变聪明？
因为老师模型 = 基础模型 + 推理强化，它俩在很多位置的行为一模一样（寒暄、格式、套话）。学生照抄这些，等于把大量冗余梯度喂进去，真正值钱的「推理增量」被稀释了。
OPD² 的解法粗暴又优雅：监督信号不看老师的完整分布，只看老师减 base 的「差量」。 Δ = p_teacher − p_base
老师和 base 一致的地方，Δ≈0，梯度自动为零，直接跳过；思维链分叉、验证、自检这些关键步，Δ 明显偏离 0，信号被放大。正负都有含义：正的=推理该走的，负的=推理要避开的坑。
实测：数学 / 科学 / 代码三类推理 benchmark 一致优于传统 OPD，而且 post-training 更短（算力就是钱）。代码开源在 naver-ai/opd2。
⚠️ 诚实边界：teacher/base 具体模型、各 benchmark 具体分数、delta 的 clipping 细节，公开摘要里都没写；而且这方法需要 base 权重，GPT/Claude/Gemini 用不了。
一句话总结：模仿整段表演 → 只学关键走位。这个「只学能力增量」的思路，比方法本身更值得带走。