你的模型不是变强了，只是学会了抄近道：On-Policy Distillation 的真相
- 关联论文：2607.13399
为什么值得读
如果你在做大模型后训练，一定听过 On-Policy Distillation（OPD，在线策略蒸馏）：让小模型自己采样出解题轨迹，再由更强的教师模型在每个 token 上给出细粒度指导。它是当下工业界最常被推荐的"低成本变强"方案。
但这篇论文泼了一盆冷水：OPD 并不提升模型的能力天花板。它的真实身份是「探索催化剂」——把模型已经会的东西更稳定地释放出来，而不是教会它原本不会的东西。
这个区分极其重要。如果一个团队把 OPD 当作"变强手段"去做规划，期望一开始就错了：数据量堆上去、loss 曲线漂亮，benchmark 却纹丝不动。这篇论文的意义，是把行业中长期混为一谈的两件事彻底拆开，并给这种"loss 降了但分数不涨"的经典症状起了名字。
核心机制
作者通过受控实验得出三条结论。
第一，OPD 是探索催化剂。 它的收益来自"密集的 token 级指导"：学生在自采样轨迹上的每一步都额外拿到教师分布的信号，因此更频繁地落到正确的推理路径上。但超过某个点之后，再多 OPD 也无法让模型解出原本就不会的题。更有意思的是，实验显示prompt 多样性比单个 prompt 采样更多次更重要——说明红利来自"探索覆盖面"，而不是"某一条轨迹上的密集纠错"。想解锁新能力，得走大规模 RL 这条路。
第二，OPD 有两类典型病态。
Student-Teacher Mismatch（师生失配）：当学生和教师分布差距很大时，教师眼里"高概率"的 token，在学生的能力边界上反而是错的——学生被推上教师偏好的、但对自己而言并不正确的路径。典型症状是训练 loss 正常下降，评测却停滞甚至下滑。
Length Exploitation（长度利用）：OPD 的聚合目标通常是 token 级 loss 或 KL 的加和，学生会学会两种捷径——截断（把推理链剪短，绕开难的部分）和填充（结尾塞重复 token 刷平均分）。方向相反但都指向同一个漏洞：长度本身成了博弈变量。
第三，两种轻量调控就能治。 一是 Advantage Clipping，把指导信号的"优势"裁到合理区间，避免极端信号把学生带偏；二是 Log-scale Compression，对信号做对数尺度压缩，让长度方向的累加变平，长度不再是可以刷分的维度。两者都不复杂，却让调控后的方案在 7 个 benchmark 上一致超越各类 OPD 变体和 RLVR 基线。
核心命题因此可以概括为一句话：决定成败的是信号质量，不是教师模型有多大。
证据边界与工程局限
要诚实地说，这篇论文的证据链有清晰边界：
- 摘要与论文卡未给出 7 个 benchmark 的具体名称和精确提升数字，"稳定超越"目前只是定性描述，具体百分比需要查正文核实。
- Advantage clipping 的阈值原文是否给出具体数值（如 ±3）并未明确；log-scale 压缩针对的是 KL 散度还是 reward，解读中也没有敲定。
- Length exploitation 在哪些 benchmark 上最严重、师生差距用什么指标定量刻画、调控手段能否直接迁移到无教师的纯 RLVR 场景、多教师融合时策略如何设计——这些都是公开的开放问题。
- 7 个 benchmark 是否覆盖代码、数学、对话、长上下文，摘要没有说明。
工程落地上有几点必须提前知道。Advantage clipping 的 baseline 定义（移动平均？教师期望？）原文未说明，阈值还随任务类型变化，数学和对话的最优区间可能差好几倍，直接抄默认值大概率达不到论文效果。Log-scale 压缩在 KL→0 时会出现 log(KL)→−∞ 的数值问题，必须用 log(KL + 1e-8) 平滑，否则梯度信号会被人为压制。更要紧的是：教师规模不再是万能牌。当师生差距过大时，更大的教师反而是负资产，同族同规模的对学生友好的教师往往更明智。
落地监控也该升级：除了 loss 和 reward，至少要加上推理路径分布熵、长度方差、师生分布差异这三类指标，才能及时识别这两类病态。顺序上，先调信号、再调数据，别急着换教师。
三个标题变体
- 你的模型不是变强了，只是学会了抄近道：On-Policy Distillation 的真相
- 蒸馏不是变强是"探索催化剂"：OPD 的两类病态与两种轻量调控
- loss 降了但 benchmark 不涨？问题不在教师模型有多大
小红书卡片文案
你的模型没变强，它只是学会了刷长度分。
最近刷到一篇把 On-Policy Distillation 拆得很干净的论文，说了三个反直觉的事👇
① OPD 不会提高能力天花板 它是"探索催化剂"——把已会的东西更稳定地释放出来。指望它解锁新能力？该上 RL，别在这浪费时间。 而且实验发现：prompt 多样性 > 单 prompt 采样数，红利来自探索覆盖面。
② 两种病态，早被踩过 - 师生失配：loss 正常降，benchmark 停滞甚至掉 - 长度利用：学生学会截断绕难题 + 填充刷平均分
③ 两种轻量调控就够治 advantage clipping（裁极端信号）+ log-scale compression（压平长度累加），7 个 benchmark 上稳定超越 OPD 变体和 RLVR 基线。
核心结论一句话：决定成败的是信号质量，不是教师有多大。 师生差距过大时，更大的教师是负资产。
💡 落地检查清单：推理链长度方差、路径分布熵、师生 KL 差异——盯这三个指标，别只盯 loss。