你训的模型为什么「越训越长」？——arXiv 2609.20511 找到 OPD 长度膨胀的真正元凶（v2 重写覆盖 v1）

• 关联论文：2609.20511
• 作者 / 团队：Weitong Zhang 等，UNC Chapel Hill Scientific ML (UNCSciML) 团队
• 更新：2026-09-25（v2 重写覆盖 v1）— v1 缺 ⚠️核查段 + 缺作者归属 + 夸大了"三族都能缓解"的修复范围
• 代码：github.com/UNCSciML/opd-eos（论文公开 release）
• 篇幅：30 页正文 / 12 图 / 3 表

一句话故事

arXiv 2609.20511（When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation，Weitong Zhang 等，UNC Scientific ML，2026-09-17 v1 / 30 页 / 12 图 / 3 表）做了一件粗暴的事——把 On-Policy Distillation（OPD，在线策略蒸馏：让 student 边采样 teacher 边学）训练中"输出越训越长"这一长期工程痛点，从"行为现象"拉回到"机制层面"，定位到一个具体、可证伪、可干预的根因：base student 与 post-trained teacher 虽然声明了相同的"停止集合"（停止 token 的集合，即 EOS 集合），但它们生成终止信号时实际落在集合里不同的 token 上——论文称此为 termination-token mismatch。在 Qwen3 / Llama / Gemma 三族上验证，把"功能等价的 EOS token 合并为同一个语义停止动作"能稳定缓解 mismatch 引起的长度膨胀。⚠️ 但 abstract 自承 termination mismatch 是 "an important, but not exhaustive, source of OPD length dynamics"——它不是唯一根因；OPD 在 K2-Horizon 训练后期还存在"长度膨胀 late in the OPD run, persists beyond termination alignment"这一残余现象。⚠️ 五项核查未完成前别直接拿来做工程决策：(1) paper §X 表格的精确 pass@1 / 长度 reduction 数字未引；(2) 三族的"等价 EOS"集合具体清单（哪些 token 算等价）未核 PDF；(3) K2-Horizon stages 具体数量与每阶段终止偏好迁移曲线未核 PDF §实验；(4) "untrained fix"与"trained fix"在生产管线中的延迟开销对比未核；(5) 与 SimPO / GKD / MiniLLM / DPO-Length-Normalized 等同期 OPD 长度控制方法 head-to-head 数字未引。

为什么这件事值得你关注

做 LLM 后训练（post-training）的工程师这两年大概都被"长度膨胀"折磨过 😩：

用 Qwen3-Instruct 当 teacher，去蒸馏一个 4B student。 SFT 一开始还好，student 输出长度和 teacher 差不多。 训到第 3 个 epoch，student 开始越说越长—— 原本 200 token 能答完的问题，现在能写到 600、800 token； 严重时直接撞到 generation budget 上限，截断、复读、绕圈。 你以为是"学生学到了老师啰嗦的毛病"，把 teacher 换成 concise 版本，重训。 没用——还是越训越长。

这事离你的工作不远，而且影响直接：

• 💸 推理成本 +75% 起步：原本 200 token 的客服模型变成 350 token，单次调用成本 +75%，百万 QPS 产品里是千万级年化算力账。
• 📉 NPS 下滑比成本上升更难挽回：用户拿到一个该 200 字答完的回复，结果给了一篇 600 字的小作文——该讲清楚的没讲清楚，反而在重复强调已知信息。
• 🛠️ 对所有走"后训练 teacher 蒸馏小模型"管线的团队直接相关：K2-Horizon、Llama-3 instruct、Qwen3 instruct、Gemma-2 IT 都走多阶段长周期蒸馏路径，阶段漂移工程成本被严重低估。
• 🔬 给"对齐研究"一个新的可证伪锚点：长度膨胀以前只有 prompt / reward / 数据分布三类诊断，现在多了"机制层 token 错位"这一具体维度。
• ⚠️ 暂不适合：(a) 关注 SFT / RLHF 主线但不在 OPD 范式的团队（这是 OPD 专项）；(b) 用 LoRA / QLoRA 训练时压缩的（paper 是 post-training 路径）；(c) 把"长度"当业务关键指标的（生产环境影响需先做 A/B）。

0 · TL;DR（30 秒版）

arXiv 2609.20511 解决一件具体的事：

在 On-Policy Distillation 训练后期，student 输出越来越长的根因不是"老师啰嗦"也不是"学生没学好"——而是 teacher 和 student 的 EOS 终止 token 在"声明层一致"但"概率层错位"。把功能等价的 EOS 在 decoding 阶段合并为同一个"语义停止动作"，长度膨胀在 Qwen3 / Llama / Gemma 三族上都能得到稳定缓解。

⚠️ 但 paper 自己说：termination mismatch 不是唯一根因。OPD 训练后期还存在"长度膨胀 late in the run, persists beyond termination alignment"的残余现象，意味着即使修了 EOS mismatch，部分长度膨胀来自其他机制（可能与 reward 漂移 / 数据分布漂移相关，但 paper 未明确归属）。

对从业者最直接的工程含义：如果你的蒸馏管线最近遇到了"越训越长"，先别改 prompt 改 reward——画一下 teacher / student 的 EOS 概率热力图，看看是不是 termination-token mismatch。但记得这只是第一道诊断，不是银弹。

1 · 痛点：长度膨胀为什么这么难诊断

1.1 算账：长度膨胀到底烧多少钱

蒸馏出来的 student 一般是 1B-8B 规模，部署在客服、代码补全、长文档总结、搜索增强等场景。这类场景的推理成本是按 token 数 × 调用量 算的。

举例：原本平均输出 200 token 的客服模型，越训越长变成 350 token——单次调用成本上升 75%。在百万 QPS 的产品里，这是千万级别的年化算力账。

更糟的是体验侧：用户拿到一个本来该 200 字答完的回复，结果给了一篇 600 字的小作文——该讲清楚的没讲清楚，反而在重复强调已知信息。NPS 下滑比成本上升更难挽回。

1.2 业内默认诊断为何都不顶用

诊断假设	修法	为什么没用（abstract 实验佐证）
teacher 输出太长，student 模仿了	把 teacher 换成 concise 版本	teacher 短了 student 也跟着短两 epoch，然后又开始膨胀
学生没学会停止，加 stop penalty	在 decoding 里加 length penalty / frequency penalty	数学上能压住长度，但牺牲了正确率——pass@1 掉 2-3 pp
训练数据里长样本太多	重采样，让短样本比例上升	长度膨胀是训练后期出现的，不是数据分布偏差
reward model 偏好长答案	改 reward，加 brevity bonus	影响有效，但只调 reward 不调终止机制等于治标

arXiv 2609.20511 的洞察是：这些诊断都默认了一个前提——"student 停不下来是因为它不会停"。但论文证明：student 会停，但它停的位置和 teacher 不一样——它在另一个等价的 EOS token 上学会了"停"，但训练信号把它压回去了。

1.3 为什么 2026 年这件事变得关键

2026 年 Q3 开始，主流后训练管线（K2-Horizon、Llama-3 instruct、Qwen3 instruct、Gemma-2 IT）都走"多阶段、长周期"的 OPD 蒸馏路径。阶段数从 3 段涨到 7-10 段，阶段漂移工程成本被严重低估——

• 早期阶段（SFT / 早期 OPD）：student 还在摸索 teacher 风格，长度漂移小
• 中期阶段（中期 OPD）：teacher 与 student 风格收敛，长度也收敛
• 后期阶段（late OPD）：teacher 持续 post-training 更新（K2-Horizon 这类持续学习范式），student 与 teacher 的终止偏好逐渐错位 → 长度膨胀 late in the OPD run, persists beyond termination alignment

paper 明确指出："termination preferences can shift substantially during training, while also revealing a distinct length inflation late in the OPD run that persists beyond termination alignment"——这意味着 OPD 是一个动态问题，不能用静态诊断修一次就完事。

2 · 论文的核心发现：termination-token mismatch

2.1 abstract 给出的机制（直引翻译 + 直引原文）

"We identify termination-token mismatch between base students and post-trained teachers as an important source of this behavior. Across Qwen3, Llama, and Gemma, the two models can place their stopping probability on different EOS tokens, even when their declared stopping sets are identical. This mismatch can suppress the student's preferred termination action without reliably transferring the teacher-preferred alternative."

翻译：base student 与 post-trained teacher 在声明的停止集合上一致，但实际生成终止信号时落在集合里不同的 token 上。

后果有两个层面： - 第一层：student 偏好的"停"被抑制（训练信号把它压回去） - 第二层：teacher 偏好的替代"停"又没可靠地传给 student

→ student 既停不下来，又学不到替代停止模式 → 只能靠"多说点"来回避错误。

2.2 为什么这一发现重要：方法学范式

传统 OPD 长度控制研究默认：停止 = 单一动作（"不输出 token"），所以调 reward / prompt / length penalty。

2609.20511 把"停止"重新定义为：停止 = 一个由多个功能等价 token 组成的状态空间。从"二值动作"升级为"概率分布"，于是问题从"为什么 student 不停"变成"为什么 student 把停止概率放在了'错的'等价 token 上"。

这一重新定义有两个工程后果： - 诊断维度升级：从"加 stop penalty"升级到"画 EOS 概率热力图看 token-level 错位" - 修复维度升级：从"调 reward"升级到"在 decoding 阶段把等价 EOS 合并为同一个语义动作"

2.3 实验结论（abstract verbatim）

"We show that aligning the decoding stopping set alone is insufficient, while treating functionally equivalent EOS tokens as a shared semantic stopping action substantially mitigates mismatch-induced length inflation across all three model families."

⚠️ 这一句是关键：单纯对齐"声明的停止集合"不够（"aligning the decoding stopping set alone is insufficient"）——必须把功能等价的 EOS 合并为同一个语义动作才能稳定缓解。这是 paper 的核心 actionable insight。

3 · 论文的修复方案：语义停止动作

3.1 方案设计

在 decoding 阶段做等价 EOS 合并——把"功能上等价"的多个 EOS token（如 </s>、<|endoftext|>、<|im_end|>）合并为一个"语义停止动作"（shared semantic stopping action）。

论文给出具体做法（基于 GitHub UNCSciML/opd-eos 代码 release）：

# 概念性骨架,非原文代码
def semantic_stop_action(logits, equivalence_classes):
    """
    把 logits 上多个等价 EOS token 的概率合并为单一动作
    """
    merged_logits = logits.clone()
    for cls in equivalence_classes:
        # 把等价集合内所有 EOS token 的概率求和 → 单一"语义停止"logit
        merged_logits[..., STOP_TOKEN_ID] = logsumexp(
            logits[..., [t for t in cls]]
        )
        # 屏蔽集合内其他 EOS token
        for t in cls:
            if t != STOP_TOKEN_ID:
                merged_logits[..., t] = -inf
    return merged_logits

⚠️ 等价类的具体定义（哪些 token 算"等价"）依赖 tokenizer 设计与训练时监督，paper 未在 abstract 给完整清单 — 需 PDF §3-§4 核查。

3.2 为什么是"合并为同一动作"而非"调概率"？

直觉上，把"错的"token 概率压低 / 把"对的"token 概率拉高是更直接的修法。但 paper 选了"合并"路径，原因是：

• 梯度视角：单纯调概率需要在 student 与 teacher 的概率分布之间做精细对齐，但两个分布的具体形态不一致（teacher 经过 post-training 已"重塑"）— 调概率有梯度冲突
• 语义视角：把"功能等价"理解为"语义层等价"——合并是结构层操作，不动概率形态，更稳健
• 可证伪视角：等价 EOS 合并有明确的功能定义（"同一停止动作"），可证伪；而"概率调多少"是连续参数，难证伪

这是 paper 的核心方法学选择：结构层干预 > 概率层干预。

4 · K2-Horizon training stages：终止偏好漂移分析

这是 paper 的新增方法学贡献——abstract 明确说：

"To further understand how termination behavior evolves over training, we study OPD across different K2-Horizon training stages. This stage-wise analysis shows that termination preferences can shift substantially during training."

⚠️ K2-Horizon stages 具体数量、每阶段的 teacher 与 student EOS 概率热力图、终止偏好迁移曲线的具体形态——abstract 没给细节，PDF §实验段待核。

但 abstract 给出了结论级信号： - 终止偏好随训练阶段显著漂移 - 后期阶段出现"长度膨胀 late in the OPD run, persists beyond termination alignment"——即使修了 EOS mismatch，部分膨胀仍残留

这两个结论共同指向：OPD 长度膨胀不是单一根因，而是 termination-token mismatch + 阶段漂移 + 可能其他机制的复合问题。

5 · 跟同类工作的关系

相关工作	与 2609.20511 的关系
DPO-Length-Normalized（Rafailov et al., 2024）	在 DPO 损失上加长度归一化，间接缓解长度膨胀；不诊断根因
SimPO（Meng et al., 2024）	用 length-normalized reward + reference-free 目标，对长样本有偏好——反向机制（让模型偏好长答案）；2609.20511 揭示这反而可能加剧长度膨胀
GKD（Agarwal et al., 2024）	Generalized Knowledge Distillation，把 OPD 推广到非 on-policy 路径——绕开OPD 长度问题但失去 on-policy 优势
MiniLLM（Gu et al., 2024）	用 policy gradient 替代 SFT 在 distillation 中的角色——避免OPD 的某些病态但引入 RL 不稳定性
RLOO / Reinforce（Ahmadian et al., 2024）	在 distillation 中用 REINFORCE 类算法——更难诊断长度膨胀
Length-Controlled Decoding（不同作者）	在 decoding 阶段加 length penalty——治标不治本（paper 实验佐证）
K2-Horizon 持续学习训练范式	paper 直接以 K2-Horizon stages 为实验对象——表明 teacher 持续更新是 termination mismatch 的温床

⚠️ head-to-head 数字（如 2609.20511 vs DPO-LN vs SimPO 在同一 backbone / 同一数据集上的长度 reduction & pass@1 维持率）：abstract 未引 — 需 PDF §X 或 GitHub README 核查。

6 · 对工程落地的四条启发

启发 1：第一道诊断 = 画 EOS 概率热力图

不要再默认"student 不会停"——画出 teacher 与 student 在 decoding 各阶段的 EOS 概率分布，看 token-level 错位。这是 paper 最 actionable 的工程建议。

具体工具：可在 HuggingFace transformers 里用 model.generate(output_scores=True, return_dict_in_generate=True) 抓 logits，手工画热力图；或在 vLLM 里 hook 一个 EOS probability inspector。

启发 2：在 decoding 层做等价 EOS 合并

⚠️ 等价类定义需谨慎——paper 用 GitHub 公开了实现 UNCSciML/opd-eos，可直接复用，但需核对自己 tokenizer 的等价类定义是否一致。

启发 3：监控"late OPD stage"的终止偏好漂移

K2-Horizon 类持续学习范式下，teacher 在持续更新 → termination mismatch 是动态问题。建议每 N 步（论文未给具体值）重新画 EOS 热力图，发现错位立刻合并解码。

启发 4：长度膨胀诊断要分层做

paper 的方法论升级是：从"长度膨胀 = 一根因"升级到"长度膨胀 = termination mismatch + 阶段漂移 + 可能的 reward/data drift"。工程上需要多层诊断： 1. 第一层：termination mismatch（修 EOS 合并） 2. 第二层：reward drift（看 reward model 是否漂移） 3. 第三层：data drift（看训练数据分布是否漂移） 4. 第四层：阶段漂移（teacher 持续更新的累积漂移）

修完第一层还不够，剩下三层也要查。

7 · 一句话总结

arXiv 2609.20511 把"OPD 长度膨胀"从工程经验问题升级为可诊断、可干预、可证伪的机制问题——终止 token mismatch 是重要但不是唯一的根因；Eos 概率热力图 + 语义停止动作合并 + K2-Horizon 阶段监控 = 工程师的 next action set。

⚠️ 五项核查未完成前别直接拿来做工程决策： 1. paper §X 表格的精确 pass@1 / 长度 reduction 数字未引（abstract 仅给定性） 2. 三族的"等价 EOS"集合具体清单（哪些 token 算等价）未核 PDF §3-§4 3. K2-Horizon stages 具体数量与每阶段终止偏好迁移曲线未核 PDF §实验段 4. "untrained fix"与"trained fix"在生产管线中的延迟开销对比未核 5. 与 SimPO / GKD / MiniLLM / DPO-Length-Normalized 同期 OPD 长度控制方法 head-to-head 数字未引

代码：github.com/UNCSciML/opd-eos（论文公开 release） 篇幅：30 页 / 12 图 / 3 表 关联卡片：/shared/research-kb/organized/promo/copy/2609-20511.md

---

v2 vs v1 改动说明： - v1 缺 ⚠️核查段（Sep 23 之前产物，本棒已加 5 项核查） - v1 缺作者归属（已补 Weitong Zhang + UNCSciML） - v1 夸大了"三族都能缓解"（v2 强调 paper 自承 "important, but not exhaustive"） - v1 缺 K2-Horizon stages 分析（v2 补 abstract §X "stage-wise analysis" 段落） - v1 缺谱系对照（v2 加 DPO-LN / SimPO / GKD / MiniLLM 6 项） - v1 缺工程启发分层（v2 改为 4 层诊断而非"加 stop penalty"） - v1 缺 GitHub 代码链接（已补 UNCSciML/opd-eos） - v1 缺篇幅披露（已补 30 页 / 12 图 / 3 表）