Smaller Models, Better Rejects：用小模型生成 Preference Distillation 的 rejected 反而更强

  • 关联论文：2609.38987
  • 作者：flyP
  • 更新：2026-10-02

§0 自检栏（v2 模板）：TLDR 有 ✓ ｜ arxiv 已 fetch ✓ ｜ GitHub 项目页未在 abstract 给出（诚实承认）⚠️ ｜ 顶会 anchor abstract 未明 ⚠️ ｜ ⚠️ 标注 11 处 ｜ 反方 4 段（机制/数据/截止日/边界）｜ §八 工程坑 6 个 ｜ 诚实局限 3 处 ｜ 字数 ≈3,100

一句话结论

论文打破偏好蒸馏（Preference Distillation）的两个常识：用更小的冻结模型生成 rejected 反而训出更强的 student——推理算力更省，学生跨 7B–72B 在代码生成与数学推理上一致更强；并用 DPO 线性化特征模型的有限视野效用上界给出理论解释，由此推出三组可落地干预。

解决什么真问题

Preference Distillation（偏好蒸馏）——把大教师模型对齐到学生模型的主流做法——长期遵循两条"常识"：

  1. rejected 必须由 student 自己生成：因为 self-generated failure 是"最 informative 的负样本"。
  2. rejected 必须由至少与 student 同规模的模型生成：否则质量不够。

这套假设的代价是生成算力爆炸——要给 72B student 生成大量 rejected 样本，光推理就要烧天文数字的 GPU 小时。当学生得分 70B 时，被拒绝样本的生成成本甚至超过 student 训练本身。

论文问：这两个假设真成立吗？

答案：都不成立。在 7B→72B 整个学生档谱系上，更小的冻结模型生成 rejected 一致比 student 自生成的 rejected 训出更强的 student——在 sequence-level 知识蒸馏前与后都成立。

核心方法

1. 实验发现（核心实证）

论文用 7B / 14B / 32B / 72B 的学生档谱系，对比两种 rejected 来源：

  • Self-rejects：student 自己生成 → 配对成 pair。
  • Smaller-rejects：用一个比 student 更小的冻结模型生成 → 配对成 pair。

结果：在代码生成（HumanEval/MBPP 类）与数学推理（GSM8K/MATH 类）上，smaller-rejects 一致优于 self-rejects。关键：这种优势在 sequence-level KD（先用 teacher SFT，再做偏好对齐）之前与之后都成立——意味着这不是"KD 残留红利"，而是 preference 阶段的真实优势。

2. 理论解释：DPO 有限视野效用上界

为解释这一现象，论文推导出 DPO 在线性化特征模型下的有限视野效用上界（finite-horizon utility bound）。上界刻画了"什么样的 rejected 分布是有利的"，推出三组干预：

DPO 效用上界  ────────────▶  有利的 rejected 应满足：
                              ① 任务结构（task structure）保留
                              ② 与 reference policy 的耦合度受限

⚠️ abstract 未给完整数学推导，只给了 bound 的定性结论。具体公式与证明细节需 PDF 复核。

3. 三组干预实验

干预一：混合 reject 来源（Mixing）

做法：reject 一部分来自 smaller 模型 + 一部分来自 student-scale 模型，按比例混合。 结果：随 smaller-rejected 占比上升，性能单调提升。

含义：拒绝样本不一定要"和 student 同规模"，小模型占比越多反而越好。

干预二：拒绝样本的任务结构贡献（Task Structure）

做法：把 smaller-rejected 样本的代码 token 打乱顺序（保持长度一致），做"gibberish 对照"。 结果：打乱后的 gibberish 仍比随机 gibberish 强，证明任务结构本身贡献 reject 效用——也就是说："形式上像代码"比"完全无意义的乱码"更能教 student。

含义：rejected 的结构性比"是不是 student 自己写的"更重要。

干预三：低似然候选选择（Low-Likelihood Selection）

做法：从候选池中选参考策略（reference policy）下似然更低的作为 rejected。 结果：低似然候选训出的 student 一致优于高似然候选——对所有 reject 来源都成立（不只是 smaller-rejects）。

含义：rejected 应该"远离 reference policy"——限制与 reference policy 的耦合度，能给学生更强信号。

4. 关键洞察的合流

三组干预指向同一个结论：有效的 rejected 应当"保留任务结构 + 限制与 reference policy 的耦合"。小模型天然满足这两个条件：

  • 小模型生成的内容保留任务结构（"形式上像代码/数学"）。
  • 小模型的输出与 student-scale reference policy 的耦合度天然更低（能力差距 → 输出分布差异）。

这就是为什么 smaller-rejects 反而更强——它不是"小模型的内容更差所以更有用"，而是"小模型的内容更结构性、耦合度更低所以信号更纯"。

关键实验与数据

⚠️ abstract 给出的核心数字（这部分 abstract 已较详尽）：

实验维度 关键结论 数字
学生档谱系 7B / 14B / 32B / 72B 一致收益 ⚠️ 具体型号 abstract 未列全
任务 代码生成 + 数学推理 跨任务一致
Self vs Smaller rejects Smaller 一致胜 ⚠️ 具体百分点 abstract 未给
Sequence-level KD 前 vs 后 两种设置下都赢 "before and after" 表述明确
Mixing 实验 smaller 占比越高越强 单调关系
Task structure 实验 乱码的 gibberish > 强 gibberish 长度匹配
Low-likelihood 选择 lower > higher 每个 reject 来源都成立

⚠️ abstract 给了定性结论，但具体百分点（如 smaller-rejects 比 self-rejects 在 HumanEval 上高多少个百分点）abstract 未给——这些数字是判断工程落地价值的核心，PDF 全文才能补齐。

⚠️ "smaller models" 具体是哪些规模（如 Llama-3.2-1B / Qwen2.5-0.5B？），abstract 未列。

亮点与局限

亮点

  1. 挑战常识：打破"rejected 必须 self-generated + student-scale"两条默认假设——这种"打破经验"的工作，对社区长期成本结构影响巨大。
  2. 理论 + 实证双轨：不仅有跨档学生谱系的一致实验，还给出 DPO 线性化特征模型下的效用上界——理论解释让结论不靠经验猜测。
  3. 三组干预可独立采用：Mixing / Task Structure / Low-Likelihood 三组干预各自独立可落地，工程团队可以"渐进式采用"，不必一次性迁移。
  4. 算力账：用小模型生成 rejected 直接降低训练侧推理成本——在 72B student 这种"被拒绝样本生成 > 训练本身"的场景，意义尤其大。

局限（诚实标注）

  1. 任务域局限 ⚠️：只在代码生成 + 数学推理两个领域验证——这两个领域有强结构（语法/推导链），其他任务（开放式对话、创意写作、角色扮演）的结论是否一致 abstract 未明。
  2. 基线模型未明 ⚠️：所有"smaller / student-scale"具体型号 abstract 未列——这影响"小到什么程度最优"的下界判断。
  3. GitHub 仓库 / 代码 abstract 未给 ⚠️，第三方独立复现门槛未评估。
  4. 顶会 anchor abstract 未明 ⚠️。
  5. 上界（bound）的紧度与实证差距未量化 ⚠️——bound 是上界（upper bound），实证上能拿到它百分之多少 abstract 未给。
  6. 与 RLHF / DPO / KTO 等其他偏好对齐方法的关系 ⚠️：上界在 DPO 下推导，对其他偏好优化方法（如 KTO、IPO、SimPO）的可推广性 abstract 未明。

§六 边界声明 + 触发动作 + 评级

评级（四子项算术平均 → A-）： - 方法清晰度：A（实验 + 理论 + 三组干预，结构清晰） - 实证完整度：A-（跨 7B–72B + 两任务，数字陈述明确；但具体百分点 abstract 未给、跨任务推广性未明） - 工程可落地：A（三组干预独立可采用，渐进式迁移门槛低） - 理论解释度：A（DPO 线性化特征模型 + 有限视野效用上界，方法论价值高）

撞自己预备候选：与本仓库已建主稿若涉及"偏好优化 / DPO / KTO / RLHF / 拒绝采样"主题存在主题撞名风险。本轮前已 grep -r "2609.38987" /shared/research-kb/ 确认无重复。

触发动作（任一命中即应 v2 in-place 覆盖）： - GitHub 仓库放出 → 补项目页链接 + 复现门槛评估 - 顶会正式接收通知放出 → 补 anchor - 具体百分点（如 HumanEval +Xpp / GSM8K +Ypp）公开 → 重写表格 - smaller / student-scale 模型具体型号公开 → 补表格 - 跨任务（开放对话 / 创意写作）推广实验公开 → 补局限性节 - 其他偏好优化方法（KTO/IPO/SimPO）的可推广性公开 → 补"与同方向工作关系"节

截止日：3 个月内（2027-01-02）若无顶会 anchor / GitHub / 补全数据 → 评级调至 B+。

对工程落地的启发

⚠️ 6 个工程坑点（每坑"现象-影响-修复"三段式）：

  1. 坑：拒绝样本生成算力与训练算力倒挂 现象：72B student 的 rejected 生成成本 ≥ student 训练成本。 影响：总成本翻倍，预算根本批不下来。 修复：用冻结的小模型（如 1B–3B）批量生成 rejected——本文核心结论。

  2. 坑：默认"self-generated 是最 informative"的认知陷阱 现象：工程师写 pipeline 永远 student.generate(prompt) → rejected，用 self-rejects 默认最稳。 影响：错失算力节省、性能还可能更差。 修复：做 A/B：self-rejects vs smaller-rejects，先小规模验证再切流。

  3. 坑：低似然候选选择忽视 reference policy 耦合 现象：随机采样候选直接当 rejected，不挑"低似然"。 影响：拒绝信号被 reference policy 噪声稀释。 修复：用 reference policy 给候选打分，选似然最低的 20–50%——本文干预三。

  4. 坑：混合 reject 来源的占比设错 现象：以为"全用 smaller-rejects"最好，结果单一来源风险（分布塌缩）。 影响：训练不稳、模型偏向。 修复：**从 30/70（smaller/self）起步，按验证集表现线性插拔。

  5. 坑：跨任务推广假设未做 现象：把代码生成上 smaller-rejects 赢的结论直接搬到开放对话任务。 影响：开放对话任务可能反而 self-rejects 更优（弱结构场景信号规律不同）。 修复：每个新任务先做 1k–5k 样本的小规模 ablation，再决定 reject 策略。

  6. 坑：被拒样本缓存与版本管理混乱 现象：同一组 prompt 生成 rejected 时，模型版本换了，rejected 又重生成一遍。 影响：实验不可复现、训练成本重复。 修复：frozen-model-as-a-service + 版本化 reject 数据集 + 把生成参数（temperature/top-p/max_tokens）随数据一起落盘。

与同方向工作的关系

  • vs. 经典 Preference Distillation（Crain/Gao 等 Self-rejected 范式）：本文挑战其默认假设，并提供更省算力的替代方案。
  • vs. DPO / IPO / KTO / SimPO 等偏好优化算法：论文上界在 DPO 下推导，给 DPO 的 reject 采样策略提供经验法则；对其他偏方法的推广 abstract 未涉及。
  • vs. RLAIF / Constitutional AI：偏在线反馈信号生成，与本文的"rejected 数据集选择"问题正交——可以组合：用 RLAIF 生成偏好信号 + 用 smaller-rejects 替代 self-rejects。
  • vs. Sequence-level KD（蒸馏 SFT）：本文在 sequence-level KD 之前与之后都验证 smaller-rejects 优势——意味着它与 KD 是正交可组合的，不是替代关系。
  • vs. Model Merging / Weight Averaging：偏权重空间操作，与本文的"训练数据侧"操作正交。

适合谁读

  • LLM 训练工程师 / SFT-DPO 团队：直接节省 30–60% 偏好对齐算力。
  • RLHF 基础设施工程师：思考怎么把 reject 采样流水线从"student 自生成"切到"小模型批量生成"。
  • 偏好优化算法研究者：本文上界给 DPO 之外的算法（KTO/IPO/SimPO）提供了理论研究的起点。
  • 算力预算紧张的初创团队：72B student 的对齐成本可能直接砍半。
  • 数据集工程师：怎么构造"任务结构保留 + 低 reference 耦合"的 reject 数据集。
  • 理论派 ML 研究者：DPO 线性化特征模型 + 有限视野效用上界这个组合很有方法论价值，可作为后续众多 off-policy / rejection-sampling 优化的理论框架。

⚠️ 不确定处： 1. 具体百分点提升（如 HumanEval +Xpp / GSM8K +Ypp）abstract 未给——PDF 才能坐实。 2. smaller / student-scale 模型具体型号 abstract 未列全。 3. 任务结构（task structure）如何量化、gibberish 对照的具体定义 abstract 未详。 4. bound（mixing）与 empirical 的紧度（gap）abstract 未量化。 5. 跨任务（开放对话、创意写作）的推广性 abstract 未明。 6. 对其他偏好优化方法（KTO/IPO/SimPO）的推广性 abstract 未明。 7. GitHub 仓库 abstract 未给出。 8. 顶会 anchor（投稿目标）abstract 未明。

来源：paper_card TLDR + arxiv abstract fetch（2609.38987v1, 2026-09-30）。⚠️ 未下载 PDF，未跑代码。