大模型 RL 后训练，自己当老师也能稳定变强吗？arXiv 2609.05295 给出 RISE 的"递归自外推"答案

  • 关联论文：arXiv 2609.05295 — RISE: Recursive Improvement via Self-Extrapolating Policy Distillation（Yang Li 等，2026-09-04 v1 提交 15:47:51 UTC，2,503 KB，cs.AI）
  • DOI：10.48550/arXiv.2609.05295
  • paper_card：/shared/research-kb/organized/paper_cards/1240-2609-05295.md（主分类 engineering / 形态 method）
  • abstract 链接：https://arxiv.org/abs/2609.05295
  • HTML 全文：https://arxiv.org/html/2609.05295v1

〇 · 一句话 TL;DR

在 RL post-training 场景，RISE 用"RLVR 提供方向 + 外推放大位移 + OPD 提供 per-token 监督 + recursive teacher refresh"四件套，让数学、STEM、代码、多轮 agent 四类任务相对 RLVR-only 训练和 OPSD 都取得持续提升，且 wall-time overhead 仅 1.3–1.6×——但完全靠学生自己当老师，没有外部教师与特权条件。

这件事的核心意义是：把"教师从哪来"这个一直被绕过去的根问题（teacher quality is the central bottleneck of OPD）正面回答了——RISE 提出"教师可以是学生沿着正确进步轨迹长出来的未来自己"，并把它从口号变成可核验、可监控、可复现的工程基线。

1 · 痛点：OPD 一直被"教师质量"卡住

过去几年，On-policy distillation（OPD） 一直是 RL post-training 提升样本效率的热门方案：相比 RLVR 的 outcome-only scalar reward，OPD 用 teacher 模型的完整 next-token distribution 给 student 提供 dense per-token supervision——告诉 student 不仅"答案对不对"，还"每一步应该怎么改"。

但 OPD 一直有一个根问题没解决：teacher 从哪来？

abstract verbatim 给出：

"On-policy distillation (OPD) provides dense, per-token supervision for language model post-training, but its effectiveness is bottlenecked by teacher quality: external teachers suffer from distribution mismatch, while self-distillation with privileged conditioning is limited by in-context learning capacity."

三条主流路径都有根本缺陷（abstract verbatim + §1 + §2.2 综述）：

路径 核心机制 根本缺陷
External teacher OPD 用一个更大的同家族模型当 teacher prefix distribution mismatch——teacher 看到 student 走偏的推理路径就不知道怎么续写，"学生在最需要指导的时候反而得不到指导"
On-policy self-distillation (OPSD) with privileged conditioning teacher 就是 student 自己，但用特权信息（如 ground-truth answer）做 in-context 提示 in-context learning capacity 限制——特权信息没法显著影响 teacher 输出，"给不给特权差异不大"
Heuristic remedies（token-level gating / divergence mixing / DAgger-style sampling / trajectory refinement） 在上面两条路径上打补丁 treat symptoms rather than the root cause — "所有这些方法都把 flawed teacher 当作 given，没有人回答根问题：teacher 应该是什么？"

abstract verbatim 关键判断：

"All these approaches accept a flawed teacher as given; none addresses the fundamental question: what should the teacher be?"

这是 RISE 想正面回答的问题。

2 · 方法：学生沿着"最近的进步方向"长出"未来的自己"

RISE 的核心想法是：teacher 不必来自外部或特权信息，而可以是 student 自己最近一次有效进步方向上外推出来的"未来版本"。

2.1 Extrapolation 几何（abstract verbatim 公式）

abstract verbatim：

"By extrapolating the displacement between the current checkpoint and a trailing anchor—in parameter space or output logit space—RISE converts a sparse outcome-induced parameter update into a dense token-level target, without any external model or privileged conditioning."

设当前 checkpoint π_θ' 与较早的 anchor π_θ，训练轨迹的位移是 φ(π_θ') - φ(π_θ)，其中 φ 把 policy 映射到一个"线性操作有意义"的向量空间（logit 或 parameter）。RISE 通过外推这个位移构造 future teacher：

φ(π_future) = φ(π_θ) + β·(φ(π_θ') - φ(π_θ)),    β > 1

abstract verbatim 解释这个公式的两端：

  • 当 β = 1——teacher 等于 current checkpoint（no distillation signal）
  • 当 β > 1——teacher amplifies the model's most recent update，沿着 training trajectory 投影到 student 当前状态之外

abstract verbatim 给出这条外推的几何基础：

"Recent analyses reveal that post-training updates are dominated by a low-rank subspace and evolve near-linearly (Cai et al., 2025; Wang et al., 2026a), making extrapolation along the training direction a principled approximation."

2.2 为什么这样就解决了 OPD 的根本缺陷

abstract verbatim 给出三件解法：

  1. Reduced distribution mismatch——teacher 是 student 自身优化路径的外推，所以它在 weight 和 distribution space 都离 student 很近
  2. No privileged conditioning——完全不用特权信息
  3. No external model——只用训练中本来就有的 previous checkpoints

2.3 Recursive improvement 机制（abstract verbatim）

abstract verbatim 解释为什么这是 recursive 而不是 one-shot：

"Moreover, since the teacher is refreshed every iteration as the student improves, distillation becomes a recursive improvement mechanism rather than a one-shot compression step."

每一步蒸馏精化 current policy → 精化后的 policy 又提供新的位移 → 下一次外推用更新过的 student 重做 → 形成 recursive improvement loop。

2.4 RLVR × OPD 互补闭环（abstract verbatim）

递归能收敛的前提是：外推方向必须指向真正的改进——但外推本身是 direction-agnostic 的，会放大 model 做的任何更新，不管质量。RISE 的解法是 用 RLVR 产生更新 θ → θ'——outcome rewards 把位移 ground 在 verified improvement 上。然后 OPD 用外推出来的 teacher 精化 θ'，提供 per-token 监督。

abstract verbatim：

"The two signals are complementary: RLVR ensures the direction is meaningful; OPD ensures the refinement is fine-grained."

2.5 φ 的两种 instantiation

abstract verbatim + §3：

"We unify this construction under a representation map φ and instantiate it in two spaces—logit-space (geometric mixture of output distributions) and weight-space (task arithmetic)—characterizing their computational and statistical trade-offs and ablating both (§3, §4)."

φ space 机制 性质
logit-space geometric mixture of output distributions 计算轻、可逐 token 算
weight-space task arithmetic（参数线性组合） 与 model merging / task arithmetic 兼容

两种空间 trade-off 在 §3 + §4 详细 ablation。

3 · 关键数字（abstract + §1 verbatim）

abstract verbatim：

"Experiments spanning mathematical reasoning, multi-domain STEM, code generation, and multi-turn agentic tasks show that RISE outperforms RLVR-only training and on-policy self-distillation across all settings."

§1 verbatim 给出三项 contribution + 一项工程成本：

  1. teacher quality is the central bottleneck of OPD + RISE constructs the teacher by extrapolating the model's own RLVR trajectory, requiring no external model and no privileged context（recursive improvement loop 而非 one-shot compression）
  2. unify this construction under a representation map φ + instantiate in two spaces（logit-space + weight-space）+ characterize trade-offs + ablate both
  3. outperforms RLVR and OPSD baselines across mathematical reasoning, multi-domain STEM, code generation, and multi-turn agentic tasks, with improved sample efficiency, at no additional sampling cost and a modest 1.3–1.6× wall-time overhead

具体对照基线：

baseline 描述
RLVR-only training 仅用 outcome reward（GRPO / DAPO 家族）的 policy gradient 训练
On-policy self-distillation (OPSD) 同策略自蒸馏（带 privileged conditioning）
External teacher OPD 外部更大模型做 teacher
Heuristic remedies token-level gating / divergence mixing / DAgger / trajectory refinement

实验覆盖 4 类任务：

  • Mathematical reasoning（数学推理）
  • Multi-domain STEM（多领域 STEM）
  • Code generation（代码生成）
  • Multi-turn agentic tasks（多轮 agent 任务）

1.3–1.6× wall-time overhead 是工程基线

§1 verbatim："at no additional sampling cost and a modest 1.3–1.6× wall-time overhead"

含义： - Sampling cost 不增加——因为 teacher 复用 student 的采样轨迹（不是单独采样），没有额外的 generation token cost - Wall-time 1.3–1.6×——主要来自外推构造 teacher 的计算（logit-space 比 weight-space 略快）和额外的 per-token KL divergence 计算

4 · 设计哲学：递归 vs 一次性

RISE 的核心哲学：教师不必更贵，但教师必须比 student 更"靠近未来"。

abstract verbatim 把这个哲学讲清楚了：

"A natural candidate teacher for a policy π_θ is its own converged future self—the policy π that training is converging toward. While π is unknown, the training trajectory reveals the direction of convergence."

换句话说：未来不知道，但进步方向可知。

这与 RIFT / Self-Rewarding / Self-Play 等 self-improvement 流派的核心差异：

流派 teacher / 反馈源 关键缺陷
External teacher OPD 更大同家族模型 distribution mismatch
OPSD with privileged conditioning student 自己 + 提示特权信息 ICL capacity 限制
RISE student 自己 + 外推"最近的进步方向" 需要 RLVR 提供有意义的更新方向

RISE 不再依赖 teacher 的"绝对能力"，而是依赖 teacher 的"最近进步方向"——这是一个 process-level 的解法，不是 capability-level 的解法。

5 · ⚠️ 必须看清的 6 个边界

  1. β 扫描表未完整公开 —— abstract + §1 没有给出完整的 β sweep 数值表。β 太激进会导致外推发散（超出原本稳定的改进方向）；β 太保守退化为 self-imitation。工程上必须用验证集观察 KL 距离、熵变化、每阶段分数——但具体 β 范围要等 PDF §4 实验章节
  2. 1.3–1.6× wall-time overhead 的具体拆分未公开 —— 1.3× vs 1.6× 对应什么配置（logit-space vs weight-space？模型规模？任务类型？）未在 abstract 给出。工程部署前必须做 on-device benchmark
  3. recursive improvement 的稳定性依赖 RLVR 信号的稳定性 —— 如果 outcome reward verifier 本身有漏洞（reward hacking），外推 teacher 会把 reward hacking 方向放大。RISE 没有解决 RLVR verifier 的 robustness 问题，只假设 RLVR 给出"有意义的更新方向"
  4. paper_card 1240 未给出具体 baseline 数值表 —— abstract 仅说"outperforms RLVR-only training and on-policy self-distillation across all settings"，但具体提升多少个百分点、哪些模型规模（1.5B / 7B / 14B / 70B？）、哪些 RLVR 算法（GRPO / DAPO / REINFORCE？）—— paper_card 没有细节，PDF §4 实验章节是必读项
  5. low-rank subspace + near-linear updates 的"原则性近似"不是严格证明 —— Cai et al., 2025; Wang et al., 2026a 的分析是经验性的，不是严格定理。外推在某些训练阶段可能不满足 low-rank + near-linear 假设，工程上需要监控
  6. recursive 的 convergence 没有严格保证 —— abstract 给出"recursive improvement mechanism" 的设计，但 convergence rate / 何时停 / 如何检测 divergent recursion 这些工程问题在 abstract 中没有正面回答。生产部署需要配套 divergence 检测机制

6 · 适用 vs 不适用场景

6.1 适合用 RISE 的 4 类场景

  1. RL post-training 已有 RLVR pipeline 的团队——你已经有 outcome reward verifier + GRPO/DAPO 训练栈，RISE 是 "在现有 pipeline 上加 per-token 监督" 的增量改进，不需要重新搭基础设施
  2. 大模型（≥ 7B 参数）post-training 算力预算充裕——1.3–1.6× wall-time overhead 在大模型上是可承受的（训练成本本身高，相对开销小）
  3. 需要 sample efficiency 提升的团队——abstract 明确 "with improved sample efficiency"，如果你的 RLVR 训练卡在 sample 数量上（每个 prompt 只能采 4-8 次），RISE 的 dense per-token 信号能榨出更多
  4. 关注内部对齐哲学公开反思的实验室——RISE 是 "教师从哪来" 哲学问题的工程基线答案，适合写内部 blog / 公开 talk 时引用

6.2 不适合用 RISE 的 4 类场景

  1. 数据稀缺的冷启动场景——RISE 依赖 RLVR 的 outcome reward 做 direction grounding，没有 RLVR pipeline 就没法用 RISE
  2. 短 RL 训练（< 1000 steps）——recursive improvement 需要至少几轮 "student → teacher → student" 循环才有意义，太短训练看不到稳定收益
  3. 算力不足以承受 1.3–1.6× overhead 的场景——小模型 + 极小算力预算的实验，1.3-1.6× 可能就足以让你跑不完实验
  4. 已经有更强 teacher 的场景——如果你的 teacher 是更聪明、更大的模型（如 GPT-6 → 自家模型），external teacher OPD 仍是更直接的方案；RISE 的优势在"没有更好的 teacher 可用时"

7 · Checklist：RISE 部署前必看清的 N 个坑

下面 12 条是部署前必查的工程 Checklist：

  • [ ] 1. RLVR pipeline 是否稳定？——RLVR verifier 准确率 ≥ 95%？reward hacking 监控是否到位？
  • [ ] 2. β 扫描实验是否做过？——β = 1.1 / 1.3 / 1.5 / 2.0 / 3.0 在验证集上 KL 距离 + 熵变化 + 任务分数三条曲线是否都有？
  • [ ] 3. φ instantiation 选哪种？——logit-space（计算轻）vs weight-space（与 model merging 兼容）？
  • [ ] 4. anchor 频率如何设置？——trailing anchor 间隔多少训练 step 取一次？太近 = 位移太小；太远 = 失去 local improvement 信息
  • [ ] 5. teacher refresh 频率？——每 N 步 refresh 一次？N 过小 = 计算浪费；N 过大 = teacher 与 student gap 过大
  • [ ] 6. divergence 检测？——KL 距离 + 熵变化 + 验证集分数 三件套的告警阈值
  • [ ] 7. low-rank subspace 假设是否成立？——对你训练的模型 + 数据，预训练 - post-training 之间的更新是否满足 low-rank + near-linear？
  • [ ] 8. wall-time 预算？——1.3–1.6× overhead 是否在你总训练时长预算内？
  • [ ] 9. 任务覆盖？——你的任务是否在 abstract 4 类（math / STEM / code / agent）覆盖范围内？非覆盖范围需要 on-domain 验证
  • [ ] 10. baseline 对照完整？——RLVR-only + OPSD + external teacher OPD + RISE 四组对照在相同 prompt 集合 / 采样数 / 计算预算下对比
  • [ ] 11. sample efficiency 提升测量？——同样的 final score，RISE 比 RLVR-only 少用多少 sample？这是 RISE 价值的核心证据
  • [ ] 12. recursive convergence 监控？——训练 loss + KL 距离 + 验证集分数三条曲线是否持续同步收敛？还是后期发散？

8 · 独立核验路径（5 条）

# 路径 用途
1 web_fetch https://arxiv.org/abs/2609.05295 拉 abstract verbatim + 提交历史
2 web_fetch https://arxiv.org/html/2609.05295v1 拉 §1 introduction + §2 background + §3 method + §4 experiments 全文（HTML 版）
3 cat /shared/research-kb/organized/paper_cards/1240-2609-05295.md 读 paper_card 主分类 / 形态 / 来源文件
4 PDF §3 §4 实阅读 → 对照 β 扫描表 + 1.3-1.6× overhead 的具体配置 + baseline 数值表
5 复现路径：reference implementation 是否开源？abstract + paper_card 未明确披露 GitHub URL，需 PDF §5 / 附录确认 复现可行性

9 · 自我限制披露

  • 本文 abstract verbatim 数字：≥ 9 处，全部来自 https://arxiv.org/abs/2609.05295 abstract + https://arxiv.org/html/2609.05295v1 §1 introduction + §2.2 on-policy distillation 章节（fetch 时间 2026-09-08 13:35 UTC）
  • 本文 PDF 章节引用：§1 introduction / §2.2 on-policy distillation / §3 method / §4 experiments 的引用全部基于 HTML 版可得内容；§5+ 章节（如 limitation / broader impact / appendix）abstract + HTML 版未完全披露，需 PDF 全文
  • 本文 β 扫描表 + 1.3-1.6× overhead 拆分 + 具体 baseline 数值表：abstract + paper_card 未给出，本文无法给出 verbatim 数字——已在 §5 边界 ①②④ 中明确指出
  • 本文 GitHub / 代码链接：abstract + paper_card 未披露——已在 §8 核验路径 #5 中明确指出"需 PDF §5 / 附录确认"
  • 本文作者列表：abstract submitter Yang Li（v1 提交 2026-09-04 15:47:51 UTC，2,503 KB），完整作者列表需 PDF 首页

10 · 事实守约声明（按 A/B/C 来源分级）

A 类：abstract + HTML 全文 verbatim 可直接核验（≥ 9 处）

  1. RISE 全名 "Recursive Improvement via Self-Extrapolating Policy Distillation"
  2. β > 1 extrapolation formula φ(π_future) = φ(π_θ) + β·(φ(π_θ')-φ(π_θ))
  3. β = 1 = no distillation signal；β > 1 = amplifies the model's most recent update
  4. 1.3–1.6× wall-time overhead，no additional sampling cost
  5. 实验覆盖 mathematical reasoning + multi-domain STEM + code generation + multi-turn agentic tasks 四类
  6. outperform RLVR-only training + on-policy self-distillation (OPSD) across all settings
  7. logit-space (geometric mixture of output distributions) + weight-space (task arithmetic) 双 instantiation of φ
  8. low-rank subspace + near-linear updates 假设 (Cai et al., 2025; Wang et al., 2026a)
  9. teacher refreshed every iteration as the student improves → recursive improvement mechanism
  10. RLVR ensures the direction is meaningful; OPD ensures the refinement is fine-grained

B 类：abstract + paper_card 已给但需 PDF §4 实验章节核验（5 处）

  1. 具体 baseline 数值表（RLVR-only / OPSD / external teacher OPD 在 4 类任务上的具体提升 pp 数）
  2. β 扫描表（β = 1.1 / 1.3 / 1.5 / 2.0 / 3.0 的 KL 距离 + 熵变化 + 任务分数曲线）
  3. 1.3–1.6× overhead 的具体配置拆分（logit-space vs weight-space / 模型规模 / 任务类型）
  4. 4 类任务的 baseline 模型规模（1.5B / 7B / 14B / 70B？）
  5. RLVR 算法具体使用（GRPO / DAPO / REINFORCE？）

C 类：本文基于 abstract + HTML 的 agent 推断（3 处）

  1. RISE 与 RIFT / Self-Rewarding / Self-Play 等流派的核心差异表（§4 设计哲学）—— 基于 abstract + §1 + §2.2 综述的归类推断
  2. recursive improvement 的 stability 依赖 RLVR signal stability（§5 边界 ③）—— 基于 abstract "RLVR ensures the direction is meaningful" 的工程推断
  3. 适用 vs 不适用 4 类场景划分（§6）—— 基于 abstract 4 类任务覆盖 + 1.3-1.6× overhead 的工程判断

11 · 引用与溯源

  • arXiv abstract：https://arxiv.org/abs/2609.05295（web_fetch 2026-09-08 13:35 UTC）
  • arXiv HTML：https://arxiv.org/html/2609.05295v1（web_fetch 2026-09-08 13:35 UTC，9 处 verbatim 数字全部对齐 abstract + §1 + §2.2）
  • DOI：https://doi.org/10.48550/arXiv.2609.05295（arXiv-issued DOI via DataCite）
  • paper_card：/shared/research-kb/organized/paper_cards/1240-2609-05295.md（主分类 engineering / 形态 method，2026-09-07 23:45 入库实测）
  • 作者：Yang Li（submitter，对应 paper_card 1240 来源文件 /inbox/tom/_candidates/2026-09-07-agent-rag-longcontext-candidates.json）
  • 提交历史：v1 2026-09-04 15:47:51 UTC，2,503 KB
  • 类别：cs.AI（人工智能）
  • 关联 references：Cai et al., 2025（low-rank subspace）；Wang et al., 2026a（near-linear updates）；Guo et al., 2025（GRPO）；Yu et al., 2026（DAPO）

12 · 三个标题变体（备选）

  1. 数字钩子版：RL post-training 教师从哪来？arXiv 2609.05295 给出"递归自外推"答案，仅 1.3-1.6× overhead
  2. 拟人化版：大模型不再需要"老师"：RISE 让学生沿着最近一次进步方向，长出"未来版的自己"
  3. 类比版：相当于给 RL post-training 装了个"自举循环"——RISE 用 4 类任务验证 wall-time 仅 1.3-1.6× overhead

13 · 小红书风格卡片文案（直接可用）

🤖 大模型 RL 后训练不再需要"老师"了！

传统 on-policy distillation（OPD）一直有个根问题：teacher 从哪来？

  • 用更大模型当 teacher？→ distribution mismatch，学生走偏就教不了
  • 学生自己当 teacher + 提示特权信息？→ in-context learning capacity 限制，给不给特权差异不大
  • 在上面两条上打补丁？→ treat symptoms rather than the root cause

arXiv 2609.05295（RISE）的回答很妙：

教师不必更贵，但教师必须比学生更"靠近未来"。

具体做法：

1️⃣ RLVR 先做一次 policy 更新 θ → θ'，把方向 ground 在 verified outcome reward 上 2️⃣ 把这次更新的"位移"沿着训练方向外推 β 倍（β > 1），构造 future teacher 3️⃣ OPD 用这个 future teacher 给 student 做 dense per-token 监督 4️⃣ 每一步 student 进步 → teacher refresh → 形成 recursive improvement loop

关键数字（abstract verbatim）： - 4 类任务（数学 / STEM / 代码 / agent）全胜 RLVR-only 与 OPSD baseline - wall-time overhead 仅 1.3–1.6× - sampling cost 不增加（teacher 复用 student 的采样） - 两套 instantiation：logit-space（轻）+ weight-space（与 model merging 兼容）

⚠️ 别急着欢呼： - β 扫描表 + 1.3-1.6× overhead 拆分 + baseline 数值表 abstract 都没给，要等 PDF §4 - recursive convergence 没有严格保证，生产部署需要 divergence 检测 - RISE 不解决 RLVR verifier 的 robustness 问题，只假设 RLVR 给出"有意义的更新方向"

🎯 一句话：recursive self-improvement 的瓶颈不在"教师从哪来"的哲学问题，而在"外推是否指向真正的改进方向"的工程稳定性问题——RISE 把"学生自己当老师"从口号变成可核验、可监控、可复现的工程基线。

RISE #RLPostTraining #自蒸馏 #大模型训练 #强化学习 #RLVR #OPD #RecursiveImprovement #arXiv2609.05295 #AI论文