2609-36642

  • date: 2026-10-15
  • round: R2
  • arxiv_url: https://arxiv.org/abs/2609.36642
  • video_kb_script: /shared/video-kb/scripts/tom/2026-10-15_R2_pr-opd_short-video-script.md

1. 标题与观众

  • 标题:hidden ≠ token
  • 目标观众:AI 工程师 / RL 训练平台架构师 / Agent 团队 Lead / LLM Infra 工程师
  • 一句话核心观点:Skill 提分主要靠 hidden state 层级的"内部重新布线", token 级概率几乎不动;token-level KL 蒸馏榨不出收益。

3. 45-90 秒口播稿

[Agentic RL(GRPO)在长程 agent 任务上信号稀疏, 大家喜欢加"privileged self-distillation"——把带 skill 的版本当教师, 让不带 skill 的版本在 token 概率层面对齐 KL。直觉应该有效。]

[但今天这篇 pr-opd 系统地打掉了这条通道:WebShop 上 skill context 把 GRPO 42.2% 抬到 56.2%, 可它只动了不到 25% 采样 token 的概率分布。与此同时, >80% response token 的 hidden state 被 skill 改写——linear probe 还能直接回溯到"具体是哪个 skill"。]

[结论很反直觉:Skill 提分主要靠 hidden state 层级的"内部重新布线", token 级概率几乎不动。这正是 token-level KL 蒸馏失效、却给表征级蒸馏留下大空间的原因。]

[PR-OPD 的对策三件套:逐层对齐 hidden state · stop-gradient 教师 · GRPO 回报目标保留。两个环境、两个 backbone、所有 setting 都拿到 best——ALFWorld 成功率相对 GRPO 最高 +4.7 pp, WebShop accuracy 最高 +14.0 pp。]

[推理时零开销 · 不需要外部 skill 库 · 不需要单独教师模型。但 abstract 没给具体 backbone 型号, 也没给 linear probe 跨 backbone 鲁棒性、投影层间对齐策略、skill hindsight 模板、训练成本——工程落地务必先 PDF §4-§7 核验。]

4. 镜头分镜

  • 镜头 1(7s):时长 7 秒 · 屏幕文字 "hidden ≠ token" · 画面元素:标题卡 + PR-OPD 字面缩写(Privileged Representation On-policy Self-Distillation)字面下展开 · 运动方式:竖排标题逐行浮现, 第二行高亮。
  • 镜头 2(10s):时长 10 秒 · 屏幕文字 "GRPO 42.2% → +skill 56.2%" · 画面元素:证据卡 + WebShop success 双数字对比柱(GRPO 灰柱 + skill 灰柱, 56.2% 高亮) · 运动方式:左柱先出, 右柱升起至 56.2% 并标注。
  • 镜头 3(12s):时长 12 秒 · 屏幕文字 ">80% / <25%" · 画面元素:双栏对照表(hidden state 通道 = 80%+ 受影响 / token 概率通道 = <25% 移动) + linear probe 回溯到具体 skill 示意 · 运动方式:左栏写入 hidden state 数字, 右栏写入 token 数字, 中央交叉箭头标注"Invisible Advantage"。
  • 镜头 4(10s):时长 10 秒 · 屏幕文字 "PR-OPD 三件套" · 画面元素:流程图(GRPO 暖启动 → hindsight skill → 双视图自蒸馏 stop-gradient 教师 / trainable 学生 → 逐层 hidden-state 对齐 + GRPO 回报) · 运动方式:左到右流程展开, 三件套方块逐个点亮。
  • 镜头 5(10s):时长 10 秒 · 屏幕文字 "ALFWorld +4.7 pp / WebShop +14.0 pp" · 画面元素:数字卡 + 双环境双 backbone 主表热图 + "up to" 措辞标注 + +14.0 是 WebShop accuracy ≠ success rate 字幕层叠加 · 运动方式:数字逐个淡入, 热图行依次点亮。
  • 镜头 6(10s):时长 10 秒 · 屏幕文字 "零推理开销 + 无外部 skill + 无单独教师" · 画面元素:推理管线图(student 路径 = 原 policy · teacher 仅训练时走 · stop-gradient) + 撞名风险字幕层 8 阵营逐条叠出 · 运动方式:管线图左到右展开, 撞名风险列表 fade in。
  • 镜头 7(11s):时长 11 秒 · 屏幕文字 "8 项 rebuttal · 工程化反 hook" · 画面元素:风险卡 + 8 项叠加失守字幕层(backbone 型号未给 + linear probe 跨 backbone 未给 + 投影层间策略未给 + skill hindsight 模板未给 + +14 pp 是 WebShop accuracy ≠ success rate + 训练成本未给 + 推理时零开销 ≠ 训练时零开销 + 表征级对齐 ≠ 万能) · 运动方式:8 行警示逐条 fade in, 末行"PDF §4-§7 核验"高亮。
  • 镜头 8(8s):时长 8 秒 · 屏幕文字 "表征级 ≠ token 级" · 画面元素:行动清单三件套(表征通道是反隐藏的 + 撞 token KL 不可外推 + 工程落地先 PDF 核验) · 运动方式:三条要点逐条弹出。