GRPO 训练时那些"全对或全错"的题，其实是被白白扔掉的

  • 关联论文：2608.00782

为什么这事值得关心

现在几乎所有开源推理模型的后训练都在用 GRPO：每道题采样 G 条回答，按组内相对奖励做策略梯度。便宜、不用 critic、效果稳。

但它有个藏得很深的漏洞：奖励只有 0/1 两个值。 若 G 条回答全对或全错，组内优势 A = r - mean(r) 全为 0——整组梯度为零，等于白跑一遍 rollout、烧一遍算力。

这种"零方差组"在难题上频率极高，是 RL 后训练里一笔看不见的税。

两条补救路线都不够干净：RLOO / ReMax / Reinforce++ 改奖励归一化，属治标；On-Policy Distillation（OPD）用大教师在 token 级给稠密信号，看似完美——但朴素地把 GRPO 和 OPD 拼起来，效果反而变差。

论文要回答的正是这个反常：为什么朴素 OPD 会掉点？哪些 token 上蒸馏才有用？

核心机制：RSTG 三件套

方法叫 RSTG（Recovering Learning Signals via Adaptive Teacher Guidance）——信号在哪儿丢的，就在哪儿召回。三件套各自对应一条退化根因。诊断是论文最重要的贡献。 朴素 OPD 退化有三条根因：

  1. 不是所有样本都值得蒸馏。简单题学生已答对，再模仿教师只是抄答案，浪费梯度。
  2. 学得太快会侵蚀 RL 的探索。蒸馏 loss 很容易压倒 advantage 梯度，把策略塌缩成教师。
  3. OPD 的优势是"非对称"的。对正确 token 教师也是对的，梯度几乎为零；对错误 token 是大梯度。结果是学生长期只在少数错 token 上被拉，其他 token 反而欠训。

第一件：Sample-Level 门控——只在零方差组上动手。

组内奖励非零方差 → 只跑 GRPO，不碰蒸馏
组内全对（优势=0）→ 用教师置信度当样本权重跑 OPD
组内全错（优势=0）→ 用 (1 - 教师置信度) 当样本权重跑 OPD

权重有讲究：全对组里教师置信度低意味着可能是"擦边对"，学生该多学；全错组里置信度低说明学生坚持了自己的答案，应少被教师拉走。

第二件：Token-Level 门控——只学该学的 token。

并非每个 token 的 KL 都有价值。作者定义两个掩码条件，满足其一即纳入蒸馏：

$$m_t = \mathbb{1}[H_{stu}(p_t) > \tau_1] \lor \mathbb{1}[KL(p_t^{tea}|p_t^{stu}) > \tau_2]$$

即学生分布还平（高熵）时教师能给方向；或师生分歧大说明这里有可学的东西。蒸馏 loss 只在 mask 内求和，教师分布 stopgrad。

第三件：SFT 补正。 零方差负组（全部答错）即使加了 masked OPD，RL 信号依旧 0。作者让教师在这些题上重跑，取教师答对的轨迹做 SFT，把答案分布真正注进去。

总 loss 是三者加权和：L = L_GRPO + λ_opd · L_OPD-masked + λ_sft · L_SFT。门控保证蒸馏只在 GRPO 无能为力的组上出场。

证据边界：数字本身有出入

摘要给出的两条结果：数学 +4.02%、代码 +3.05%，均相对"朴素 GRPO+OPD 退化基线"。代码数字两处一致；数学数字存在 1% 分歧——一句话结论写 +3.02%，关键实验节引摘要写 +4.02%，应以 PDF 正文表格为准。

基线性质也值得注意：这两条提升都是踩着朴素 GRPO+OPD 拿到的，说明 RSTG 不只是"恢复"，而是显著超过。

摘要未明确的还有：基线用哪对 student/teacher；τ1/τ2 怎么选；λ 比例；是否与同期 SOTA 横评；教师前向的 wall-clock 开销。

工程局限与落地路径

教师成本是非平凡开销。 每个 prompt 都要让 teacher 再前向一次。若 teacher 体量是 student 的 10 倍，单步时间约 ×1.8–2.0，训练吞吐接近腰斩。

门控阈值依赖经验。 τ1、τ2 是超参，最佳值需要 sweep；换一组 student-teacher 是否还稳，论文没有多模型对实验。

SFT 与 GRPO 同时在线有灾难性遗忘风险。 λ_sft 过高，student 会过度依赖 SFT 路径而减少探索。建议从 λ_opd=0.3、λ_sft=0.1 起放大。

verifier 的 0/1 判断必须准确。 数学 verifier 若有 5% 误判率，这些样本的梯度会直接毒害训练，务必人工抽检。

"差不多对但还能改"的样本被漏掉了。 蒸馏 ROI 最高的区段恰是"接近正确、仍有改进空间"的样本，论文未探索。

开源状态未知。 截至 v1 提交未明确承诺开源，接入前需确认 arXiv 页面的 GitHub 链接。

最小接入路径：① 先诊断——跑一轮不带 OPD 的 GRPO，统计零方差组占比，低于 10% 收益有限，高于 30% 才值得接入；② 搭教师推理——教师须与 student 共享 tokenizer 才能做 token 级 KL，对齐失败则整套失效，并确认能输出归一化概率分布以算置信度权重；③ 混合训练并盯住 mask 比例 mean(m_t)，低于 5% 说明阈值过高，高于 80% 说明过低。

工程量参考：不需要 critic、不需要偏好数据，纯 GRPO + 教师前向 + verifier。若不开源，自行实现这套 loss 约 2–3 人天。

一句话带走

RL 后训练最贵的浪费不是算力，是信号。 零方差组里被扔掉的信息，用"样本级门控 + token 级掩码 + 教师答案 SFT"三件套可以捞回来。

三个标题变体

  1. GRPO 里那些"全对或全错"的题，其实在偷偷烧你的 GPU
  2. 朴素蒸馏反而掉点？问题出在你把蒸馏打在了所有 token 上
  3. 把蒸馏当补丁用：RSTG 如何从零方差组里捞回被浪费的学习信号

小红书卡片文案

📌 LLM 后训练避坑｜GRPO 的"隐形税"

RL 后训练最贵的浪费不是算力，是信号。

GRPO 每题采 G 条回答，按组内相对奖励算优势。但奖励只有 0/1： 👉 全对 or 全错 → 组优势全为 0 → 整组梯度为零，rollout 白烧

难题上这叫"零方差组"，频率高得离谱。

😵 那加 On-Policy Distillation（OPD）总行了吧？ ❌ 朴素 GRPO + OPD 反而掉点——这就是论文要解的题。

🔍 三条根因诊断（论文最值钱的部分）： 1️⃣ 不是所有样本都值得蒸馏（简单题抄教师=浪费） 2️⃣ 蒸馏学太快会侵蚀 RL 的探索 3️⃣ OPD 优势不对称：正确 token 梯度≈0，错 token 梯度巨大 → 长期只在少数错 token 上被拉，其他 token 欠训

🧩 RSTG 三件套： • 样本级门控：只在零方差组上蒸馏，其余照跑 GRPO • Token 级掩码：m_t = 1[H_stu>τ1] 或 1[KL>τ2]，只学高熵/师生分歧大的 token • SFT 补正：教师在错题上重跑，取答对轨迹做 SFT，注入答案分布

📈 摘要数字：数学 +4.02%、代码 +3.05%（一句话结论写 +3.02%，数学数字有 1% 出入，以 PDF 正文为准）

⚠️ 泼冷水： • 基线用哪对 student/teacher、τ/λ 怎么选、有无与 R1/DAPO 横评，摘要全没写 • 教师前向 wall-clock 未给，10× 体量下单步约 ×1.8–2.0 • "差不多对但还能改"的样本反而被漏了 • 开源状态未知

🛠️ 落地三步： ① 先统计零方差组占比：<10% 别碰，>30% 才值 ② 教师须与 student 共享 tokenizer 才能做 token 级 KL ③ 监控 mask 比例 mean(m_t)：<5% 阈值太高，>80% 太低

💬 一句话：不是所有 token 都值得蒸馏。把蒸馏当补丁打，别当主菜。

大模型后训练 #GRPO #强化学习 #LLM #论文解读 #AI训练 #开源模型 #推理模型 #科研日常 #AI工程

来源：arXiv 2608.00782｜v1 提交 2026-08-01，实验细节待查正文