On-Policy Self-Training (OPST)：不用任何人工标注数据的大模型自我进化 · 干货攻略

• 链接: https://x.com/_akhaliq/status/2114730501626015880
• 分类: x-tips
• 来源: X @_akhaliq
• 作者: Jay
• 更新: 2026-10-27
• 仓库: 无 —— 论文与 arXiv 摘要页均未提供官方代码仓库（详见下文「复现与上手」）

这是什么

原帖由 @_akhaliq 于 2026-10-26（UTC）转推，正文只有标题《On-Policy Self-Training / Data-Free Self-Improvement in Large Language Models》加一个论文链接，没有额外数字或主张。短链展开后指向 Hugging Face Papers 页 https://huggingface.co/papers/2610.32770，对应 arXiv:2610.32770《On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models》（2026-10-23 提交，cs.CL）。

论文提出 OPST（On-Policy Self-Training）：把「on-policy 自蒸馏」重构成一个自训练框架，让模型只靠高层主题描述（topic descriptor）自己出题、自己给答案和推理过程、再拿这些自造数据训练自己——全程不需要一条人工编写的题目或答案。

关键的机制差异在于特权信息（privileged information, PI）怎么用。已有的 on-policy 自蒸馏（OPSD）做法是：人写题 + 人写参考答案，学生在题目上 rollout，教师（看过参考答案）在学生 rollout 上给出逐 token 的密集监督。OPST 的做法是：题目 x 和 PI z=(推理 r, 答案 a) 都由模型自己生成，但生成答案不作为模仿目标，而是作为教师提示上下文——教师在拿到 x 和 z 的前提下，用自己的参数知识重新推演出一条解答，再把这条解答的 token 分布蒸馏给学生。

这个区别决定了成败。作者的论证是：SFT 把每个生成 token 都当作正确标签，会把生成里的错误和遗漏一并继承；用 RL（如 GRPO）奖励「答案与生成一致」则把密集监督压成了一个标量奖励；只有让 z 作为上下文、教师用自己的先验去重写一遍，才能把 z 里不可靠的部分过滤掉，产出密集、且受模型先验约束的 token 级监督。

流程上是两个过滤 + 一个 EMA 教师 + N 轮循环：

1. 生成：π_gen 拿到主题描述 τ，产出问题 x、推理 r、候选答案 a。
2. 伪验证（pseudo-verification）：要求生成器在全新上下文（不给 z）下低温重答一遍能得到同一答案 â(x)=a；再把问题改写成 x′ 后重解，答案仍须不变 â(x′)=a。两者皆满足才保留——即「答案不依赖出题意图、也不依赖具体措辞」。
3. 共识门（consensus gate）：学生采样 G 条 rollout，若与候选答案完全一致（c(x,z)=1）则丢弃——学生已经会的题没有信息量。留下的样本正好落在学生的能力前沿上，且难度随学生一起漂移。
4. 训练：学生只看 x 做 rollout，教师看 (x,z) 给分布，蒸馏损失 L_OPST；每次梯度更新后教师按 φ ← (1−β)φ + βθ 做指数滑动平均。教师与学生同初始权重，不需要外部更强的教师模型。

核验来源

• arXiv 摘要页: https://arxiv.org/abs/2610.32770 ｜DOI 10.48550/arXiv.2610.32770｜Submitted 2026-10-23，cs.CL / cs.AI / cs.LG
• arXiv 全文 HTML: https://arxiv.org/html/2610.32770v1 —— 下列所有数字均取自此处的 Table 1/2/3/4/5/6/7/8 与 Appendix A
• Hugging Face Papers 页: https://huggingface.co/papers/2610.32770（原帖短链展开的落点）
• 评测协议（Appendix A.6）：EleutherAI lm-evaluation-harness 任务定义 + Gemma 4 chat template；MMLU 5-shot，其余多选 0-shot，GSM8K 用 8-shot CoT，MATH-500 用 SymPy 符号等价判分；所有模型与基准在训练前后的解析失败率与无效答案率均为 0%。

核心数字（全部来自官方论文表格）

主结果 · Gemma 4 E2B（Table 1，同一批自造数据上比较不同训练算法）

带 thinking 模式（E2B）：Base 平均 58.4 → OPST 63.0 (+4.6)，其中 MMLU 69.9→71.1 (+1.2)、GPQA 27.8→34.3 (+6.5)、GSM8K 72.7→80.9 (+8.2)、HellaSwag 63.1→65.6 (+2.5)。作者总结：OPST 相对同数据 SFT 的平均优势为无 thinking 时 +5.6 / +1.3（2B / 4B），有 thinking 时 +2.7 / +3.8。

消融（Table 5，Gemma 4 E2B，MMLU）：不加任何过滤时仅 +5.2 分；加上伪验证再 +2.7；再加共识门再 +2.3，合计 10.2 分。特权信息成分：None 40.6、Placebo（换一道同主题题）40.2、仅答案 44.6、仅推理 45.8、完整 47.7——说明增益来自样本特异的特权信息，且推理比答案携带更多信号。鲁棒性实验里把 75% 的候选答案换成错答案，OPST 只掉 1.9 分且仍高出基线 3.3 分，而 SFT 掉 5.7 分并跌到基线之下 4.4 分。

组件消融（Table 6）：EMA 系数 β=0.05 最优（47.7）；β=1（即完全不用 EMA）几乎无提升（38.1 vs 基线 37.5）；β=0.01 过度平滑只有 45.2。每轮样本数 285 达峰（47.7），570 反而回落到 46.9。自训练轮数 N=3 已 +5.6，N=7 达峰 47.7，N=12/20 停在 46.2 不再涨。推理时用 EMA 教师比用学生权重高 1.8 分（47.7 vs 45.9）。

跨模型家族（Table 8）：Qwen3-4B-Base（未做指令微调的纯预训练模型）上，四个基准全部提升，平均 66.7 → 72.7 (+6.0)，GSM8K +13.3 领先，其次 GPQA +5.1、MMLU +3.1、HellaSwag +2.5——说明方法不是 Gemma 专属，也不依赖指令微调。

多域与保留（Table 3）：三个域主题同时训练，域内平均 +7.6，与单域训练的差距在 1.0 分以内，域间干扰很小。域外保留需留意细节：MMLU+HellaSwag 混合训练的域外平均 43.8（基线 43.6），但其中 MATH-500 从 56.5 掉到 48.0（−8.5）。

多模态 Visual OPST（Table 4）：只用 OpenImages V4 的无标注图像 + 视觉主题描述（"Spatial Relations"、"Object Counting"、"Attribute Recognition"），Gemma 4 E2B 上 VQAv2 49.1 → 56.0 (+6.9)，POPE F1 82.2 → 84.6 (+2.4)、召回 72.9 → 77.4 (+4.5)。4B 上则由 spatial QA 单独最优，两者并非稳定互补。

稳定性（Table 7）：3 个随机种子下标准差 ≤ 1.2 分，远小于 OPST 相对基线的增益；GPQA Diamond 只有 198 题，单题就约合 0.5 分。

复现与上手

先说清楚现状：截至 2026-10-27 核验，arXiv 摘要页与全文中没有任何官方代码仓库或发布声明，arXiv 的「Code/Data/Media」条目也未挂载代码。所以下面是基于论文 Algorithm 1 与 Appendix A.7/A.8 提示模板的自行实现路径，不是官方教程。

1. 准备基座与教师：学生 θ 与教师 φ 从同一份初始权重出发（论文用 Gemma 4 E2B/E4B 与 Qwen3-4B-Base）。教师是学生的 EMA，不需要另找更强的教师模型——这是与常规蒸馏最省资源的一点。
2. 写主题描述表：用粗粒度主题而非具体题目。论文示例为 MMLU 用 college_mathematics、GSM8K 用 rate, time, and distance word problems；多选与开放题各一套出题模板（Appendix A.7 给出了完整模板，例如多选题要求输出 Question / (A)(B)(C)(D) / Solution / Answer 的固定格式）。
3. 实现教师条件化提示（论文原模板）：给教师同时看问题与特权信息，并明确要求不要提及答案是被提前告知的：

   The potentially correct answer to this problem is ({gen_answer}). Write a clear, rigorous step-by-step derivation reasoning about ({gen_answer}). Do NOT mention that the correct answer was given to you in advance.

另一版模板把 Reference Rationale 与 Potential Answer 一并放进 ### Privileged Reference Context:，再要求教师以 first principles 重推、结尾输出 Answer:。这一步是全文最容易做错的地方：教师若直接复述特权信息，就退化成了 SFT。 4. 实现两个过滤器：伪验证需要「无上下文低温重答」+「改写后重解」两次额外生成；共识门需要学生采 G 条 rollout 数一致率。 5. 训练循环：每轮「生成 → 过滤 → 学生 rollout → 蒸馏损失 → EMA 更新」，默认参数按论文最优：β=0.05、每轮 285 条、跑 7 轮。评测时用 EMA 教师（比学生权重高 1.8 分）。

适用边界

• 只放大已有知识，不能凭空灌输。论文自己的 Limitations 写明：OPST 只能放大模型已有的潜在能力；伪验证度量的是自一致性而非正确性，所以「一致地错」的样本仍会进入训练。这是全篇最实质的限制。
• 规模有限。实验只在 Gemma 4 E2B/E4B 与 Qwen3-4B-Base 这类小模型上做过，论文明确指出限制于小模型，未验证更大规模。
• 人工基准仍有优势。Table 2 显示，使用人工编写问题+参考解答的 Supervised OPSD 在 MMLU 上是 49.6 (+12.1)，高于 OPST 的 47.7 (+10.2)。OPST 的卖点是「零人工标注」，不是「零人工标注且效果更好」。
• 主题描述是手工挑的，换域要重新设计描述词，且描述词基本等于泄漏了评测分布。
• 域外保留不是零成本：多域混合时 MATH-500 掉了 8.5 分。
• 多模态增益不叠加：4B 上两种特权信息并不互补。

一句话结论

OPST 证明了「用一句话的主题描述当全部监督」也能把模型训好——关键不在于造数据，而在于把自造的答案当作教师的提示上下文而不是模仿目标：同样这批自造数据，SFT 只涨 0.8 分，OPST 涨 10.2 分。不过这条路目前只在小模型上验证过、且论文未放出代码，自一致性不等于正确性这条硬伤仍在。