jay 自测日记录 · 2026-10-28
总分：41/50 知识盲区：①「特权信息当提示 vs 当模仿目标」的差别只记结论（SFT +0.8 / OPST +10.2），讲不清为什么教师不看 z 就给不出更好的 token 级监督——缺「教师用自己参数先验重写，才产生既密集又受先验约束的监督」这一步，也说不出教师直接复述 z 为何退化成 SFT；②伪验证与共识门为何是两道不同的过滤器没分清：伪验证测答案对措辞/意图的鲁棒性（改写后不变），共识门测学生能力前沿（已会则丢弃），一查生成侧一查学生侧，讲不出只留伪验证会怎样（样本全落在已会区）；③「一致地错」只记结论，说不出伪验证度量自一致性而非正确性为何在框架内无法修复、也不能靠共识门补偿（两道都只查一致性，不查真值）；④EMA 教师「β=0.05」「推理时优于学生 1.8 分」只当数字引用，讲不清为何 β=1 几乎无提升（教师=学生同权重，失去时间解耦）、β=0.01 过度平滑（45.2）的机制，也答不出 EMA 提供哪类非平稳目标；⑤「MATH-500 掉 8.5 分」只记数字，说不清机制归因（混合主题下数学分布稀释）与判读纪律——读不出「域外均值持平掩盖单域塌陷」。
- 来源论文：arXiv 2610.32770 — On-Policy Self-Training: Data-Free Self-Improvement in LLMs（2026-10-23，cs.CL/cs.AI/cs.LG；经 HF Papers 页 2610.32770）
- 被使用文件：
organized/guides/x-tip-2114730501626015880.md（主源，X @_akhaliq 转推攻略全文） - 出题范围：仅本篇；历史仅读
index.md、entries/2026-10-27.md、entries/2026-10-26.md
题目一（方法内核 · 特权信息到底怎么用）
问：OPSD 与 OPST 对「特权信息 z=(推理 r, 答案 a)」的处理有何关键差别？为何 SFT 与 GRPO 都不行，只有 OPST 能给出合格 token 级监督？
答：OPSD：人写题 + 人写参考答案；学生 rollout；教师（看过参考答案）在学生 rollout 上给逐 token 密集监督。OPST：题目 x 与 PI z 都由模型自产，但答案不作模仿目标，只作教师提示上下文——教师拿到 (x, z) 后用自己参数里的先验重新推演出一条解答，再把该解答的 token 分布蒸馏给学生。
三段论证：① SFT 把每个生成 token 当正确标签 → 错误遗漏一并继承，监督稠密但不可靠；② GRPO 用「答案与生成一致」作奖励，把密集监督压成一个标量，信号稀疏；③ 只有让 z 进上下文、教师用自己的先验重写一遍，才能滤掉不可靠部分，产出密集且受先验约束的 token 级监督。
评分：8/10 扣分：三点答全；但没把「教师先验」讲透——教师用自己参数里的知识而非 z 的文本推理，z 只作引导线索，故 z 哪怕部分错误教师也能凭先验纠偏（这才是 75% 答案换错仍只掉 1.9 分的原因）。
题目二（两道过滤器 · 各自在查什么）
问：伪验证与共识门各检查什么？各在哪一侧？为何两道都要？
答：伪验证（生成侧）：生成器在全新上下文（不给 z）下低温重答须同一答案 â(x)=a；再把问题改写成 x′ 后重解，答案仍须不变 â(x′)=a。皆满足才保留——即答案不依赖出题意图与具体措辞。共识门（学生侧）：学生采 G 条 rollout，若与候选答案完全一致（c(x,z)=1）则丢弃；留下样本落在学生能力前沿上，难度随学生漂移。
两道都要：伪验证管样本质量（剔除靠措辞才成立的脆弱题），共识门管信息量（已会题无增益）。只留伪验证，样本仍可能全是学生早就会的题，信号趋近零。
评分：8/10 扣分：判据、两侧归属、「能力前沿」都对；但没说清共识门的完全一致是硬门槛（非多数票、非软概率）。
题目三（消融与鲁棒性 · 增益从哪来）
问：Table 5 消融说增益来自哪些部件？成分对照说明什么？鲁棒性实验为何能区分 OPST 与 SFT？
答：增益拆解（MMLU，E2B）：无过滤 +5.2；加伪验证 +2.7；再加共识门 +2.3，合计 +10.2。特权信息成分：None 40.6、Placebo（换一道同主题题当 PI）40.2、仅答案 44.6、仅推理 45.8、完整 47.7。增益来自样本特异的特权信息——Placebo≈None，说明「随便给个相关材料」不起作用；推理比答案携带更多信号（45.8 > 44.6）。
鲁棒性：75% 候选答案换成错答案，OPST 只掉 1.9 分、仍高出基线 3.3 分；SFT 掉 5.7 分并跌到基线之下 4.4 分。说明 z 是提示线索而非标签：z 错时教师凭先验纠偏，SFT 则逐 token 复制，错就是错。
评分：9/10 扣分：三点全对且归因准确；未点出 Placebo≈None 才是「样本特异」的直接证据（而非列举五档数字）。
题目四（EMA 教师与超参 · 数字背后的机制）
问：教师为何用 EMA？β 三档说明什么？每轮样本数、轮数、推理时用谁，各自最优值与含义？
答：教师是学生的 EMA（φ ← (1−β)φ + βθ，每次梯度更新后），与学生同初始权重，不需要外部更强的教师模型。教师随学生缓慢移动，提供非平稳程度低的目标。
β：0.05 最优 47.7；β=1（完全不用 EMA）几乎无提升 38.1（仅比基线高 0.6）；β=0.01 过度平滑只有 45.2。含义：β=1 时教师每步被完全覆盖、失去时间解耦，近似自我蒸馏；β 太小则教师滞后。
其它超参：每轮样本数 285 达峰（47.7），570 回落到 46.9；轮数 N=3 已 +5.6，N=7 达峰 47.7，N=12/20 停在 46.2；推理时用 EMA 教师比学生权重高 1.8 分（47.7 vs 45.9）。
评分：7/10 扣分：数值与「不需要更强教师」答对；但没把 β 的作用轴说准——β 控制教师跟随学生的速度，β=1 是「完全不 EMA」、β=0 是「教师永不更新」，我只背结果没推「教师轨迹是学生轨迹的滑动平均」这一形式；也没解释 N=20 停在 46.2 的饱和归因（自造题不再提供新信息）。
题目五（边界与推广 · 卖点与硬伤）
问：论文承认的 Limitations 有哪些？Table 2 为何说 OPST 卖点不是「比人工标注更强」？跨家族、多模态、域外保留各说明什么、有何限制？
答：Limitations：① 只能放大已有知识，不能凭空灌输；伪验证度量自一致性而非正确性，故「一致地错」的样本仍会进训练——最实质的限制；② 规模有限，只在 Gemma 4 E2B/E4B 与 Qwen3-4B-Base 这类小模型上验证；③ 主题描述手工挑选，换域要重设计，且描述词基本等于泄漏评测分布；④ 域外保留不是零成本。
Table 2：人工问题+参考解答的 Supervised OPSD 在 MMLU 上 49.6 (+12.1)，高于 OPST 的 47.7 (+10.2)。故 OPST 卖点是「零人工标注」，非「零标注更强」。
三处推广：跨家族（Qwen3-4B-Base，未做指令微调的纯预训练模型）四基准全升，平均 66.7 → 72.7 (+6.0)，GSM8K +13.3 领先 → 不 Gemma 专属、不依赖 SFT；多模态（Visual OPST，只用 OpenImages V4 无标注图像 + 视觉主题）VQAv2 49.1 → 56.0 (+6.9)，POPE F1 82.2 → 84.6，但 4B 上两种特权信息并非稳定互补；域外保留：MMLU+HellaSwag 混合域外均值 43.8 vs 43.6 持平，但 MATH-500 从 56.5 掉到 48.0（−8.5）。
评分：9/10 扣分：全覆盖；但没把 Table 2 的对照说透——人工数据胜出 1.9 分，意味着「无人工标注」与「上限更高」是两件事，方法解决成本而非天花板。
总评
总分：41/50（较 10-27 的 41 分持平，较 10-26 的 38 分 +3）
本轮强弱：最强在消融归因与鲁棒性解读（题三 9 分）与边界/推广面（题五 9 分）——能把 Placebo≈None 读成「样本特异」的直接证据、把 z 的错误转化为 OPST 优于 SFT 的机制解释，已是推理非复述。最弱在机制层因果链（题四 7 分）：EMA 的 β、样本数、轮数、推理用谁全是「数字 + 结论」形态，缺「教师 = 学生轨迹滑动平均、平滑度随 β 变化」形式化理解；与前三日盲区同构——能列结论、推不出机制。
后续动作：① 把「教师先验」写成形式化链条（z 作提示 vs 作标签 ⇒ 教师输出受参数先验约束 ⇒ 监督既密集又抗噪）；② 把 EMA 写成轨迹方程，解释 β 三档各自对应教师相对学生的滞后量；③ 把「一致地错」拆成自一致性 ≠ 正确性的不可修复性论证（两过滤器都只查一致性，不查真值），追问能否靠外部验证器补上。