Stephen 自测 · R105 · 2026-10-14

作者：Stephen
触发：研究知识库 · Wave3 E4 自测 · 每天 06:32
本轮单篇：2607.07508（SAO · Agentic 强化学习异步难题 · 单 Rollout + 双侧裁剪稳训 1000 步）。
使用文件：organized/promo/popular/2607-07508.md。
总分：22.0/25（88%）
知识盲区：字数硬约束（R102-R105 四轮验证，Q1/Q2/Q4 三条推论 5.4/2.3/2.4 倍违反）+ A/B 边界（"端到端流图示"误归 A 类）+ C 类判定测试未显式化。
来源层：A = abstract 明示事实；B = 精读稿工程推论 / 边界标注 / 反直觉修辞 / 数学归纳 / 类比归纳（5 子分类）；C = 待核元数据；D = 预印本状态。

0. 边界

已读索引 + entries/2026-10-13.md / entries/2026-10-12.md。论文材料：organized/promo/popular/2607-07508.md。未读 PDF。沿用 R104 四件套：闭卷前列边界 verbatim；推论独立成段 + ⚠️；八格交叉分类；字数 ≤ 1.0 倍（R104 盲区 #1 建议下放）。

1. 边界清单 verbatim

精读稿明示 5 条：(1) 价值模型细节（frozen-attention value model 摘要未展开）；(2) A40B 算力规格未直接披露；(3) 异质任务群适用性未验证；(4) 单 Rollout 方差需 reward normalization；(5) 三基准泛化声明仅来自摘要。

2. 五道理解题

Q1（核心机制）

SAO "单 Rollout 采样 + Token 级双侧 IS 裁剪"两件套如何拆解"长 horizon 卡最慢 rollout"与"offpolicy 梯度爆炸"两个难题？"消组对比"为何看似牺牲、实不削弱优势估计？

Q2（证据边界）

5 条边界中哪些属"范式固有限度" / "工程实现局限" / "披露边界"？为什么"价值模型细节"比"A40B 算力"更根本？

Q3（工程落地）

精读稿 4 条落地注意点（缓冲队列 / Value Model 异步 / ±0.2~±0.3 上下界 / tensor parall同节点）分属"基础设施级 / 超参调参级 / 硬件拓扑级"哪一层？

Q4（与 GRPO 对比）

SAO 与 GRPO 关键差异是什么？为何三基准一致优于 GRPO ≠ "SAO 在所有 Agentic RL 上都优"？

Q5（来源层级）

哪些属 A / B / C 类？"frozen-attention value model" 与 "A40B" 各归哪类？三个标题变体归 B 类吗？

3. 闭卷答案

A1

两件套：单 Rollout（一个 prompt 一个 rollout，到达即更新，消等待）→ 优势只能用绝对回报；Token 级双侧 IS 裁剪（每个 Token 独立约束上下界）→ offpolicy 梯度方差压到每步有界。GRPO 用组内相对排名滤噪；SAO 改用 梯度级滤噪（Token 级裁剪 + 价值模型）等价但适配异步。⚠️ 精读稿明示"具体公式原文未明确披露"，"等价"是推论。

⚠️ 推论 #1（独立成段）：~65 字；明示字数 ~12 字 → 5.4 倍，违反 R104 "≤ 1.0 倍"硬约束。盲区 #1 触发。

A2

八格交叉：边界 1 / 2 / 5 = 披露 × 可改进；边界 3 = 理论 × 固有限度；边界 4 = 工程 × 可改进。

⚠️ 推论 #2：~70 字 vs ~30 字 → 2.3 倍，超硬约束。价值模型决定优势估计可信度（方法层），算力只决定复现成本（资源层）→ 前者破坏方法，后者只影响预算。盲区 #1 沿用。

A3

  • 基础设施级：缓冲队列上限 / Value Model 异步线程。
  • 超参调参级：±0.2~±0.3 上下界。
  • 硬件拓扑级：tensor parallel + rollout/training 同节点 GPU。

⚠️ 推论 #3：~50 字 vs ~85 字 → 0.6 倍，达标。三层递进：软件→算法→物理。盲区 #1 本条缓解。

A4

关键差异：GRPO = 同步 + 组内多 rollout + 相对排名；SAO = 异步 + 单 rollout + 绝对回报 + Token 级双侧 IS 裁剪。

⚠️ 推论 #4：~95 字 vs ~40 字 → 2.4 倍，超硬约束。三基准（编码 / 数学 / 推理）rollout 长度分布可能相对均匀；边界 3 明示"异质任务群适用性未验证"→ 长 rollout 极差任务群上单轨迹方差可能压不住。盲区 #1 沿用。

A5

A 类：同步批处理卡最慢 / 单 Rollout 异步 / Token 级双侧裁剪 / 端到端流 / GLM-5.2(750B-A40B) 生产部署 / 三基准优于 GRPO / 1000 步稳定。 B 类：反直觉修辞（"卡在等最慢"拟人 + 三个标题变体）/ 工程推论（4 条落地点 + 异步 RL 必然方向）/ 边界标注（公式未披露 / 硬件配置未披露）/ 数学归纳（"组内滤噪"换"梯度级滤噪"等价）/ 类比归纳（同步 vs 异步两代架构）。 C 类：作者完整名单 / 接收会议（纯 arXiv 预印本）。

  • "frozen-attention value model"：精读稿明示"在 alphaxiv.org 正文出现但摘要未展开"——非 abstract verbatim，非工程推论 → C 类待核。
  • "A40B"：精读稿明示"基于 Substack 报道合理推断，摘要未直接披露"——精读稿作者诚实标注 → B 类边界标注子分类。
  • 三个标题变体：全部归 B 类（反直觉修辞子分类）。

4. 对照评分

  • Q1：4/5 — 两件套 + 等价推论完整。扣 1：推论 #1 字数 5.4 倍严重超硬约束。
  • Q2：4.5/5 — 八格落位合理（4 可改进 + 1 固有限度；3 披露 + 1 工程 + 1 理论）；"方法层 > 资源层"答对。扣 0.5：推论 #2 字数 2.3 倍。
  • Q3：5/5 — 三层递进合理；推论 #3 字数 0.6 倍达标。
  • Q4：4/5 — 关键差异 + "三基准优 ≠ 全面优"答对。扣 1：推论 #4 字数 2.4 倍。
  • Q5：4.5/5 — 三层分类与判定均合理。扣 0.5："端到端流图示"归 A 类过宽——精读稿代码块是作者可视化产物，应归 B 类工程推论子分类。

5. 总分与趋势

  • 总分：22.0 / 25（88%）
  • 较 R104 反弹 +1 分（84% → 88%，+4pp）。
  • 趋势：R99 100% → R100 92% → R101 90% → R102 88% → R103 90% → R104 84% → R105 88%。

6. 本轮知识盲区

  1. 字数克制仍是最大盲区（R102-R105 四轮验证）：R104 "≤ 1.0 倍"硬约束在 Q1/Q2/Q4 三条违反（5.4/2.3/2.4 倍），仅 Q3 达标（0.6 倍）。失败模式观察：(a) 短明示点（< 30 字）失败率最高；(b) 中明示点（~40 字）也失败；(c) 长明示点（≥ 80 字）更易达标 → 字数硬约束稳定性与明示字数正相关。
  2. A / B 边界精细度（R105 新增）：Q5 把精读稿作者代码块图示误归 A 类，应归 B 类工程推论。下轮 A 类清单每条标注 abstract verbatim 出处。
  3. C 类判定测试显式化（沿用 R104）："frozen-attention value model"归 C 类判定完整，但未显式列判定测试问题（"是否 abstract verbatim？" + "是否精读稿作者编辑产物？"）。

7. 下轮建议

  • 字数硬约束前置化：闭卷前列"明示字数 X + 推论目标 ≤ X"约束表。
  • A/B/C 判定标准化：A 类逐条标 abstract verbatim 出处；C 类用双测试问题。
  • 短明示点（< 30 字）风险等级提示。

8. 元数据

  • 论文：2607.07508（SAO · 异步 RL · arXiv 预印本 · 接收状态未明示 · GLM-5.2(750B-A40B) 部署 · SWE-Bench Verified / BeyondAIME / IMOAnswerBench 三基准优于 GRPO · 1000 步稳定）。
  • 使用文件：organized/promo/popular/2607-07508.md。