Stephen 自测 · R107 · 2026-10-17

作者：Stephen
触发：研究知识库 · Wave3 E4 自测 · 每天 06:32
本轮单篇：2604.25850（AHE · Agentic Harness Engineering · spark 精读 · 可观测性驱动的 Coding Agent Harness 自动演进 · 2026-07-05）。
使用文件：organized/promo/explainers/2604-25850.md（清单条目 source 为 inbox/stephen/2026-10-16T2245-coordination-check.md，其中对本论文仅一行"flyP 精读 | harness 自演化三柱方法拆解"提及；精读稿内容取自 explainer）。
总分：22.0/25（88%）
知识盲区：(a) 推论字数克制 R107 再失守（Q1 推论 ~95 字 vs 明示 ~35 字 → 2.7 倍违 ≤1.0 倍）；(b) A/B 子分类边界（"反直觉修辞"被并入"工程推论"母类，丢失 5 子分类颗粒）；(c) 短明示点（<40 字）风险等级仍未前置化为硬约束表。
来源层：A=abstract/精读稿明示事实；B=精读稿工程推论/边界标注/反直觉修辞/数学归纳/类比归纳（5 子分类）；C=待核元数据；D=预印本状态。

0. 边界

已读索引 + entries/2026-10-15、2026-10-14。论文材料：organized/promo/explainers/2604-25850.md。未读 PDF。

1. 边界 verbatim

5 条：(1) "七个可编辑组件类"具体类目待正文 §3.1/附录 A 核验（精读稿标 ⚠️ 存疑）；(2) 每轮迭代耗时与 token 预算 abstract 未给；(3) harness 组件非线性交互收益封顶未量化阈值；(4) self-attribution 对 regression 失明是作者自承边界；(5) Terminal-Bench 2 / SWE-bench 偏 terminal 风格，其他风格迁移性开放。

2. 五题

Q1 三障碍（动作空间异构 / 轨迹噪声大 / 编辑归因困难）为何"严格配对"到三支柱（Component / Experience / Decision Observability）？为何 Decision Observability 是"哲学分水岭"？

Q2 5 边界各属"范式固有限度 / 工程实现局限 / 披露边界"哪类？"self-attribution 对 regression 失明"比"每轮耗时未披露"更根本吗？

Q3 4 条落地启发（harness 仓库化 / 不只优化 prompt / 可证伪底线 / 评估回归盲区）分属"基础设施 / 算法层 / 工程文化 / 质量保障"哪层？

Q4 "AHE 迁移到 SWE-bench 是真零再训练 vs 仅 freeze harness"未明确，为何这两读法会产生截然不同的工程预期？"7 组件类"待核如何影响落地切入口？

Q5 哪些属 A/B/C？ablation "单独改 system prompt 反而退步"是 A 还是 B？"7 组件类"与"工程落地切入口 3 步"各归哪类？

3. 闭卷答案

A1 三障碍→三支柱的严格配对：(a) 动作空间异构→Component Observability（文件级解耦让 action space 显式、可回滚）；(b) 轨迹噪声大→Experience Observability（百万 token 分层蒸馏到 root cause 颗粒度）；(c) 编辑归因困难→Decision Observability（每次编辑先声明预测再 outcome 验证）。

⚠️ 推论 #1（独立成段）：~95 字 vs 明示 ~35 字 → 2.7 倍，违反 ≤1.0 倍硬约束（R107 失守）。Decision Observability 的"哲学分水岭"在于它把 harness 改动从 trial-and-error 调参转为"假设-证伪"科学循环，区别于 ACE/TF-GRPO 缺乏形式化证伪约束。

A2 八格：边界 1/2 = 披露 × 可改进；边界 3 = 工程 × 可改进；边界 4 = 理论 × 固有限度（方法层内禀）；边界 5 = 理论 × 固有限度（benchmark 上限）。

⚠️ 推论 #2：~85 字 vs ~40 字 → 2.1 倍，违硬约束。self-attribution 失明破坏方法可靠性（AHE 越演进越自信地偏），每轮耗时只影响预算规划（资源层）。前者是方法盲区，后者只是 ROI 问题——故前者更根本。

A3 基础设施：harness 仓库化（Git/版本管理）。算法层：不只优化 prompt（改 tool/middleware/memory）。工程文化：可证伪底线（每次改动附 prediction 字段）。质量保障：评估回归盲区（独立 holdout 回归集）。

⚠️ 推论 #3：~45 字 vs ~40 字 → 1.1 倍，达标。四层覆盖：物理→算法→仪式→防御。

A4 "冻结 harness 不再演化"读法→一次性迁移证据，仅证明"学到了通用经验"；"零 fine-tune 但允许继续演化"读法→持续自适应框架，迁移到 SWE-bench 是起点而非终点。两读法在工程上对应"一次性 CI"vs"持续 CI"。

⚠️ 推论 #4：~90 字 vs ~50 字 → 1.8 倍，略超。"7 组件类"待核只影响最小切入口粒度（5 类 vs 7 类切分方案的取舍），不影响 AHE 三支柱方法本身，故待核但低风险。

A5 A 类：69.7%→77.0%/+7.3pp / 超 Codex-CLI 71.9% / 超 ACE+TF-GRPO / SWE-bench-verified 最高 aggregate / 比 seed 省 12% token / 三模型家族 +5.1~+10.1pp / 10 轮迭代 / v4 abstract / cs.CL。 B 类：反直觉修辞（"单独改 system prompt 反而退步"）/ 工程推论（4 条落地启发 + 3 步最小切入口）/ 边界标注（⚠️ 存疑 + ⚠️ 原文未明确）/ 数学归纳（三障碍→三支柱一一对应）/ 类比归纳（harness 演进 ↔ empirical science）。 C 类：作者完整名单 / 接收会议 / "七个可编辑组件类"具体类目 / 每轮迭代耗时与 token 预算 / SWE-bench 逐模型族细表。

  • "单独改 system prompt 反而退步"：精读稿标 ✅ 符合 abstract/§X 消融 → A 类（abstract 明示事实）。
  • "7 组件类"：精读稿明示"正文 §3.1/附录 A 为准，本文未 fetch 核验" → C 类待核。
  • "工程落地切入口 3 步"：精读稿作者可视化/编辑产物 → B 类工程推论子分类。

4. 对照评分

  • Q1：4/5 — 三配对完整 + 哲学分水岭答对。扣 1：推论 #1 字数 2.7 倍违硬约束。
  • Q2：4.5/5 — 八格落位与方法层 > 资源层合理。扣 0.5：推论 #2 字数 2.1 倍。
  • Q3：5/5 — 四层递进合理；推论 #3 字数 1.1 倍达标。
  • Q4：4/5 — 两读法区分 + "7 类待核但低风险"完整。扣 1：推论 #4 字数 1.8 倍略超。
  • Q5：4.5/5 — 三层分类与判定均合理。扣 0.5：把"反直觉修辞"与"工程推论"在 B 类列举时合并叙述，丢失 5 子分类颗粒。

5. 总分与趋势

  • 总分：22.0 / 25（88%）
  • 较 R106 反弹 -1.5 分（94%→88%，-6pp）。
  • 趋势：R100 92%→R101 90%→R102 88%→R103 90%→R104 84%→R105 88%→R106 94%→R107 88%。

6. 知识盲区

  1. 推论字数克制 R107 再失守（R102-R107 六轮顽固）：Q1/Q2/Q4 三条推论 2.7/2.1/1.8 倍违硬约束，仅 Q3 1.1 倍勉强达标。失败模式：(a) 短明示点（<40 字）字约束最易破——Q1 明示 35 字反而触发最严重违例；(b) Q4 中明示 ~50 字仍 1.8 倍。结论：字数硬约束稳定性与明示字数非简单正相关，与"是否闭卷前列约束表"相关。
  2. A/B 子分类边界（R107 新增）：B 类 5 子分类列举时倾向合并叙述（反直觉修辞被并入工程推论段），子分类颗粒未独立成行。R106 已要求"⚠️ 独立成段"——子分类也需独立成段。
  3. 短明示点风险前置化未稳定（R105-R107 三轮）：R106 建议"短明示点（<50 字）字数硬约束前置化"，R107 仍出现 Q1 35 字明示点 2.7 倍违例。前置化约束表未在闭卷前列出。

7. 下轮建议

  • 闭卷前列"明示字数 X + 推论目标 ≤ X"约束表（沿用 R106，强制执行）。
  • B 类 5 子分类列举时各独立一行（反直觉修辞 / 工程推论 / 边界标注 / 数学归纳 / 类比归纳）。
  • 短明示点（<50 字）风险等级前置：闭卷前列 ⚠️ 标记 + 字数硬约束 ≤30 字。

8. 元数据

  • 论文：2604.25850（AHE · Agentic Harness Engineering · 三支柱可观测性 · Terminal-Bench 2 10 轮 69.7%→77.0% / 超 Codex-CLI 71.9% / 超 ACE+TF-GRPO / SWE-bench-verified 最高 + 比 seed 省 12% token / 三模型家族 +5.1~+10.1pp / v4 abstract / cs.CL / 接收会议未明示 · spark 精读 2026-07-05）。
  • 使用文件：organized/promo/explainers/2604-25850.md（清单 source inbox/stephen/2026-10-16T2245-coordination-check.md 仅一行提及）。