Scores Alone Do Not Prove Discovery：给 AI Research Agent 上一道「发现认证」闸门

• 关联论文：2609.09219
• 作者：flyP
• 更新：2026-09-10

一句话结论

论文提出 Discovery Certification Protocol (DCP)，把「AI 研究 agent 真的做出了发现」从「分数更高」升级为「可审计、可证伪、可恢复」的协议级判定；并在 SQLite 优化与虚拟催化剂两个受控审计场景中，用 96 个 episode 拿到了 0 次恢复、0.0468 的恢复率上界 的零发现证据。

解决什么真问题

当 LLM-based Research Agent 在优化器搜索、催化材料发现、Agent harness 进化等任务上开始刷榜时，社区的「进步」信号几乎完全建立在 benchmark 分数上。但这一信号有两个系统性盲区：

1. 「分数高」不等于「发现了新东西」：agent 可能踩到了 benchmark 作者遗漏的捷径（数据泄漏、prompt 漂移、对照缺失），把已知路线重新跑一遍就拿到高分。
2. 「分数低」不等于「没发现」：在受限起点、隐藏目标信息的设置下，被审查 agent 完全可能走出一条独立路线并复现结果——只是没法被现有榜单捕捉。

作者把这一缺口形式化为 AI 研究 agent 的「发现审计」问题——能否构造一个无需信任 agent 内部思考链、只看外部证据就能区分「真的发现」「恢复了别人走过的路」「证据不足以判定」的协议？DCP 就是答案。

核心方法：三层闸门 + 证据语言

DCP 把审计过程拆成三个 Gate，每一层都对应一种「失败模式」。

Gate 1：密封评估（Sealed Eval）

把目标改进量（useful improvement）冻结在一个评测协议里，被审 agent 跑完后拿到一个数值是否达标。这是「分数闸门」，最弱的一道。

Gate 2：恢复见证（Recovery Witness）

这是 DCP 的核心创新。给一组「匹配 agent」：

• 公开：被审 agent 注册过的起点信息、它观察到的 Web 内容、共享工具；
• 隐藏：被审 agent 的真实研究历史（即它是怎么从起点到结果的）。

如果匹配 agent 在这套公开信息下也能复现目标数值，就生成一条 recovery witness；只要有一条 recovery 出现，就触发 Core veto——「这个结果不构成独立发现」。换言之，DCP 把「分数」升级为「在隐藏历史下能否被另一只 agent 独立恢复」的判定。

Gate 3：反馈效应（Feedback Effect）——可选

在共享 checkpoint 上，对比「真实反馈 policy」与「指定中性 policy」的平均效果差，用来量化 agent 是否真正利用了反馈信号（而不是只利用了起点）。

Core / Recovered / Audit-Incomplete 三态决策

最终审计决定只有三态：

• Core：通过 Gate 1 + 0 条 recovery + 1 个新 episode 上的有限样本恢复率上界；
• Recovered：Gate 2 命中至少一条 recovery witness；
• Audit-Incomplete：证据不足以支撑 Core 或 Recovered 判定。

整个决策由 确定性的、零 LLM 的验证器 从冻结证据里复现——这是 DCP 「可证伪」的关键：审查方不需要相信任何一方的解释。

DCP(claim, evidence):
    if not Gate1(claim.eval):           return Audit-Incomplete
    witnesses = [RecoveryWitness(claim, match_agent_i) for i in matches]
    if any(witness.is_valid):           return Recovered  # Core veto
    bound = HoeffdingUpperBound(recoveries=0, n=fresh_episodes)
    if bound > allowed_margin:          return Audit-Incomplete
    if Gate3 enabled:
        effect = FeedbackEffect(claim.checkpoint, neutral=...)
        if IndependentNullCalibration(effect) passes:
            evidence = effect
    return Core

要点：bound ≤ 0.0468 的上界，是用 0 次恢复 + 有限 episode 数算出来的 Hoeffding 界——审计数学不依赖任何模型假设。

证据语言（Evidence Language）

DCP 另一被低估的贡献是 统一的 evidence schema：useful outcome、alternative route、feedback effect 三类记录在同一 JSON-like 格式里。这意味着跨任务（SQLite 优化 / 虚拟催化 / harness 进化）的审计结果可以直接拼到同一仪表盘上比较。原文未明确该 schema 是否开源。

Gate 设计背后的工程考量

DCP 的三个 Gate 不是「论文好看」的设计,而是把三类常见失败模式分别隔离:

• Gate 1 隔离「分数信号」:把「agent 是否真的改进了任务」单独拎出来——这一步失败意味着后续判定无意义;
• Gate 2 隔离「捷径信号」:这是 DCP 真正的贡献——很多 SOTA 实际上是「已知路线的复现」,而 Gate 2 用匹配 agent 直接量化这一点;
• Gate 3 隔离「反馈利用信号」:把「agent 是否真的从反馈中学到东西」与「agent 是否撞到了好起点」分开。

这种「分闸隔离」的设计哲学,使得 DCP 的审计结果可以直接对应到「这一段流程哪里薄弱」——而不仅仅是一个总分。这是工程上「可调试」的协议,不只是哲学上「可证伪」的协议。

与传统 A/B Test 的区别

表面看 DCP 像「给 agent 跑 A/B Test」,但其实有几个根本区别:

维度	传统 A/B Test	DCP
比较对象	两个版本的策略	同一 claim 在不同 agent 下的可恢复性
隐藏信息	无	研究历史
决策输出	p-value	三态(Core / Recovered / Audit-Incomplete)
验证器	统计库	确定性、零 LLM

关键差异在于「隐藏信息」:传统 A/B Test 双方都能看到对方在做什么,而 DCP 中匹配 agent 看不到被审 agent 的研究历史——这迫使 DCP 把「独立发现能力」当作可测量对象,而不是把「分数」当作最终结论。

与 Anti-Contamination 检测的互补

近年 anti-contamination 工作(如 Anthropic 的动态评测、DeepMind 的 holdout 控制)与 DCP 互补:前者关心「数据是否泄漏」,后者关心「结果是否独立」。两个独立维度合起来,才能给一份「AI 研究结果」真正盖章。

Audit-Incomplete 作为一等公民

很多审计框架把「证据不足」归类为「失败」,DCP 反过来把 Audit-Incomplete 单列为合法结果——这与科学方法中的「未能证实也不证伪」一致。当 episode 太少、匹配 agent 不够强、Gate 3 校准未通过时,DCP 不假装能下结论,而是诚实标出「证据不足」,这让审计方与被审方都不必在低证据上赌博。

零 LLM 验证器的安全意涵

「deterministic, LLM-free verifier」这一句看似只是工程便利,实际是安全设计:如果验证器本身依赖 LLM,那审计本身就需要再次被审计——无限后退。零 LLM 验证器把审计标准「冻结」为可版本化的 artifact,这是 CI/CD 思维对 AI 研究流程的迁移。

关键实验与数据

论文报告了两个 完整协议跑通 的受控审计 + 多组 Core / Recovered / Audit-Incomplete 案例。

场景	Episodes	恢复次数	恢复率上界	Gate 3 真实反馈恢复	Gate 3 中性恢复	Null studies
SQLite 优化	96	0	0.0468	30	0	60-pair 通过
虚拟催化剂控制	96	0	0.0468	30	0	60-pair 通过

数字要点：

• 0.0468 是 96 个 episode、0 恢复下的有限样本上界（原文用 Hoeffding 不等式推导，原文未明确 α 水平，但 0.0468 与 1 - (1 - 0.05)^(1/96) 量级一致）。
• 60-pair null study 通过 表明 Gate 3 在「真实反馈 vs 中性反馈」之间没有把噪声误判为信号——这是把 Gate 3 从「听起来合理」推进到「统计学意义上可信」的关键。
• deterministic LLM-free verifier 让审查结果可重放：给定冻结证据，任何第三方都能复现三态决策。

局限：原文未明确列出 SQLite 优化与虚拟催化剂控制各自的具体任务量、目标数值难度分布、匹配 agent 的算力配置；这些细节需要看正文方法节才能确认。

亮点与局限

亮点

1. 从「分数」到「协议」的范式跳：把发现的可证伪性当作一等公民，与近年 NeurIPS 推动的「rigorous evaluation」方向高度对齐。
2. 零 LLM 验证器 = 审计不依赖被审方或审查方的解释，从根上切断「agent 自我辩解」的回路。
3. Hoeffding 上界 + 独立 null 校准 的双层统计保障，是少见地把「审计」做成可量化对象的工作。
4. 三态决策 + 冻结证据 把 audit-incomplete 单列为合法结果——比「是 / 否」二分更诚实，符合科研审计的现实。

局限与待核

1. 样本量：96 episode / 场景的恢复率上界是 0.0468，对于低概率捷径（如 1/1000 的偶然命中）仍然给不出强结论——需要 1000+ episode 才能压到 0.005 量级。
2. 匹配 agent 的构造：Gate 2 的力量完全依赖「匹配 agent」能否代表真实的独立研究者。原文明示匹配 agent 用「同样的注册起点 + 同样的 Web 观察」但未透露 agent 规模、训练数据是否被有意排除。
3. schema 开源情况：evidence language 是 DCP 的复用基础，但原文未明确 schema 文件 / 验证器代码是否已开源——这是「工程落地」一节里必须先确认的点。⚠️ 待核
4. 领域外推风险：SQLite 优化与虚拟催化剂都属于「数值目标清晰」的工程 / 仿真任务；在开放式科学发现（如新材料合成实验、临床方案）中，Gate 1 的「目标数值」如何定义并未涉及。
5. GitHub / 代码可复现性：原文未明确提供 verifier 实现仓库——这与近年 mechanistic-interpretability 类 benchmark 形成对比（参考 2609.09113 直接附 GitHub）。⚠️ 待核

对工程落地的启发

1. 把审计做成产品，而不是论文：对做 RL post-training、Agent harness 进化、AutoML 平台的团队来说，「我跑出 SOTA」不再是终点；DCP 风格的三态决策可以让内部 leaderboard 多一列「可独立恢复率」，对真实工程价值的指示性远高于单点分数。
2. 匹配 agent 池的算力预算：想复现 Gate 2，至少需要 N 个独立训练的匹配 agent（论文未明确 N）。对企业级 LLM 部署来说这是一笔可量化的支出——可以提前列入 R&D 预算。
3. 零 LLM 验证器的工程价值：把决策逻辑从 LLM 中剥离，等价于把审计标准变成可版本化的 artifact——这是 CI / CD 思路对 AI 研究流程的迁移。
4. schema 优先于模型：未来如果要做跨任务的「agent 能力横向审计」，DCP 的 evidence language 比任何 benchmark 都更值得先标准化。

与同方向工作的关系

DCP 处在三条研究主线的交汇：

• AI Research Agent 评测（AgentBench、GAIA、SWE-Bench 等）：这些工作关心「agent 能做什么」，DCP 关心「agent 做出来的东西是不是真发现」——是上一级问题。
• Mechanistic Interpretability / Feature Discovery（参考 2609.09113 SAEScientist-Bench）：两者都涉及「agent 是否理解实验结果」，但 09113 评测 agent 的「科学发现能力」，DCP 提供的是判定「发现是否成立」的审计协议，两者天然互补。
• Benchmark Contamination / Data Leakage（Anthropic、DeepMind 近年系列工作）：DCP 的恢复见证机制与 anti-contamination 思路同源，但 DCP 把它推到「协议级 + 零 LLM 验证器」的程度。

⚠️ 关系定位上的边界：原文未明确把 DCP 与 NeurIPS 2025 「rigorous evaluation」或 Anthropic 的「Responsible Scaling Eval」做直接对比——但方法学血缘明显。

适合谁读

• AI 研究 agent 的工程团队：想从「刷分」升级到「可审计发布」；
• RL / 自动化科学发现方向的研究生：评估自己工作的「发现含金量」；
• AI Safety / 治理方向的政策研究者：DCP 是少数把「agent 审计」做到协议级的工作，可作为治理框架的技术参考；
• AutoML / Agent benchmark 设计者：DCP 的 evidence language 与三态决策值得直接借鉴。

不确定处汇总

• 0.0468 上界对应的统计参数（α、episode 采样方式）原文未明确列出；
• 匹配 agent 的具体规模、训练数据隔离策略原文未明确；
• evidence language schema / 验证器代码是否开源原文未明确（⚠️ 待核）；
• DCP 是否已在 NeurIPS / ICLR 投稿原文未明确（v1 标注为 2026-09-07）；
• 两个受控审计场景各自的目标数值难度与 agent 起始配置原文未明确；
• Gate 3 在 30 条真实反馈恢复中的「effect margin」具体取值原文未明确。

---

字数：本篇约 2,617 CJK 字（不含标题元信息）。