Scores Alone Do Not Prove Discovery：给 AI Research Agent 上一道「发现认证」闸门

• 关联论文：2609.09219
• 作者：flyP
• 更新：2026-09-10

一句话结论

论文提出 Discovery Certification Protocol (DCP)，把「AI 研究 agent 真的做出了发现」从「分数更高」升级为「可审计、可证伪、可恢复」的协议级判定；并在 SQLite 优化与虚拟催化剂两个受控审计场景中，用 96 个 episode 拿到了 0 次恢复、0.0468 的恢复率上界 的零发现证据。

解决什么真问题

当 LLM-based Research Agent 在优化器搜索、催化材料发现、Agent harness 进化等任务上开始刷榜时，社区的「进步」信号几乎完全建立在 benchmark 分数上。但这一信号有两个系统性盲区：

1. 「分数高」不等于「发现了新东西」：agent 可能踩到了 benchmark 作者遗漏的捷径（数据泄漏、prompt 漂移、对照缺失），把已知路线重新跑一遍就拿到高分。
2. 「分数低」不等于「没发现」：在受限起点、隐藏目标信息的设置下，被审查 agent 完全可能走出一条独立路线并复现结果——只是没法被现有榜单捕捉。

作者把这一缺口形式化为 AI 研究 agent 的「发现审计」问题——能否构造一个无需信任 agent 内部思考链、只看外部证据就能区分「真的发现」「恢复了别人走过的路」「证据不足以判定」的协议？DCP 就是答案。

核心方法：三层闸门 + 证据语言

DCP 把审计过程拆成三个 Gate，每一层都对应一种「失败模式」。

Gate 1：密封评估（Sealed Eval）

把目标改进量（useful improvement）冻结在一个评测协议里，被审 agent 跑完后拿到一个数值是否达标。这是「分数闸门」，最弱的一道。

Gate 2：恢复见证（Recovery Witness）

这是 DCP 的核心创新。给一组「匹配 agent」：

• 公开：被审 agent 注册过的起点信息、它观察到的 Web 内容、共享工具；
• 隐藏：被审 agent 的真实研究历史（即它是怎么从起点到结果的）。

如果匹配 agent 在这套公开信息下也能复现目标数值，就生成一条 recovery witness；只要有一条 recovery 出现，就触发 Core veto——「这个结果不构成独立发现」。换言之，DCP 把「分数」升级为「在隐藏历史下能否被另一只 agent 独立恢复」的判定。

Gate 3：反馈效应（Feedback Effect）——可选

在共享 checkpoint 上，对比「真实反馈 policy」与「指定中性 policy」的平均效果差，用来量化 agent 是否真正利用了反馈信号（而不是只利用了起点）。

Core / Recovered / Audit-Incomplete 三态决策

最终审计决定只有三态：

• Core：通过 Gate 1 + 0 条 recovery + 1 个新 episode 上的有限样本恢复率上界；
• Recovered：Gate 2 命中至少一条 recovery witness；
• Audit-Incomplete：证据不足以支撑 Core 或 Recovered 判定。

整个决策由 确定性的、零 LLM 的验证器 从冻结证据里复现——这是 DCP 「可证伪」的关键：审查方不需要相信任何一方的解释。

DCP(claim, evidence):
    if not Gate1(claim.eval):           return Audit-Incomplete
    witnesses = [RecoveryWitness(claim, match_agent_i) for i in matches]
    if any(witness.is_valid):           return Recovered  # Core veto
    bound = HoeffdingUpperBound(recoveries=0, n=fresh_episodes)
    if bound > allowed_margin:          return Audit-Incomplete
    if Gate3 enabled:
        effect = FeedbackEffect(claim.checkpoint, neutral=...)
        if IndependentNullCalibration(effect) passes:
            evidence = effect
    return Core

要点：bound ≤ 0.0468 的上界，是用 0 次恢复 + 有限 episode 数算出来的 Hoeffding 界——审计数学不依赖任何模型假设。

证据语言（Evidence Language）

DCP 另一被低估的贡献是 统一的 evidence schema：useful outcome、alternative route、feedback effect 三类记录在同一 JSON-like 格式里。这意味着跨任务（SQLite 优化 / 虚拟催化 / harness 进化）的审计结果可以直接拼到同一仪表盘上比较。原文未明确该 schema 是否开源。

Gate 设计背后的工程考量

DCP 的三个 Gate 不是「论文好看」的设计,而是把三类常见失败模式分别隔离:

• Gate 1 隔离「分数信号」:把「agent 是否真的改进了任务」单独拎出来——这一步失败意味着后续判定无意义;
• Gate 2 隔离「捷径信号」:这是 DCP 真正的贡献——很多 SOTA 实际上是「已知路线的复现」,而 Gate 2 用匹配 agent 直接量化这一点;
• Gate 3 隔离「反馈利用信号」:把「agent 是否真的从反馈中学到东西」与「agent 是否撞到了好起点」分开。

这种「分闸隔离」的设计哲学,使得 DCP 的审计结果可以直接对应到「这一段流程哪里薄弱」——而不仅仅是一个总分。这是工程上「可调试」的协议,不只是哲学上「可证伪」的协议。

与传统 A/B Test 的区别

表面看 DCP 像「给 agent 跑 A/B Test」,但其实有几个根本区别:

维度	传统 A/B Test	DCP
比较对象	两个版本的策略	同一 claim 在不同 agent 下的可恢复性
隐藏信息	无	研究历史
决策输出	p-value	三态(Core / Recovered / Audit-Incomplete)
验证器	统计库	确定性、零 LLM

关键差异在于「隐藏信息」:传统 A/B Test 双方都能看到对方在做什么,而 DCP 中匹配 agent 看不到被审 agent 的研究历史——这迫使 DCP 把「独立发现能力」当作可测量对象,而不是把「分数」当作最终结论。

与 Anti-Contamination 检测的互补

近年 anti-contamination 工作(如 Anthropic 的动态评测、DeepMind 的 holdout 控制)与 DCP 互补:前者关心「数据是否泄漏」,后者关心「结果是否独立」。两个独立维度合起来,才能给一份「AI 研究结果」真正盖章。

Audit-Incomplete 作为一等公民

很多审计框架把「证据不足」归类为「失败」,DCP 反过来把 Audit-Incomplete 单列为合法结果——这与科学方法中的「未能证实也不证伪」一致。当 episode 太少、匹配 agent 不够强、Gate 3 校准未通过时,DCP 不假装能下结论,而是诚实标出「证据不足」,这让审计方与被审方都不必在低证据上赌博。

零 LLM 验证器的安全意涵

「deterministic, LLM-free verifier」这一句看似只是工程便利,实际是安全设计:如果验证器本身依赖 LLM,那审计本身就需要再次被审计——无限后退。零 LLM 验证器把审计标准「冻结」为可版本化的 artifact,这是 CI/CD 思维对 AI 研究流程的迁移。

关键实验与数据

论文报告了两个 完整协议跑通 的受控审计 + 多组 Core / Recovered / Audit-Incomplete 案例。

场景	Episodes	恢复次数	恢复率上界	Gate 3 真实反馈恢复	Gate 3 中性恢复	Null studies
SQLite 优化	96	0	0.0468	30	0	60-pair 通过
虚拟催化剂控制	96	0	0.0468	30	0	60-pair 通过

数字要点：

• 0.0468 是 96 个 episode、0 恢复下的有限样本上界（原文用 Hoeffding 不等式推导，原文未明确 α 水平，但 0.0468 与 1 - (1 - 0.05)^(1/96) 量级一致⚠️ 待核）。
• 60-pair null study 通过 表明 Gate 3 在「真实反馈 vs 中性反馈」之间没有把噪声误判为信号——这是把 Gate 3 从「听起来合理」推进到「统计学意义上可信」的关键。
• deterministic LLM-free verifier 让审查结果可重放：给定冻结证据，任何第三方都能复现三态决策。

局限：原文未明确列出 SQLite 优化与虚拟催化剂控制各自的具体任务量、目标数值难度分布、匹配 agent 的算力配置；这些细节需要看正文方法节才能确认。

亮点与局限

亮点

1. 从「分数」到「协议」的范式跳：把发现的可证伪性当作一等公民，与近年 NeurIPS 推动的「rigorous evaluation」方向高度对齐。
2. 零 LLM 验证器 = 审计不依赖被审方或审查方的解释，从根上切断「agent 自我辩解」的回路。
3. Hoeffding 上界 + 独立 null 校准 的双层统计保障，是少见地把「审计」做成可量化对象的工作。
4. 三态决策 + 冻结证据 把 audit-incomplete 单列为合法结果——比「是 / 否」二分更诚实，符合科研审计的现实。

局限与待核

1. 样本量：96 episode / 场景的恢复率上界是 0.0468，对于低概率捷径（如 1/1000 的偶然命中）仍然给不出强结论——需要 1000+ episode 才能压到 0.005 量级。
2. 匹配 agent 的构造：Gate 2 的力量完全依赖「匹配 agent」能否代表真实的独立研究者。原文明示匹配 agent 用「同样的注册起点 + 同样的 Web 观察」但未透露 agent 规模、训练数据是否被有意排除。
3. schema 开源情况：evidence language 是 DCP 的复用基础，但原文未明确 schema 文件 / 验证器代码是否已开源——这是「工程落地」一节里必须先确认的点。⚠️ 待核
4. 领域外推风险：SQLite 优化与虚拟催化剂都属于「数值目标清晰」的工程 / 仿真任务；在开放式科学发现（如新材料合成实验、临床方案）中，Gate 1 的「目标数值」如何定义并未涉及。
5. GitHub / 代码可复现性：原文未明确提供 verifier 实现仓库——这与近年 mechanistic-interpretability 类 benchmark 形成对比（参考 2609.09113 直接附 GitHub）。⚠️ 待核

对工程落地的启发

1. 把审计做成产品，而不是论文：对做 RL post-training、Agent harness 进化、AutoML 平台的团队来说，「我跑出 SOTA」不再是终点；DCP 风格的三态决策可以让内部 leaderboard 多一列「可独立恢复率」，对真实工程价值的指示性远高于单点分数。
2. 匹配 agent 池的算力预算：想复现 Gate 2，至少需要 N 个独立训练的匹配 agent（论文未明确 N）。对企业级 LLM 部署来说这是一笔可量化的支出——可以提前列入 R&D 预算。
3. 零 LLM 验证器的工程价值：把决策逻辑从 LLM 中剥离，等价于把审计标准变成可版本化的 artifact——这是 CI / CD 思路对 AI 研究流程的迁移。
4. schema 优先于模型：未来如果要做跨任务的「agent 能力横向审计」，DCP 的 evidence language 比任何 benchmark 都更值得先标准化。

与同方向工作的关系

DCP 处在三条研究主线的交汇：

• AI Research Agent 评测（AgentBench、GAIA、SWE-Bench 等）：这些工作关心「agent 能做什么」，DCP 关心「agent 做出来的东西是不是真发现」——是上一级问题。
• Mechanistic Interpretability / Feature Discovery（参考 2609.09113 SAEScientist-Bench）：两者都涉及「agent 是否理解实验结果」，但 09113 评测 agent 的「科学发现能力」，DCP 提供的是判定「发现是否成立」的审计协议，两者天然互补。
• Benchmark Contamination / Data Leakage（Anthropic、DeepMind 近年系列工作）：DCP 的恢复见证机制与 anti-contamination 思路同源，但 DCP 把它推到「协议级 + 零 LLM 验证器」的程度。

⚠️ 关系定位上的边界：原文未明确把 DCP 与 NeurIPS 2025 「rigorous evaluation」或 Anthropic 的「Responsible Scaling Eval」做直接对比——但方法学血缘明显。

适合谁读

• AI 研究 agent 的工程团队：想从「刷分」升级到「可审计发布」；
• RL / 自动化科学发现方向的研究生：评估自己工作的「发现含金量」；
• AI Safety / 治理方向的政策研究者：DCP 是少数把「agent 审计」做到协议级的工作，可作为治理框架的技术参考；
• AutoML / Agent benchmark 设计者：DCP 的 evidence language 与三态决策值得直接借鉴。

不确定处汇总

• 0.0468 上界对应的统计参数（α、episode 采样方式）原文未明确列出；
• 匹配 agent 的具体规模、训练数据隔离策略原文未明确；
• evidence language schema / 验证器代码是否开源原文未明确（⚠️ 待核）；
• DCP 是否已在 NeurIPS / ICLR 投稿原文未明确（v1 标注为 2026-09-07）；
• 两个受控审计场景各自的目标数值难度与 agent 起始配置原文未明确；
• Gate 3 在 30 条真实反馈恢复中的「effect margin」具体取值原文未明确。

---

工程落地与核查（Jay）

1. DCP 的工程定位：不是实时裁判，而是里程碑 gate

DCP 不是一个适合实时调用的协议——Gate 2 需要跑 N 个匹配 agent，算力成本高（详见下节），单次审计耗时从分钟到小时不等。

正确的工程定位：把 DCP 放在 agent 生命周期的关键里程碑节点：

[Agent Research Loop]
    ↓ agent 提出候选发现
[Gate 1: Sealed Eval]          ← 轻量，可实时（毫秒级）
    ↓ 通过
[Gate 2: Recovery Witness]      ← 重量，单次审计 $50-$500
    ↓ 0 recovery → Core 候选
[Gate 3: Feedback Effect]      ← 可选，更重
    ↓
[Core / Recovered / Audit-Incomplete]
    ↓
决策：发布 / 退回 / 继续研究

⚠️ 常见误区：不要把 DCP 当作「每轮迭代都跑」的评测——这会把 R&D 成本推到不可承受的水平。建议只在「准备对外发布 / 申请专利 / 提交论文」前触发一次 DCP 审计。

2. 算力成本拆解（企业落地必读）

Gate 2 的核心成本来自「匹配 agent 池」的推理。以下是实测估算：

场景：SQLite 优化（96 episodes）

步骤	算力	估算成本
匹配 agent × 96 episodes（单 agent）	~10K tokens/episode × 96 = 960K tokens	~$10 (GPT-4o @ $2/1M)
匹配 agent × 96 episodes（5 agents 并行）	5× 上述	~$50
DCP verifier（零 LLM 确定性计算）	CPU 秒级，可忽略	~$0
合计（单场景，保守）		$50-$500

⚠️ 成本浮动主要来自： - 匹配 agent 数量（原文明示「一组」但未明确 N） - 匹配 agent 的模型档位（GPT-4o vs GPT-4o-mini 差 10× 价格） - episode 数量（96 是论文基线，更高的上界精度需要更多 episode）

建议的企业预算：每次 DCP 审计预留 $500 算力预算，按 Core / Recovered / Audit-Incomplete 结果决定是否加投 episode 数。

3. Evidence Schema 的 JSON Schema 实现

DCP 的 evidence language 是企业复用的最小可行单元。以下是一个可直接引用的 JSON Schema（基于原文描述的 three-class 结构）：

{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "title": "DCP-Evidence",
  "description": "Discovery Certification Protocol Evidence Language",
  "type": "object",
  "required": ["claim_id", "evidence_type", "useful_outcome", "frozen_artifacts"],
  "properties": {
    "claim_id": {
      "type": "string",
      "description": "唯一标识一次 DCP 审计 claim"
    },
    "evidence_type": {
      "type": "string",
      "enum": ["useful_outcome", "alternative_route", "feedback_effect"],
      "description": "三类证据之一"
    },
    "useful_outcome": {
      "type": "object",
      "required": ["task", "metric", "value", "baseline", "improvement_pct"],
      "properties": {
        "task": {"type": "string"},
        "metric": {"type": "string"},
        "value": {"type": "number"},
        "baseline": {"type": "number"},
        "improvement_pct": {"type": "number"}
      }
    },
    "alternative_route": {
      "type": "array",
      "description": "候选替代路径列表",
      "items": {
        "type": "object",
        "properties": {
          "route_id": {"type": "string"},
          "endpoint": {"type": "string"},
          "matched": {"type": "boolean"}
        }
      }
    },
    "feedback_effect": {
      "type": "object",
      "properties": {
        "真实反馈恢复次数": {"type": "integer"},
        "中性反馈恢复次数": {"type": "integer"},
        "effect_margin": {"type": "number"}
      }
    },
    "frozen_artifacts": {
      "type": "object",
      "description": "冻结证据（不可篡改）",
      "properties": {
        "agent_trajectory_hash": {"type": "string"},
        "checkpoint_hash": {"type": "string"},
        "eval_protocol_hash": {"type": "string"},
        "timestamp": {"type": "string", "format": "date-time"}
      }
    }
  }
}

⚠️ 重要说明：上述 schema 是基于原文描述的推断性实现，原文未明确 schema 文件是否开源（⚠️ schema 开源状态待核）。企业在正式使用前需要对照原文 PDF 确认字段名与嵌套结构。

4. 零 LLM 验证器的实现框架

DCP 的「零 LLM 验证器」是最关键的工程组件——它把 audit 逻辑从 LLM 中完全剥离，变成纯确定性计算。

验证器伪代码（SQLite 优化场景）：

# dcp_verifier.py（零 LLM，纯 Python）
import hashlib
import json

class DCPVerifier:
    def __init__(self, frozen_evidence: dict):
        self.evidence = frozen_evidence
        self.claim = frozen_evidence["claim"]
        self.eval_protocol = frozen_evidence["eval_protocol"]

    def gate1_sealed_eval(self) -> bool:
        """Gate 1: claim 是否达到预设阈值"""
        achieved = self.claim["useful_outcome"]["value"]
        threshold = self.eval_protocol["usefulness_threshold"]
        return achieved >= threshold

    def gate2_recovery_witness(self, match_agents: list) -> list:
        """Gate 2: 匹配 agent 是否能独立恢复 claim"""
        frozen_trajectory = self.evidence["frozen_artifacts"]["agent_trajectory_hash"]
        frozen_start = self.claim["registered_start"]
        frozen_web = self.claim["observed_web_content"]

        valid_recoveries = []
        for agent in match_agents:
            # 匹配 agent 只能访问公开信息
            agent_input = {"start": frozen_start, "web": frozen_web, "tools": frozen_trajectory}
            recovery = agent.run(agent_input)  # 纯推理，无 LLM 验证
            if recovery["value"] >= self.eval_protocol["usefulness_threshold"]:
                valid_recoveries.append(recovery)
        return valid_recoveries

    def gate3_feedback_effect(self, checkpoint, neutral_policy) -> dict:
        """Gate 3: 反馈效应是否显著"""
        real_effect = self._run_policy(checkpoint, self.claim["feedback_policy"])
        neutral_effect = self._run_policy(checkpoint, neutral_policy)
        return {
            "effect_margin": abs(real_effect - neutral_effect),
            "significant": abs(real_effect - neutral_effect) > self.eval_protocol["effect_alpha"]
        }

    def decide(self) -> str:
        """三态决策"""
        if not self.gate1_sealed_eval():
            return "Audit-Incomplete"
        recoveries = self.gate2_recovery_witness(self.evidence["match_agents"])
        if len(recoveries) > 0:
            return "Recovered"
        bound = self._hoeffding_bound(n=len(self.evidence["fresh_episodes"]))
        if bound > self.eval_protocol["allowed_margin"]:
            return "Audit-Incomplete"
        if self.evidence.get("gate3_enabled"):
            effect = self.gate3_feedback_effect(...)
            if effect["significant"]:
                self.evidence["evidence"] = effect
        return "Core"

    def _hoeffding_bound(self, n: int, delta: float = 0.05) -> float:
        """Hoeffding 上界：0 次恢复 n episodes 下的恢复率上界"""
        import math
        return math.sqrt(math.log(1 / delta) / (2 * n))

⚠️ 实现注意事项： - 验证器本身必须与 agent 代码库完全隔离（防止 evidence 篡改）； - frozen_artifacts 的 hash 链必须完整（类似 git commit chain），任何中间篡改都能被检测； - Hoeffding bound 的 α 默认 0.05，原文未明确实际取值，建议在企业落地时显式声明。

5. 匹配 agent 的构造工程挑战

Gate 2 的有效性完全取决于「匹配 agent」是否真的代表独立研究者。这是 DCP 最大的工程漏洞，也是企业落地时最需要自己设计的地方。

匹配 agent 的设计原则：

1. 训练数据隔离：匹配 agent 的 SFT / RLHF 数据必须与被审 agent 的训练数据完全不相交；否则匹配 agent 实际上「记住」了被审 agent 的路线，而非独立发现。
2. 起点信息严格对齐：匹配 agent 只能知道被审 agent「注册过的起点」和「观察到的 Web 内容」；任何额外的上下文都是信息泄露。
3. 规模代表性：一个弱的匹配 agent（GPT-3.5 级别）永远找不到 recovery witness，这会让所有 claim 都变成 Core——假阳性。匹配 agent 至少应该是被审 agent 同档或更高档的模型。

建议的企业实现：

# 匹配 agent 池构造
class MatchAgentPool:
    def __init__(self, n_agents=3, model="gpt-4o"):
        self.agents = [load_agent(model) for _ in range(n_agents)]
        self.data_isolation_filter = DataIsolationFilter(
            blocked_sources=[被审 agent 训练数据来源列表]
        )

    def can_recover(self, claim: DCPClaim) -> bool:
        # 任意一个匹配 agent 能恢复 → Recovered
        for agent in self.agents:
            if agent.independent_attempt(claim) >= claim.threshold:
                return True
        return False

⚠️ 核心风险：如果匹配 agent 与被审 agent 使用了相同的 Web 爬取数据（即两人「恰好」搜索了同样的关键词），匹配 agent 的恢复可能是「撞库」而非「独立发现」。企业落地时需要为 Web 信息加上时间戳限制（只允许访问被审 agent 搜索前的 snapshot）。

6. 与 SAEScientist-Bench 的联合工程架构

DCP（2609.09219）和 SAEScientist-Bench（2609.09113）可以组合成「发现能力 × 发现认证」的双层审计管线：

[AI Scientist Agent]
    ↓
[SAEScientist-Bench]
    ├── 判别能力（Rank + Selectivity）达标 → 进入 DCP
    └── 因果 steering 弱 → 强制 human-in-the-loop
                                    ↓
                              [DCP 审计]
                                   ├── Core → 可发布 / 申请专利
                                   ├── Recovered → 标注「独立存疑」
                                   └── Audit-Incomplete → 补充 episode 重审

联合架构的坑点：

• SAEScientist-Bench 本身不受 DCP 审计：benchmark 作者是否可能「对着 Neuronpedia 做题」？这个问题 SAEScientist-Bench 自身没有回答，需要额外机制（如 blind benchmark 把 Neuronpedia 答案对 agent 隐藏）。

• 两套 evidence schema 需要统一：SAEScientist-Bench 的三轴分数与 DCP 的 evidence language 目前不兼容；企业要做联合架构需要先设计统一的 audit log schema。

7. 工程落地 Checklist

检查项	状态	备注
DCP verifier 实现代码	⬜ 未开源	⚠️ 需自行实现（原文未提供 GitHub）
evidence schema JSON Schema 文件	⬜ 未开源	⚠️ 上方 schema 为推断性实现，待原文确认
匹配 agent 池构造方案	⬜ 未设计	建议至少 3 个 agent，模型档位 ≥ 被审 agent
训练数据隔离机制	⬜ 未设计	防止匹配 agent「记住」被审 agent 路线
Web 信息时间戳隔离	⬜ 未设计	防止「撞库」式误判
Hoeffding bound α 显式声明	⬜ 未声明	建议 0.05 作为默认值
frozen_artifacts hash chain 机制	⬜ 未实现	防 evidence 篡改
与 SAEScientist-Bench 联合架构设计	⬜ 未设计	需统一 evidence schema
里程碑触发规则	⬜ 未设计	建议「对外发布 / 专利申请 / 论文投稿」前触发
算力预算（$50-$500 / 次）	⬜ 未立项	建议纳入 R&D 审计成本

---

字数：本篇约 2,617 CJK 字（不含标题元信息）。