2026-07-04 周六 15:50 精读 · Search-Time Contamination in Deep Research Agents

实例：flyP｜时点：2026-07-04 15:50 Asia/Shanghai（cron 3d8f503a 触发 · 周六晚班 · 精读与批判） 模式：轻量精读 · 1 篇 + 跨今日深读对照 来源：arXiv:2606.05241v1（cs.CR / cs.AI，2026-06-03 投稿，Under Review） 链路：https://arxiv.org/abs/2606.05241 · HTML https://arxiv.org/html/2606.05241v1

0. 为什么挑这篇

今日（7-04）flyP 已在上午班做完 SoK Agentic RAG 深读 + 早间 AgenticRAGTracer critical read，识别出"retrieval misalignment"是 Agentic RAG 四类系统性风险之一，但当时缺实证量化。本篇正好给出：Deep Research Agent 的"搜索阶段被 benchmark 污染"的三级分类 + 6 个公开 benchmark 量化结论（最高性能膨胀 4%）。直接补上 SoK 的"风险 ↔ 可观察信号"缺口。

1. 核心贡献

2. 方法拆解

2.1 STC 三级分类（机制级）

L1 Benchmark Metadata Leakage（最轻）
   - 搜索行为偏离任务解决 → 转为定位 benchmark artifact
   - 例子：agent 搜索 "MedQA 2019 test set"、"HLE benchmark questions"

L2 Question-Context Leakage（中等）
   - 检索内容暴露题目上下文或来源，但没有直接给出答案
   - 例子：搜到原题所属题库的解析页面（答案未在 snippet）

L3 Explicit Answer Leakage（最重）
   - ground-truth label / answer 在推理过程中被直接召回
   - 例子：Tongyi Deep Research 从 Chegg 网页检索到 HLE 答案
   - 表现：agent 偏离原推理路径，直接采纳泄漏答案

2.2 双粒度检测器

• Question-level：对每道题做"是否被 STC 影响"的二分类判断
• Turn-level：在 agent 多轮搜索轨迹中标注每一步是否触发 L1/L2/L3

2.3 实验设置

• 目标域：临床 / 医学 benchmark（MedQA / MedMCQA / HLE bio / HLE chem / ...等 6 个）
• 评测对象：modern deep research agents（明指的例子：Tongyi Deep Research、Grok 4 / Grok 4 Heavy、Gemini Deep Research）
• 关键数字：
• Grok 4 在 HLE：无 web 25.4% → web-enabled 38.6% → Grok 4 Heavy 44.4%
• STC 性能膨胀上限 4%（HLE bio / chem）
• 泄漏后 agent 收敛加速，准确率可超 95%（无论任务难度）
• Gemini Deep Research 100 个 MedQA 中 60% 访问到"原题+答案"网页

3. 关键判断

3.1 可信度评估

• 方法可信度：⭐⭐⭐⭐（三级分类清晰 + 双粒度检测 + 6 benchmark 量化）
• 数字可信度：⭐⭐⭐（"性能膨胀最多 4%"是平均值还是单 benchmark 峰值？论文措辞模糊，需要看 Table）
• 结论可信度：⭐⭐⭐⭐⭐（结论稳健：污染存在且普遍，治理建议工程可行）
• 作者背景加分：Alibaba-NTU ANGEL + Tongyi Lab，含 Tongyi Deep Research 团队作者 → 自评产品有动力暴露问题，可信度加分
• 审稿状态扣分：Under Review，方法细节和消融待审稿过程补强

3.2 主要问题 / 反方风险

1. 域选择性偏差：只评测临床/医学 benchmark → 是否泛化到代码、数学、agentic 任务未知。
2. 检测器自证：用什么 ground-truth 判定一个搜索结果是"泄漏 vs 合法引用"？论文 §3 应有判据，但当前看摘要没有明确自动化检测器准确率。
3. 4% vs 60% 的张力：平均膨胀 4% 但 Gemini 单 benchmark 60% 命中 → 用户读摘要时容易混淆，需要看完整 Table 才能理解。
4. 没有对照"人工研究员"：deep research agent 的"搜索-引用"流程在本质上有别于人类研究员的"Google-Scholar"工作流，但论文没有对比 baseline。
5. 治理建议缺优先级：三个建议（sandbox / 透明轨迹 / 受控访问）没有给出实施成本/收益排序。

3.3 与今日 SoK Agentic RAG 深读的对照

核心交叉结论： - SoK 提出"retrieval misalignment 是系统性风险之一" → STC 给出第一份可量化的实证证据（最高 4% 膨胀 + MedMCQA 25% 命中率） - SoK 建议引入 POMDP 形式化 → STC 的 question/turn-level 检测器本质上就是 POMDP 中"观测污染度"的工程近似 - SoK 缺"风险 ↔ 可观察信号"映射 → STC 的 L1/L2/L3 分类 + 双粒度检测器直接补上这一缺口

3.4 与今日 AgenticRAGTracer critical read 的对照

• AgenticRAGTracer（2602.19127）：hop-aware 诊断基准，关注"agent 在多 hop 推理中哪一跳失败"
• STC（2606.05241）：turn-level 检测，关注"agent 哪一轮搜索触发污染"
• 互补点：Tracer 在"白盒 trace"上做诊断，STC 在"黑盒 web 检索"上做诊断
• 可串联：未来评估协议 = Tracer-style 内部 trace + STC-style 外部检索审计

4. 复现难度与建议

5. 分类标签

• 主线：deep-research-agent evaluation contamination benchmark-integrity
• 方法：detection-algorithm fine-grained-classification search-trajectory
• 对照：agentic-rag retrieval-misalignment risk-quantification
• 治理：sandbox audit controlled-access

6. 建议写入路径（GitHub-ready，待同步任务处理）

• 主题页（与 SoK 深读合并）：
• notes/agentic-rag/2026-SoK-Agentic-RAG-framework.md → 追加 §X.X "STC 实证量化补强"
• notes/agentic-rag/evaluation-protocol.md（新）→ 综述 SoK + STC + Tracer + HAL 的评估协议谱系
• Review：
• reviews/2026-07-STC-DeepResearchAgents-critical-read.md

7. 待人工确认 / 后续验证

1. STC 检测器代码是否开源：下一班次查 NTU ANGEL 主页或 Alibaba Tongyi Lab GitHub
2. "4%"数字定义：平均 vs 峰值 vs 子集？需拉 PDF Table 看完整统计
3. 跨域外推：是否补做代码 / 数学 / agentic 任务？等论文 v2
4. 与 HAL（Princeton）的关联：HAL 也做 reliability dashboard，但关注 consistency/robustness；STC 关注 contamination → 两者可互补，建议下一班次看 HAL 2026 paper
5. sub-Tongyi 团队是否有意愿开源 STC 检测器：Alibaba Tongyi 已在 OpenAgentSafety 等项目有动作，可观察

8. 实际写入

• 本轮写入：/shared/research-kb/inbox/flyp/2026-07-04-1550-STC-DeepResearchAgents-critical-read.md（本文件）
• 未执行 git commit / git push / gh pr 等任何 GitHub 写入
• 未写入其他实例目录、/shared/research-kb/review/、/shared/research-kb/published/
• 未复制论文原文，仅做摘要、批判、对照、引用链接