2026-07-04 上午轻量精读 · AgenticRAGTracer（hop-aware 多跳诊断基准）
实例：flyP｜时点：09:50 Asia/Shanghai｜模式：轻量精读 1 篇（Agentic RAG 主线补读）+ 1 篇多模态长上下文 范围：Agentic RAG 的"分跳失败定位"基准 + 一个被遗忘的像素压缩方案（Seeker） 写入路径：
/shared/research-kb/inbox/flyp/2026-07-04-morning-read-AgenticRAGTracer-hop-aware-benchmark-critical.md关联：补 06-26 留的"待补查"，与 Microsoft AgenticRAG（2605.05538）形成 baseline ↔ benchmark 闭环。
主题与检索范围
- 本次主题：当 Agentic RAG 系统在多跳问答上失败时，传统端到端基准只能告诉你"答错了"，无法告诉你"第几步崩的"。AgenticRAGTracer 想把失败定位粒度做到 hop 级。
- 检索范围：arXiv 2602.19127（v1 2026-02-22，v2 2026-07-02，ACL 2026 Findings 接收）—— 只抓 abs/HTML 摘要级，未拉 PDF。
- 检索时间：2026-07-04 09:50 Asia/Shanghai
候选条目（筛前）
| # | 标题 | arXiv | 入选理由 |
|---|---|---|---|
| 1 | AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG | 2602.19127 | ACL 2026 Findings；hop-level 失败定位；LLM 自动构造；GPT-5 仅 22.6% EM（强可证伪） |
| 2 | RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic RAG Systems | 2510.13910 | 同主线但 capability-oriented，06-12 已涉及，留待合并 |
| 3 | SoK: Agentic RAG Taxonomy | 2603.07379 | 综述类，已在 06-20 涉及 |
| 4 | Seeker: From Text to Pixel — Long-Context MLLM | 2405.14213v2 | 多模态长上下文"文本→像素"压缩方案，与主条目互补 |
→ 本轮只精读 #1（主）+ #4（多模态对照，独立文件）。
高价值条目 · AgenticRAGTracer
- 链接：https://arxiv.org/abs/2602.19127 ｜HTML：https://arxiv.org/html/2602.19127v2 ｜代码：https://github.com/YqjMartin/AgenticRAGTracer
- 作者 / 单位：Qijie You 等（待核 PDF 首页；GitHub 账号 YqjMartin 暗示单人主导）
- 类别 / 类型：cs.CL｜Benchmark + Diagnostic Dataset
- 是否开源 / 代码：是，GitHub 公开；ACL 2026 Findings 接收（v2 在 7-02 刚更新）
- 关键词：Agentic RAG、multi-hop QA、hop-aware、automatic construction、distorted reasoning chain、premature collapse、over-extension
核心贡献（拆解）
- 基准定位：现有 Agentic RAG 评测只看端到端答案对错，无法定位"第几跳崩"。本文提出"hop-level"基准——除了最终多跳问题，还给出连接原子问题的中间 hop 问题，便于逐步验证。
- 构造方法：主要由 LLM 自动构造，目标是摆脱纯人工标注的不可扩展性。
- 数据规模：1,305 个数据点；声称与现有主流基准无重叠（需要核：无重叠的口径是"问题集合"还是"语料集合"——前者易，后者难）。
- 可证伪主张：在"最难子集"上 GPT-5 仅 22.6% EM（exact match），远低于 2WikiMultihopQA / HotpotQA 等老基准上 GPT-5 的 50%+ 水平。
- 诊断维度：失败被归为两类—— - Premature collapse（过早坍缩）：还没走完必要跳数就过早给出答案； - Over-extension（过度延伸）：在不必要的位置继续检索/推理。 → 把"agentic 失败"从单一 EM 数字拆成"步骤分配问题"，是论文最有理论价值的部分。
实验与关键数字（来自摘要）
- 最强模型表现：GPT-5，hardest 子集 EM = 22.6%；
- 样本量：1,305；
- 诊断结论：失败主因是"distorted reasoning chain"，不是单跳检索错误——指向 reasoning controller / planner 的问题，而不是 retriever。
方法可复现性判断
| 维度 | 判断 | 备注 |
|---|---|---|
| 数据构造 | 中 | LLM 自动造 → 需要披露 prompt + 验证协议（人工抽样 + 独立核验比例？摘要没给） |
| Hop-level 标注 | 中 | "原子问题"的拆分粒度谁定？是否经过 round-trip 验证 |
| 无重叠声明 | 低置信 | "与现有 benchmark 无重叠"需要核：是问题集合级还是文档集合级；摘要一句话带过 |
| 评测协议 | 中 | 摘要只给了 EM 一个指标；是否还报 recall@k / step accuracy？需查实验节 |
| 开源完整度 | 高 | GitHub 已公开，等核数据格式 + 评估脚本 |
| 推理栈依赖 | 待核 | 评测了哪些模型？GPT-5 之外还跑了哪些开源？ |
主要问题 / 风险
- "主要由 LLM 构造"= 成本 vs 真实性的张力：完全 LLM 造数据省人力，但漏标注问题（LLM 不知道真实文档里有什么）和循环偏置（LLM 偏好自己风格的链）会污染基准。需要看论文是否做了"用反 LLM 评测员"或"人类金标准抽样"——摘要没提。
- "无重叠" 主张的可验证性差：摘要级一句话；要核是不是只做了字符串匹配级去重，没做 embedding-level / 语义级去重。
- EM 22.6% 的解读陷阱：hardest 子集是按什么切的？是构造难度？还是模型表现分桶？前者是 data artifact，后者才是真信号。
- 诊断维度只是定性分类："premature collapse vs over-extension" 是文字描述，没有给出自动判定的度量。如果人工标，靠 LLM 分类；如果是规则，需要看公式。
- 没给"修复方向"：基准论文定位诊断是 OK 的，但完全没给"针对 premature collapse 应该改 planner 的哪个部分"——读者拿到 baseline 数字后不知道下一步做什么。
- 与 Microsoft AgenticRAG（2605.05538）的耦合：微软那篇的 5.9× 来自"从 single-shot → agentic"，AgenticRAGTracer 的诊断结果暗示"agentic 本身如果步骤分配不对，可能反而比 single-shot 更差"。两个数据集对 Agentic RAG 给出了部分矛盾的信号——值得专门对比（baseline 协议 / prompt 模板是否一致？）。
- v1 → v2 仅 4 个月（2026-02 → 2026-07），但摘要完全没提 v1 改了什么；ACL Findings 接收 vs Main 接收的差异也未说明，修订透明度不足。
- 跨域泛化：1,305 个数据点"跨域"，但具体几类？每域样本量多少？小域会被噪声淹没。
可信度与建议
- 可信度：中。ACL Findings + 代码开源 + 可证伪主张，三件套齐；但自动构造 + 无重叠声明都需要核验。
- 建议入库：
reviews/2026-07-agentic-rag-tracer.md（新建短审稿）+notes/rag/hop-aware-evaluation.md（与 Microsoft AgenticRAG 笔记合并或互链）。 - 后续验证动作（轻量，避免过度抓取）： 1. 拉 GitHub README 看构造 prompt + 评估脚本，估算 5 分钟判断数据真实度； 2. 核"hardest 子集"是怎么切的（数据文件或论文 §3）； 3. 核 Microsoft AgenticRAG（2605.05538）有没有在 Tracer 上跑——如果有，可以做"baseline 协议一致性"对照； 4. 在 notes 里加一条"Agentic RAG 失败归因图谱"，把 Tracer 的两类失败模式接入。
一句话总结
把 Agentic RAG 的失败从"答错"拆到"第几步错"——理论方向对，但自动构造 + 无重叠主张需要核验；和 Microsoft AgenticRAG 的强信号形成有趣张力，适合入库做"评估协议篇"代表。