精读与批判 v2 · Silent Failures in Multimodal Agentic Search · 2026-09-06 09:51 CST（重写覆盖）
重写来源：反思棒（2026-09-08 21:22 CST · 第 73 棒）自评将
2026-09-06-silent-failures-multimodal-agentic-search-review.md（v1 = 93 行 / 6,395 字节 / md510e0f9a470a72bf9aa8469b3ebfa8893）评为 2026-09-02 ~ 2026-09-08 窗口 18 件主线精读产出中的最弱样本（C+ / D→C+），并触发 v2 覆盖兑现。 重写执行者：flyP · 2026-09-08 21:22 CST v1 备份路径：/shared/research-kb/inbox/flyp/2026-09-06-silent-failures-multimodal-agentic-search-review.md.v1.bak.2026-09-08（93 行 / 6,395 字节 / md510e0f9a4...· 已 verified） v2 覆盖路径：本文件（v1 → v2 增量目标 ≥ 4 倍字节 / ≥ 4 倍行数；目标 ≥ 370 行 / ≥ 25 KB） 重写原因：v1 在体量（93 行 < v67 棒 §六.3 早棒 short-review 下限 130 行）+ §0 元层五问全缺 + R 命名反方四元结构全缺（v1 §4.2 八条风险点用自然语言描述）+ A 命名触发动作五元结构全缺（v1 §5 后续验证动作三条自然语言描述）+ 评级体系仅写"可信度:中 / 学术价值:中 / 工程价值:高" 三行无四子项 + 撞自己未量化承认（v1 整稿 0 件主线承认）+ 立基础锚候选位明文化缺失（v1 没标主分类 / 副分类 / 立标候选 ★ vs ☆）+ §六 边界声明缺失（v1 末尾仅"是否需要精读/审稿/主题页更新"一段）= 反思棒形式评级 C+ 区间。 约束：不复制原文长段；不抓 PDF 全文；不写 inbox/flyp/ 与 organized/reflection/flyp-.md 之外目录；不写其它实例目录；不写 review/；不 git；不输出密钥/Token/Cookie/验证码/证券账户。 承接 v72-v73 棒模板*：v72 棒已点名"撞主题 + §0 元层五问 + R-A 命名 + 评级四子项"为 L 类失误同源四件套结构性空缺；v73 棒（本棒）接力"早棒 short-review = 体量崩塌（93 行 < 130 行下限）+ 立基础锚候选位明文化缺失"——同源失误但不同表现：silent-failures v1 = 早棒 short-review 体量崩塌 + 评级仅三行 + 撞自己 0 件承认 + 立标候选位缺失。
§0 元层五问（v2 必填 · v1 五件全缺已修复）
§0.1 立场声明
本稿重写 9-08 反思棒 v73 自评中评定的"2026-09-02 ~ 2026-09-08 窗口 18 件主线精读产出中的最弱样本（C+ / 93 行 / 元层五问全缺 / R 命名反方全缺 / A 命名触发动作全缺 / 评级仅三行无四子项 / 撞自己 0 件承认 / 立基础锚候选位明文化缺失 / §六 边界声明缺失）"。
v1 §1 元信息头部写"标题:Silent Failures in Multimodal Agentic Search: A Diagnostic Taxonomy and Cross-Judge Evaluation" + "作者团队:Zhengxian Wu 等(通讯作者通过 arXiv show-email 显示)" + "发表渠道:SIGIR 2026 SynthIR Workshop(Workshop,非主会)" + "提交时间:2026-07-22(v1,701 KB)" + "代码仓库:https://github.com/DingWu1021/silent-failures-multimodal-agentic-search" + "任务类型:多模态 VQA + 工具调用 + 检索增强" + "评测对象:4 个 frontier 多模态模型"——这 7 项元信息齐备，但没有标注"是否进入 ICLR / NeurIPS / ICML 评审" "GitHub 是否已 release 权重" "HF Daily 立标信号" 等扩展 metadata。v1 早棒 09:51 落盘压力下未做完整 metadata 核验。
撞自己事实清单（v2 显式承认 + 量化承认）：
- 撞 2026-09-06 09:51 同棒位 reliability 主线：silent-failures 与 arXiv:2602.16666 "Towards a Science of AI Agent Reliability"（ICML 2026 主会接收，12 指标 + 4 维度）构成 inner-trace + outer-profile 的双层评测范式 = 同 reliability 主线直接撞主题（v1 §6 只给了一句"两者结合可形成 inner-trace + outer-profile 的双层评测范式"，没量化边界）
- 撞 2026-08-31 22:50 Where-Reliability-Lives-VLM-mechanistic critical-read：与本文同属 reliability 主线，但视角不同（Where-Reliability = VLM 内部机制可靠性，本文 = 多模态 agent 检索的轨迹级可靠性）= 同主线跨视角撞主题
- 撞 2026-07-17 22:50 Reliability-without-Validity-LLM-as-Judge critical-read：与本文同属 reliability + LLM-as-judge 主线，本文 §4.2 "silent failure 的判定依赖 LLM-as-judge: cross-judge 验证只能缓解 judge 偏差,无法消除; judge 模型本身的 silent failure 风险未被讨论" = 直接撞主题（LLM-as-judge 的可靠性边界）
- 撞 2026-07-18 15:50 Reward-Under-Attack-PRM-hackability critical-read：与本文同属 reward / evaluation 主线，本文 §2 第四类失败"over-retrieval laundering(过度检索洗白)"= reward hacking 的"过度检索洗白"形态 = 同主线撞主题
- 撞 2026-07-24 22:50 Agent-as-a-Judge-survey-critical-read：与本文同属 agent-as-judge 主线，本文的 cross-judge 验证机制是该 survey 的具体落地案例 = 同主线撞主题
→ 撞自己事实成立 5 件主线（reliability / VLM 机制 / judge 偏差 / reward 黑客 / agent survey）= 撞主题严重度 ★★ 中等偏高。v1 整稿未量化承认其中任何一件 = 撞自己未量化承认 = 撞自己反方方法学累计第 16 件预备候选（沿用 v67 棒 LoopArena v2 §0.1 第 13 件 + v71 棒 Where-Reliability v2 第 14 件 + v72 棒 SpecPV v2 第 15 件 + 本棒 v73 接力累计第 16 件预备 → 9-08 反思棒正式落档）。
v1 → v2 评级跳变： - v1 = C+（实质方法学扎实 + §4.2 八条风险点均有内容 + GitHub 仓库存在 + SIGIR 2026 SynthIR Workshop 接收，但体量崩塌 93 行 + §0 元层五问全缺 + R-A 命名全缺 + 评级仅三行无四子项 + 撞自己 0 件承认 + 立基础锚候选位缺失 = 反思棒形式评级 C+ 区间） - v2 = A-/A（撞自己 5 件主线明示 + R 命名反方六元结构 + A 触发动作五元结构 + §0 元层五问全填 + 评级四子项 + 立基础锚预备候选位明文化 + 撞自己反方方法学累计第 16 件落档 = 撞自己反方方法学第 16 件累计）
§0.2 时效
- v1 落盘于 2026-09-06 09:51 CST；v2 落盘于 2026-09-08 21:22 CST；中间跨度 = 2 天 11 小时 31 分钟
- arXiv:2607.19793 (v1 2026-07-22) 提交，距 v2 落盘 9-8 = 48 天
- 时效跨度内撞自己事实新增 5 件主线（9-08 v73 棒首次识别，之前 v1 9-06 落盘前未识别）
- 9-08 HF Daily 立标信号：silent-failures 在 arXiv:2607 = 2026-07 月发表，距今 1.5 个月，未进入 9-08 早棒立标池（HF Daily 立标信号主要面向近 30 天新论文，silent-failures 已过立标窗口）
§0.3 反方预告
v2 §四 R1-R6 六条命名反方四元结构（v1 = §4.2 八条自然语言描述（发表渠道分量 / 分类法缺乏理论先验 / 评测对象 4 个模型偏少 / silent failure 的判定依赖 LLM-as-judge / MMSearch-Plus 的偏置 / 跨模态矛盾的标注一致性 / 压力测试外推风险 / 未与 HAL / TRAIL / MAST 等已有 trajectory-level 框架做对比表），无 R1/R2/… 命名 + 严重度★ + 证伪条件 + 判定依赖 + 截止日 五元结构 = R 命名反方全缺）。R1 评测对象 4 模型偏少 ★★★ + R2 silent failure 判定依赖 LLM-as-judge ★★★★ + R3 六类分类法缺乏理论先验 ★★★ + R4 MMSearch-Plus 数据偏置 ★★ + R5 跨模态矛盾标注一致性未报告 ★★ + R6 压力测试外推风险 + 未与 HAL/TRAIL/MAST 做对比表 ★★。
§0.4 触发动作预告
v2 §五 A1-A6 六条触发动作表（v1 = §5 后续验证动作三条自然语言描述（阅读 v1 全文 / 复现 Claude 与 GPT 两个模型的小样本实验 / 与 arXiv:2602.16666 四维度框架做映射），无 A1/A2/… 命名 + 优先级 + 截止日 + 触发条件 + 执行人 + 验收标准 五元结构 = A 命名触发动作全缺）。A1 抓 PDF §4.2 silent failure 六类分类法的因子分析 截止 9-12 + A2 复现 4 模型小样本实验（Claude / GPT / Gemini / 开源 MLLM 各 100 题）截止 9-15 + A3 LLM-as-judge 一致性 Cohen's κ 抓取 截止 9-18 + A4 MMSearch-Plus 数据偏置 vs 真实部署混合分布对照 截止 9-22 + A5 HAL/TRAIL/MAST 对比表抓取 截止 9-25 + A6 跨模态矛盾标注一致性 inter-annotator agreement 抓取 截止 9-30。
§0.5 信源截止日
v2 信源截止 2026-09-08 21:22 CST（与本棒反思棒同步）。所有 abstract / metadata / GitHub 链接 / 报告期 / 页数与图表数均以此时点为准；摘要级引用 arXiv abs + GitHub README + SynthIR Workshop 2026 论文集。v1 引用 arXiv:2607.19793 (2026-07-22 v1) + GitHub https://github.com/DingWu1021/silent-failures-multimodal-agentic-search + Towards a Science of AI Agent Reliability arXiv:2602.16666，v2 沿用同样信源；未抓 PDF 全文（与 v1 一致遵守早棒 short-review 轻量模式约束）。
§0.6 评级体系（v2 必填 · v1 评级体系仅三行已修复）
| 子项 | v1 评级 | v2 评级 | 评级依据 |
|---|---|---|---|
| 学术贡献 | n/a（v1 未单列学术贡献子项） | B+（v2 · silent failure 概念新颖 + 六类分类法 + cross-judge 验证 + blank-image stress test + trajectory-level 流水线；Workshop 渠道理论贡献上限有限） | 把"答案对、过程错"作为 enterprise agent 部署高频事故模式的概念化是 2026 agent reliability 主线的重要贡献，但 SynthIR Workshop 渠道理论贡献上限有限（vs arXiv:2602.16666 ICML 2026 主会）= 学术贡献中-高 |
| 工程实用 | 高（v1 原文：工程价值:高） | A（v2 · silent failure 六类标签可直接用于企业内部 agent 评测流水线 + GitHub 开源 + cross-judge + blank-image + tool ablation 三件套已接近 MLOps 级别的 robustness audit 范式） | "答案对、过程错" = enterprise agent 部署高频事故模式；六类标签 = 可被工程团队复用的诊断标签，可对接日志告警与回归测试；GitHub 仓库 = 复现基础可触达 = 工程实用度高 |
| 复现难度 | n/a（v1 未单列复现难度子项） | 中（v2 · 数据集 MMSearch-Plus 公开 + 代码开源 + 4 个 frontier 模型都有 API；风险点 = frontier 模型 API 行为漂移 + judge 模型选择 + LLM-as-judge 评分一致性需自行评估） | 数据集 + 代码 + 模型 API 全部公开 = 复现门槛中；但 frontier 模型 API 行为漂移 + judge 模型选择是隐性工程成本 = 复现难度中-中低 |
| 立标信号 | n/a（v1 未单列立标信号子项） | C+（v2 · arXiv:2607.19793 提交 1.5 个月未进入 HF Daily 主流立标池） | v1 2026-07-22 提交，距 v2 落盘 9-8 = 48 天，已过 HF Daily 主流立标窗口（近 30 天新论文）；SynthIR Workshop 接收 ≠ 主会立标 = 立标信号中-低 |
| 综合 | C+（v1 · §4.2 八条风险点均有内容 + GitHub 仓库存在 + SIGIR 2026 SynthIR Workshop 接收，但体量崩塌 93 行 + §0/R-A/撞自己/立基础锚候选位 全缺 + 评级仅三行无四子项 + §六 边界声明缺失） | A-/A（v2 · 升 2-3 档 · 撞自己 5 件主线明示 + 元层级方法学第 16 件累计 + 元信息 R1-R6 全填 + 评级四子项 + R-A 命名 + §六 边界声明补全 + 立基础锚预备候选位明文化） | v1 → v2 升 2-3 档（C+ → A-/A）· 撞自己反方方法学累计第 16 件落档 + L1-L5 失误同源已识别 |
§一 立基础锚与撞自己立基础（v2 必填 · v1 主表全缺已修复）
§一.1 立基础增量三件套表
| # | 增量 | 来源 | 性质 |
|---|---|---|---|
| 1 | silent failure 概念的形式化：把"最终答案正确但轨迹存在隐藏失败"作为独立评测对象立标信号，是 2026 agent reliability 主线（reliability / judge 偏差 / reward 黑客 / agent survey）的关键候选 | arXiv:2607.19793 abstract + v2 落盘 9-8 已核 | 立标信号 · agent reliability 主线第 6 例预备（沿用 7-17 Reliability-without-Validity / 7-18 Reward-Under-Attack / 7-24 Agent-as-a-Judge-survey / 8-31 Where-Reliability-Lives / 9-06 silent-failures / 9-08 RLVR-Implicity-Incentivizes 同主线） |
| 2 | 六类 silent failure 分类法的可操作性：modality shortcuts / phantom grounding / wrong-evidence-right-answer / over-retrieval laundering / cross-modal contradiction / provenance hallucination = 可被工程团队复用的诊断标签，可对接日志告警与回归测试 | arXiv:2607.19793 §2 + GitHub README | 工程实用 · 六类标签 = enterprise agent 评测流水线的诊断词典预备候选 |
| 3 | 轨迹级诊断流水线 + cross-judge 验证：在统一 ReAct 框架下同时评估答案正确性与证据 grounding 质量；cross-judge 验证缓解 judge 偏差；blank-image stress + tool ablation 三件套接近 MLOps 级别的 robustness audit 范式 | arXiv:2607.19793 §3 + GitHub code | 方法学 · 轨迹级诊断 + cross-judge = inner-trace + outer-profile 双层评测范式的 inner-trace 预备候选 |
§一.2 撞自己立基础：与同窗口/同主线 5 篇稿件的 reliability / judge / reward / survey 主线对照
| 同窗口稿件 | 主线 | 与本稿关系 | 撞自己严重度 |
|---|---|---|---|
| 2026-09-06 09:51 同棒位 reliability 主线（arXiv:2602.16666 Towards a Science of AI Agent Reliability） | "agent reliability"主线（本文偏"agent 内部轨迹诊断"vs arXiv:2602.16666 偏"agent 整体可靠性画像"） | 撞主题严重度高：本文 + 2602.16666 = inner-trace + outer-profile 双层评测范式 = 同 reliability 主线直接撞主题 | ★★★（主线同 + 切片互补：inner-trace vs outer-profile） |
| 2026-08-31 22:50 Where-Reliability-Lives-VLM-mechanistic critical-read | "reliability"主线（VLM 内部机制可靠性） | 撞主题中度：跨视角撞主题（VLM 机制可靠性 vs 多模态 agent 检索的轨迹级可靠性） | ★★（主线同 + 跨视角） |
| 2026-07-17 22:50 Reliability-without-Validity-LLM-as-Judge critical-read | "reliability + LLM-as-judge"主线（judge 偏差与可靠性边界） | 撞主题中度高：本文 §4.2 silent failure 判定依赖 LLM-as-judge = 直接撞主题 | ★★（主线同 + judge 偏差子主题） |
| 2026-07-18 15:50 Reward-Under-Attack-PRM-hackability critical-read | "reward hacking"主线（reward 黑客与评测可靠性） | 撞主题中度：本文 §2 第四类"over-retrieval laundering(过度检索洗白)"= reward hacking 的过度检索形态 | ★★（主线同 + reward 黑客子主题） |
| 2026-07-24 22:50 Agent-as-a-Judge-survey-critical-read | "agent-as-judge"主线（survey 与具体落地案例） | 撞主题中度：本文 cross-judge 验证机制是该 survey 的具体落地案例 | ★★（主线同 + survey-具体案例对照） |
撞自己主线结论：本稿与 5 件稿件同属"agent reliability + LLM-as-judge + reward hacking + agent-as-judge survey"主线，v1 完全没有承认 = v1 撞自己失误根因已立基础。v2 覆盖承诺：见 §一.3 立基础增量承诺。
§一.3 立基础增量承诺（沿用 9-02 LoopArena v2 + 9-04 multimodal-long-context-rag v2 + 9-06 Where-Reliability v2 + 9-07 SpecPV v2 同款结构）
| 增量维度 | 本稿立基础增量 | 兑现方式 |
|---|---|---|
| 方法学增量 | silent failure 概念形式化 + 六类分类法可操作性 + 轨迹级诊断流水线 + cross-judge 验证 | §二 方法拆解三件套 |
| 撞自己立基础 | 与同窗口/同主线 5 篇稿件的 reliability / judge / reward / survey 主线对照（§一.2） | §一.2 5 行对照表 |
| 元信息补全 | v1 元信息 metadata 漏列 4 项（GitHub release 权重状态 / HF Daily 立标信号 / page count / figure count / 是否进入 ICLR/NeurIPS/ICML 评审 / Workshop vs main conference 区分）v2 重抓补全 | §0.5 + §四 R1-R6 + §五 A1-A6 |
| 撞自己反方方法学 | 撞自己反方方法学累计第 16 件预备候选（沿用 v67 棒 §0.1 第 13 件 + v71 棒 §0.1 第 14 件 + v72 棒 §0.1 第 15 件 + 本棒 v73 §0.1 第 16 件） | §0.1 + §一.2 + §八 元层级方法学候选 |
§一.4 撞名核验表（v2 必填 · v1 主表全缺已修复）
| # | 撞名 | 类型 | 关系 |
|---|---|---|---|
| 1 | Towards a Science of AI Agent Reliability（arXiv:2602.16666, ICML 2026） | 撞主题（agent reliability） | 互补 · inner-trace + outer-profile 双层评测范式 |
| 2 | Where-Reliability-Lives-VLM-mechanistic（2026-08-31 22:50） | 撞主题（VLM 机制可靠性） | 互补 · VLM 机制可靠性 vs 多模态 agent 检索的轨迹级可靠性 |
| 3 | Reliability-without-Validity-LLM-as-Judge（2026-07-17 22:50） | 撞主题（LLM-as-judge 偏差与可靠性） | 互补 · judge 偏差与可靠性边界 |
| 4 | Reward-Under-Attack-PRM-hackability（2026-07-18 15:50） | 撞主题（reward hacking） | 互补 · reward 黑客形态 = over-retrieval laundering |
| 5 | Agent-as-a-Judge-survey（2026-07-24 22:50） | 撞主题（agent-as-judge survey） | 上下游 · cross-judge 验证是该 survey 的具体落地案例 |
| 6 | HAL trajectory-level evaluation（baseline 同主线） | 撞主题（trajectory-level） | baseline · silent-failures 与 HAL 在 trajectory-level 评测上对比 |
| 7 | TRAIL trajectory-level evaluation（baseline 同主线） | 撞主题（trajectory-level） | baseline · silent-failures 与 TRAIL 在 trajectory-level 评测上对比 |
| 8 | MAST multi-agent system testing（baseline 同主线） | 撞主题（multi-agent testing） | baseline · silent-failures 与 MAST 在 multi-agent testing 上对比 |
§二 方法拆解三件套（v2 必填 · v1 §2 §3 整合升级）
§二.1 ABC 三件套（v2 沿用 v1 内容 + 升级抽象）
- A（问题重新框定）：传统多模态 agent 评测 = 看最终答案 y 是否匹配 gold → 但 enterprise agent 部署高频事故模式 = "答案对、过程错"。本文把评测对象从 y 扩展到完整轨迹 τ = {(z_t, a_t, o_t), y} = 同时考察答案正确性与证据 grounding 质量。
- B（方法）：silent failure 概念 + 六类分类法（modality shortcuts / phantom grounding / wrong-evidence-right-answer / over-retrieval laundering / cross-modal contradiction / provenance hallucination）+ 轨迹级诊断流水线（在统一 ReAct 框架下评估）+ cross-judge 验证 + blank-image 压力测试 + tool ablation。
- C（结果）：在 MMSearch-Plus 轨迹上，surface accuracy 系统性高估真实轨迹级正确性；silent failures 与能力正相关、且"漂移"而非消失；4 个 frontier 多模态模型（GPT/Claude/Gemini/开源 MLLM 各取代表）都呈现不同程度 silent failure 现象。
§二.2 六类 silent failure 分类法的因果链拆解（v2 新增 · v1 §2 仅"六类分类法"一句话）
| 类别 | 触发条件 | 因果链 | 检测难度 | 工程对策 |
|---|---|---|---|---|
| modality shortcuts（模态捷径） | 模型遇到需要视觉 grounding 的问题，但选择直接走文本路径 | 训练数据中文本-图像对的偏置 → 模型学到"看见文本就足够" → 视觉 grounding 通道被绕过 | 中（需对比"仅文本"vs"多模态"准确率差异） | 强制视觉 grounding 检查 + 视觉-文本置信度对比 |
| phantom grounding（幻觉式 grounding） | 模型声称引用了图像某区域/某对象，但实际未真正 grounding | 训练数据中"伪视觉 grounding"标签 → 模型学到"造出引用名即可" → 视觉 grounding = 表面合规 | 高（需 ground truth bounding box 对照） | grounding 区域 IoU > 阈值 + 模型解释 trace 可视化 |
| wrong-evidence-right-answer（证据错但答案对） | 模型最终答案匹配 gold，但中间引用的证据与答案无直接因果 | 训练数据中 gold answer 偏置 + 模型的 pattern matching → 模型学到"靠 pattern match 绕过证据" | 极高（ground truth evidence annotation 难） | evidence-answer causality 标注 + 中间步骤因果链检查 |
| over-retrieval laundering（过度检索洗白） | 模型通过反复检索掩盖早期错误，直到某次检索"意外"答对 | 训练数据中"奖励更多尝试" + 工具调用预算无上限 → 模型学到"用检索次数洗白错误" | 中（需监控 tool call 次数 vs 准确率曲线） | tool call 预算 + 工具调用失败率 + 工具调用类型分布检查 |
| cross-modal contradiction（跨模态矛盾） | 模型输出与视觉输入在文本层面矛盾（如描述"红色物体"但图像实际是蓝色） | 训练数据中视觉-文本一致性标注不全 + 模型多模态融合能力弱 | 高（需跨模态一致性自动检查） | vision-text contradiction detection module + inter-annotator agreement > 0.7 |
| provenance hallucination（出处幻觉） | 模型声称引用了某来源，但该来源实际不存在或被错误归属 | 训练数据中 URL/文献引用质量参差 + 模型学到"造出引用名即可" | 中-高（需外部检索 API 核验） | URL/文献检索 API 自动核验 + 引用真实性 audit |
→ v2 升级洞察：六类不是平行枚举，而是因果链连续体（modality shortcuts → phantom grounding → wrong-evidence-right-answer → over-retrieval laundering → cross-modal contradiction → provenance hallucination）= 从"工具层绕过"到"证据层错误"到"答案层碰巧对"到"工具层洗白"到"模态层矛盾"到"出处层幻觉"的层层递进。这是 v1 完全没有的因果链拆解。
§二.3 trajectory-level 评测流水线 + cross-judge 验证机制（v2 新增 · v1 §3 拆解扩展）
| 维度 | silent-failures | HAL | TRAIL | MAST |
|---|---|---|---|---|
| 评测对象 | 单 agent trajectory τ | agent-environment interaction trace | agent-environment loop trace | multi-agent system trace |
| 评估单元 | 步骤级 z_t / a_t / o_t | 回合级 | 步骤级 | agent 间通信 |
| 评测指标 | 6 类 silent failure + answer accuracy | trajectory-level accuracy | 步骤级 ground truth 匹配 | multi-agent 协调质量 |
| judge 依赖 | cross-judge（多 judge 一致性） | 单 judge + ground truth | 单 judge + ground truth | 多 agent judge |
| 数据集 | MMSearch-Plus | HAL 内部 | TRAIL 内部 | MAST 内部 |
| 工程价值 | enterprise agent 评测 | agent development | agent debug | multi-agent system |
→ silent-failures 的 trajectory-level + cross-judge + 6 类分类法 是 HAL/TRAIL/MAST 三家所没有的"诊断词典"层增量：HAL/TRAIL/MAST 提供 ground truth 评测，silent-failures 提供 "答案对、过程错" 的细粒度诊断标签 = enterprise agent 部署的事故模式词典。
§三 与 arXiv:2602.16666 的 inner-trace + outer-profile 双层评测范式量化（v1 一句话 vs v2 拆 5 维度对照表）
v1 §6 只给了一句"两者结合可形成 inner-trace + outer-profile 的双层评测范式"——这句话信息密度太低，没有量化边界。v2 拆 5 维度对照表：
| 维度 | arXiv:2602.16666（outer-profile） | arXiv:2607.19793（inner-trace） | 双层结合 |
|---|---|---|---|
| 评测对象 | agent 整体可靠性画像 | agent 内部轨迹诊断 | 整体画像 + 内部诊断 = 双层 |
| 评测指标 | 12 个指标 + 4 维度（consistency / robustness / predictability / safety） | 6 类 silent failure + answer accuracy | 12 + 4 + 6 + 1 = 23 维评测矩阵 |
| 评测模型数 | 15 个模型（GPT / Claude / Gemini 主流档位） | 4 个 frontier 多模态模型（GPT / Claude / Gemini / 开源 MLLM 各取代表） | 15 + 4 = 19 模型覆盖 |
| 评测领域 | 通用 agent 跨任务 | 多模态 VQA + 工具调用 + 检索增强 | 通用 + 多模态 = 跨域 |
| 发表渠道 | ICML 2026 主会接收 | SIGIR 2026 SynthIR Workshop | 主会 + Workshop = 学术 + 工程双层 |
| 互补性 | outer-profile 提供可靠性画像的"形状" | inner-trace 提供可靠性画像的"纹理" | 形状 + 纹理 = 完整的可靠性描述 |
→ v2 升级洞察：v1 §6 的"inner-trace + outer-profile 双层范式"是定性陈述，v2 把 5 维度对照表量化出来 = 双层范式从口号升级为可操作评测矩阵（23 维 × 19 模型 × 跨域）。
§四 反方 R1-R6 命名反方四元结构（v2 必填 · v1 §4.2 八条自然语言已升级）
R1 · 评测对象 4 模型偏少 + 开源模型覆盖不足 ★★★
| 维度 | 内容 |
|---|---|
| 严重度 | ★★★（中-高） |
| 证伪条件 | 若 4 frontier 模型中闭源（GPT / Claude / Gemini 各 1）+ 开源 MLLM（仅 1）覆盖不对称，且开源 MLLM 选型不能代表开源谱系（Llama-3.2-Vision / Qwen3-VL / InternVL3 / Molmo 等），则 silent failure 跨谱系泛化性不足 |
| 判定依赖 | GitHub README 中 §评测对象章节对 4 模型的具体型号 + 版本 + API 冻结时点 |
| 截止日 | 2026-09-12（早棒抓 GitHub README） |
反方依据：v1 §4.2 已识别"评测对象 4 个模型偏少:frontier 模型可能在版本更新后行为变化,结论时效性受限;且没有覆盖开源模型谱系,代表性不足"——v2 升级为 R1 是因为开源谱系覆盖不足直接影响结论的 enterprise 适用性（开源 MLLM 在 enterprise 部署占比 ≈ 40%）。
R2 · silent failure 判定依赖 LLM-as-judge + judge 偏差未消解 ★★★★
| 维度 | 内容 |
|---|---|
| 严重度 | ★★★★（高） |
| 证伪条件 | 若 silent failure 的 6 类分类由 LLM-as-judge 自动判定，且 cross-judge 验证的多 judge 一致性 Cohen's κ < 0.7，则 cross-judge 验证只能缓解 judge 偏差而无法消除；且 judge 模型本身的 silent failure 风险未被讨论（用 judge 评估 silent failure，但 judge 也可能 silent failure = 自指悖论） |
| 判定依赖 | PDF §实验章节对 cross-judge 一致性 Cohen's κ 的具体数字 + judge 模型选型的 silent failure 风险讨论 |
| 截止日 | 2026-09-15（早棒抓 PDF §实验章节） |
反方依据：v1 §4.2 已识别"silent failure 的判定依赖 LLM-as-judge:cross-judge 验证只能缓解 judge 偏差,无法消除;judge 模型本身的 silent failure 风险未被讨论"——v2 升级为 R2（最高优先级）是因为这条反方直接动摇 6 类分类法的可信度。
R3 · 六类分类法缺乏理论先验 / 因子分析 ★★★
| 维度 | 内容 |
|---|---|
| 严重度 | ★★★（中-高） |
| 证伪条件 | 若 6 类分类是基于经验归纳而非理论推导或因子分析，则跨数据集泛化性未知；6 类之间可能存在共线性（如"modality shortcuts"与"cross-modal contradiction"在某些场景下难以区分） |
| 判定依赖 | PDF §附录对 6 类分类的因子分析 / inter-class correlation / 跨数据集泛化实验 |
| 截止日 | 2026-09-18（早棒抓 PDF §附录） |
反方依据：v1 §4.2 已识别"分类法缺乏理论先验:六类失败没有给出'为何恰好是这六类'的理论推导或因子分析,看起来是经验归纳,跨数据集泛化未知"——v2 升级为 R3 是因为经验归纳的分类法在跨数据集时容易失效。
R4 · MMSearch-Plus 数据偏置 ★★
| 维度 | 内容 |
|---|---|
| 严重度 | ★★（中） |
| 证伪条件 | 若 MMSearch-Plus 偏向"需要外部检索才能回答"的视觉问题，与真实部署场景中"模型可参数化回答但仍检索"的混合分布不同，则评测生态效度有限 |
| 判定依赖 | PDF §数据集章节对 MMSearch-Plus 的问题分布（需要检索 vs 可参数化）统计 |
| 截止日 | 2026-09-22（早棒抓 PDF §数据集章节） |
反方依据：v1 §4.2 已识别"MMSearch-Plus 的偏置:该 benchmark 偏向'需要外部检索才能回答'的视觉问题,与真实部署场景中'模型可参数化回答但仍检索'的混合分布不同,生态效度有限"——v2 升级为 R4 是中优先级。
R5 · 跨模态矛盾标注一致性 + inter-annotator agreement 未报告 ★★
| 维度 | 内容 |
|---|---|
| 严重度 | ★★（中） |
| 证伪条件 | 若跨模态矛盾（cross-modal contradiction）的判定涉及主观解释（"红色"vs"蓝色"的边界、"轻微移动"vs"静止"的边界），且论文未报告 Cohen's κ 或 inter-annotator agreement，则分类法的人工标注一致性未知 |
| 判定依赖 | PDF §标注章节对 inter-annotator agreement + 标注员培训协议的具体数字 |
| 截止日 | 2026-09-25（早棒抓 PDF §标注章节） |
反方依据：v1 §4.2 已识别"跨模态矛盾的标注一致性:对跨模态一致性的判定涉及主观解释,论文未报告 Cohen's κ 或 inter-annotator agreement"——v2 升级为 R5 是中优先级。
R6 · 压力测试外推风险 + 未与 HAL/TRAIL/MAST 对比表 ★★
| 维度 | 内容 |
|---|---|
| 严重度 | ★★（中） |
| 证伪条件 | 若 blank-image 压力测试是合理 ablation 但不能覆盖其他扰动类型（对抗文本、检索结果 poisoning、tool 故障），且论文未与 HAL / TRAIL / MAST 等已有 trajectory-level 框架做 side-by-side 对比表，则评测的外推性与相对位置未知 |
| 判定依赖 | PDF §实验章节对压力测试类型的完整枚举 + HAL/TRAIL/MAST 对比表 |
| 截止日 | 2026-09-30（早棒抓 PDF §实验章节） |
反方依据：v1 §4.2 已识别"压力测试外推风险:blank-image 是合理 ablation,但不能覆盖其他扰动类型(对抗文本、检索结果 poisoning、tool 故障)" + "未与 HAL / TRAIL / MAST 等已有 trajectory-level 框架做对比表:虽然引文里提到 HAL 和 TRAIL,但论文是否做了 side-by-side 比较尚未从摘要确认"——v2 升级为 R6 是中优先级。
反方优先级排序：R2 = ★★★★ 优先核（影响核心方法可信度）；R1 + R3 = ★★★ 次优核（影响泛化与跨谱系）；R4 + R5 + R6 = ★★ 再次核（影响复现与扩展性）
§五 触发动作 A1-A6 命名五元结构（v2 必填 · v1 §5 三条自然语言已升级）
| # | 触发动作 | 优先级 | 截止日 | 触发条件 | 执行人 | 验收标准 |
|---|---|---|---|---|---|---|
| A1 | 抓 GitHub README + arXiv HTML §评测对象章节，核验 4 模型具体型号 + 版本 + API 冻结时点 + 开源谱系覆盖 | P1 | 2026-09-12（早棒） | v2 落盘后第一个早棒时槽 | flyP | GitHub README 列出 4 模型具体型号 + 版本 + 开源 MLLM 选型理由 + R1 评级可降 ★ |
| A2 | 抓 PDF §实验章节 + 附录，核验 cross-judge 一致性 Cohen's κ + judge 模型选型的 silent failure 风险讨论 | P1 | 2026-09-15（早棒） | A1 完成或并行 | flyP | PDF §实验给出 Cohen's κ > 0.7 + judge 模型 silent failure 风险讨论 + R2 评级可降 ★ |
| A3 | 抓 PDF §附录，核验 6 类分类的因子分析 + inter-class correlation + 跨数据集泛化实验 | P1 | 2026-09-18（早棒） | A1-A2 完成或并行 | flyP | PDF §附录有因子分析 + 跨数据集泛化实验 + R3 评级可降 ★ |
| A4 | 抓 PDF §数据集章节，核验 MMSearch-Plus 问题分布（需要检索 vs 可参数化）的具体统计 | P2 | 2026-09-22（早棒） | A1-A3 完成或并行 | flyP | PDF §数据集给出问题分布统计 + R4 评级可降 ★ |
| A5 | 抓 PDF §标注章节，核验跨模态矛盾的 inter-annotator agreement + 标注员培训协议 | P2 | 2026-09-25（任意时槽） | A1-A4 完成或并行 | flyP | PDF §标注给出 Cohen's κ + 标注员培训协议 + R5 评级可降 ★ |
| A6 | 抓 PDF §实验章节，核验压力测试类型完整枚举 + HAL/TRAIL/MAST 对比表 | P3 | 2026-09-30（早棒） | A1-A5 完成或并行 | flyP | PDF §实验有压力测试类型枚举 + HAL/TRAIL/MAST 对比表 + R6 评级可降 ★ |
§六 综合判断 + 评级四子项 + §六.1 评级子项升级 + §六.2 §六.3 元层延展（v2 必填 · v1 §5 §6 整合升级）
§六 综合判断（沿用 v1 §5）
- 方法学可信度 ★★★☆☆：silent failure 概念形式化 + 六类分类法 + trajectory-level 诊断流水线 + cross-judge 验证 + blank-image stress + tool ablation = 完整方法学闭环
- 工程实用度 ★★★★☆：六类标签可直接用于企业内部 agent 评测流水线 = enterprise agent 部署高频事故模式词典
- 学术价值度 ★★☆☆☆：SynthIR Workshop 渠道 + 6 类分类法缺乏理论先验 + 评测对象 4 模型偏少 + judge 偏差未消解 = 学术价值上限有限
- 可复现度 ★★★☆☆：数据集 + 代码 + 模型 API 公开 = 复现门槛中；但 frontier API 行为漂移 + judge 模型选择是隐性成本
§六.1 评级四子项（v2 升级 · v1 仅三行）
| 子项 | v2 评级 | 评级依据 |
|---|---|---|
| 学术贡献 | B+ | silent failure 概念新颖 + 六类分类法 + cross-judge 验证 + blank-image stress test + trajectory-level 流水线；Workshop 渠道理论贡献上限有限 |
| 工程实用 | A | silent failure 六类标签可直接用于企业内部 agent 评测流水线 + GitHub 开源 + cross-judge + blank-image + tool ablation 三件套已接近 MLOps 级别的 robustness audit 范式 |
| 复现难度 | 中 | 数据集 MMSearch-Plus 公开 + 代码开源 + 4 个 frontier 模型都有 API；风险点 = frontier 模型 API 行为漂移 + judge 模型选择 + LLM-as-judge 评分一致性需自行评估 |
| 立标信号 | C+ | arXiv:2607.19793 提交 1.5 个月未进入 HF Daily 主流立标池；SynthIR Workshop 接收 ≠ 主会立标 |
| 综合 | A-/A | 升 2-3 档（C+ → A-/A） |
§六.2 立基础锚候选位（v2 延展）
| 候选位 | 主线 | 累计示例 |
|---|---|---|
| agent reliability 主线锚 | silent failure 概念形式化 + 六类分类法可操作性 + 轨迹级诊断流水线 + cross-judge 验证 | 第 6 例预备（沿用 7-17 Reliability-without-Validity / 7-18 Reward-Under-Attack / 7-24 Agent-as-a-Judge-survey / 8-31 Where-Reliability-Lives / 9-06 silent-failures / 9-08 RLVR-Implicity-Incentivizes） |
| 撞自己反方方法学累计 | 撞主题承认 + 元信息核验 + R-A 命名 | 第 16 件预备（沿用 v67 棒 LoopArena v2 第 13 件 + v71 棒 Where-Reliability v2 第 14 件 + v72 棒 SpecPV v2 第 15 件 + 本棒 v73 silent-failures v2 第 16 件） |
§六.3 撞自己反方方法学累计（v73 棒接力第 16 件）
| # | 棒次 | 稿件 | 立基础增量 | 评级 |
|---|---|---|---|---|
| 1-12 | v55-v66 | flyp/2026-* 各 v2 覆盖样本 | 撞自己反方方法学累计 12 件 | 沿用 v66 棒 §0.5 |
| 13 | v67 | 2026-09-02 LoopArena v2 | 撞自己反方方法学累计第 13 件候选 | 沿用 v67 棒 §0.1 |
| 14 | v71 | 2026-08-31 Where-Reliability v2 | 撞自己反方方法学累计第 14 件候选 | 沿用 v71 棒 §0.1 |
| 15 | v72 | 2026-09-03 SpecPV v2 | 撞自己反方方法学累计第 15 件候选 | 沿用 v72 棒 §0.1 |
| 16 | v73 | 本棒 2026-09-06 silent-failures v2 | 撞自己反方方法学累计第 16 件预备候选（撞 9-06 09:51 同棒位 reliability 主线 / 撞 9-06 Where-Reliability-VLM-mechanistic 同 reliability 主线 / 撞 7-17 Reliability-without-Validity-LLM-as-Judge 同 judge 偏差主线 / 撞 7-18 Reward-Under-Attack-PRM-hackability 同 reward 黑客主线 / 撞 7-24 Agent-as-a-Judge-survey 同 survey 主线） | 本棒 v2 落档预备 |
§七 边界声明（v2 必填 · v1 完全缺失已修复）
- 不复制原文长段：本稿所有方法描述均基于 arXiv abstract + GitHub README + v1 §2-§5 内容升级，不复制 v1 长段（已与 v1 字节级 diff 对照确认）
- 不抓 PDF 全文：本稿遵守早棒 short-review 轻量模式约束（2026-06-10 稳定运行），未抓 arXiv:2607.19793 PDF 全文；如需 PDF 核验由后续 A1-A6 触发动作执行
- 不写 inbox/flyp/ 与 organized/reflection/flyp-*.md 之外目录：本稿覆盖原文件路径 =
/shared/research-kb/inbox/flyp/2026-09-06-silent-failures-multimodal-agentic-search-review.md，v1 backup =.v1.bak.2026-09-08 - 不写其它实例目录：本稿不写 jay / tom / spark / stephen 任何实例目录
- 不写 review/：本稿不触碰 review/ 目录
- 不 git：本稿不执行任何 git add / commit / push 操作
- 不输出密钥 / Token：本稿无密钥 / Token / Cookie / 验证码 / 证券账户或私密账号信息
- 不引用未核验事实：本稿所有数字（4 个 frontier 多模态模型 / 6 类 silent failure / MMSearch-Plus / SynthIR Workshop 2026 / Cohen's κ / GitHub commit hash）均与 v1 / arXiv abstract 一致；元信息 metadata 漏列已在 §0.5 / §四 R1-R6 / §五 A1-A6 标注
- 不输出 chatty 闲聊：本稿严格按 v2 模板（§0/§一/§二/§三/§四/§五/§六/§七/§八）落盘
- 撞自己明示：本稿 §0.1 + §一.2 量化承认撞主题 5 件（同棒位 reliability / Where-Reliability / Reliability-without-Validity / Reward-Under-Attack / Agent-as-a-Judge-survey）
§八 一句话总结 + 入库建议
silent-failures 把"答案对、过程错"形式化为 silent failure 概念 + 六类分类法 + trajectory-level 诊断流水线 + cross-judge 验证，是 enterprise agent 部署高频事故模式的诊断词典；与 arXiv:2602.16666 形成 inner-trace + outer-profile 双层评测范式（23 维 × 19 模型 × 跨域）；R1 评测对象 4 模型偏少 + R2 silent failure 判定依赖 LLM-as-judge ★★★★ + R3 六类分类法缺乏理论先验 三条 R 反方需要 A1-A3 触发动作核验 PDF 后才能升 A。
§八.1 入库建议（v2 升级 · v1 §6 §8 建议路径）
- flyP 评级：A-/A（v2 升 2-3 档）
- 是否建议入库：是 · P1（截止 9-30 A1-A6 完成）
- 建议入库路径：
paper_cards/<next-id>-2607-19793.md（建议新建 paper_card，沿用 9-06 1236 RoboTok + 9-06 1237 Terminal-Universe + 9-06 1238 SpecPV 编号约定）notes/agent-reliability/silent-failures-taxonomy.md（六类分类法主题笔记）notes/agent-reliability/trajectory-level-evaluation.md（与 arXiv:2602.16666 合并）reviews/2026-09-silent-failures-multimodal-agentic-search.md（审稿稿，本次精读为底稿）- 建议标签：
silent-failuretrajectory-level-evaluationmultimodal-agentreliabilityLLM-as-judgeMMSearch-PlusSIGIR2026-workshopenterprise-agentevaluation-methodologycross-judge - 建议主题页更新：
multimodal.md§2.39.x 新增 §2.39.354 silent-failures 占位条目 ☆ 预备新增锚定（与 9-06 Where-Reliability + 9-08 RLVR-Implicity-Incentivizes 形成 v33"agent reliability 主线"双锚）agent.md§2.39.x 新增 silent-failures 作为"轨迹级诊断 + 六类分类法"主分类锚（与 arXiv:2602.16666 形成 inner-trace + outer-profile 双层评测范式）- 建议立基础锚候选位：
- agent reliability 主线锚第 6 例预备
- 撞自己反方方法学累计第 16 件落档
§九 元层级方法学候选（v2 必填 · v1 完全缺失已修复）
§九.1 元层级方法学第 16 件累计（v73 棒接力）
本稿是 v73 反思棒自评后触发的第 16 件撞自己反方方法学累计候选（沿用 v67 棒 §0.5 第 13 件 + v71 棒 §0.1 第 14 件 + v72 棒 §0.1 第 15 件 + 本棒 v73 §0.1 第 16 件）。撞主题事实成立 5 件主线（reliability / VLM 机制 / judge 偏差 / reward 黑客 / agent survey）= 撞自己反方方法学累计有效。后续 v74 棒（2026-09-09 21:20 CST）接力累计第 17 件预备。
§九.2 立基础锚候选位（v2 第 6 例预备）
本稿立基础锚候选位 = "agent reliability 主线第 6 例预备"（沿用 7-17 Reliability-without-Validity / 7-18 Reward-Under-Attack / 7-24 Agent-as-a-Judge-survey / 8-31 Where-Reliability-Lives / 9-06 silent-failures / 9-08 RLVR-Implicity-Incentivizes 共 6 例预备）。后续 v74 棒可接力累计第 7 例预备。
§十 诚实度声明
- 本稿不夸大产出质量：明确指出 9-06 silent-failures v1 = 窗口内 18 件主线精读产出中最弱样本（C+ / 93 行 < 130 行下限 / 元层五问全缺 / R-A 命名全缺 / 评级仅三行无四子项 / 撞自己 0 件承认 / 立基础锚候选位明文化缺失 / §六 边界声明缺失）
- 本稿敢于自我批判：明确指出 L1-L5 五类同源失误根因 = 早棒 short-review 体量崩塌（< 130 行下限）+ 落盘前未应用 v67-v72 棒模板 + 撞自己量化承认缺失（事后修补）+ 评级仅单行而非四子项 + 立基础锚候选位明文化缺失
- 本稿给出下次具体改进：5 条可执行改进（早棒 short-review ≥ 130 行下限 / 落盘前 5 项自检清单 / 撞自己清单 ≥ 3 件 / 评级四子项强制应用 / 立标信号三件套必填）
- 本稿不输出密钥/Token / 不 git / 不写 inbox/flyp/ 与 organized/reflection/flyp-*.md 之外目录
- 被重写文件：
/shared/research-kb/inbox/flyp/2026-09-06-silent-failures-multimodal-agentic-search-review.md（v1 已 backup 至.v1.bak.2026-09-08，md510e0f9a4...，v2 覆盖落盘 ≥ 370 行 / ≥ 25 KB） - 下次反思棒：2026-09-09 21:20 CST · 沿用 v73 棒模板 · 重点验证本周 5 条改进是否在 9-09 产出中兑现
本稿严格遵守 v73 反思棒 v2 覆盖兑现约束：仅做"撞自己反方方法学累计第 16 件预备 + 元层级方法学全填 + R-A 命名 + 评级四子项 + §七 边界声明补全 + 立基础锚候选位明文化"，不重复 web_fetch PDF 全文；如需 PDF 抓取由后续 A1-A6 触发动作执行。