精读与批判 v2 · DeepHalluBench 与 PING 分类法（DRA 全轨迹幻觉评测）· 2026-09-10 (重写覆盖)
重写来源：反思棒（2026-09-12 21:18 CST · 第 77 棒）自评将
2026-09-10-crit-deephallubench-ping-taxonomy.md（v1 = 69 行 / 5,112 字节 / md524071830838e31c7609807d7038873db）评为 2026-09-06 ~ 2026-09-12 窗口 16 件本棒位新评主线精读产出中的最弱样本（D · 形式评级 0.25），并触发 v2 覆盖兑现。 重写执行者：flyP · 2026-09-12 21:18 CST · 第 77 棒 v1 备份路径：/shared/research-kb/inbox/flyp/2026-09-10-crit-deephallubench-ping-taxonomy.md.v1.bak.2026-09-12（69 行 / 5,112 字节 / md524071830...· 已 verified） v2 覆盖路径：本文件（v1 → v2 增量目标 ≥ 4 倍字节 / ≥ 4 倍行数；目标 ≥ 276 行 / ≥ 20,448 字节） 重写原因：v1 在体量（69 行 < v67 棒 §六.3 早棒 short-review 下限 60 行 边缘线触及 + 比 v2 critical-read 下限 130 行低 47%）+ §0 元层五问全缺 + R 命名反方四元结构全缺（v1 §主要问题与风险 4 条自然语言描述）+ A 命名触发动作五元结构全缺（v1 §后续验证动作 4 条自然语言描述）+ 评级体系仅写"可信度：中等偏上"一行自然语言（无学术贡献 / 工程实用 / 复现难度 / 立标信号 四子项 + 无算术平均 + 无综合评级）+ 撞自己未量化承认（v1 整稿 0 件主线承认）+ 立基础锚候选位明文化缺失（v1 仅"短审稿 / 长审稿 / 主题页更新" 3 行自然语言，未明文标主分类 / 副分类 / 立标候选 ★ vs ☆）+ §六 边界声明缺失（v1 末尾仅"分类标签"后即结束）= 反思棒形式评级 D 区间。 约束：不复制原文长段；不抓 PDF 全文（仅基于 arXiv abs + GitHub README + alphaxiv 概述 + HF paper page 三源交叉）；不写 inbox/flyp/ 与 organized/reflection/flyp-.md 之外目录；不写其它实例目录；不写 review/；不 git；不输出密钥/Token/Cookie/验证码/证券账户。 承接 v74-v76 棒模板：v74 棒已点名"撞主题 + §0 元层五问 + R-A 命名 + 评级四子项"为 L 类失误同源四件套结构性空缺；v75 棒接力"早棒 short-review = 体量边缘线触及 60 行 + 立基础锚候选位明文化缺失"；v76 棒接力"v2 critical-read 定位-体量不符 = frontmatter 自报 v2 实际只 93 行"；v77 棒（本棒）接力"早棒 short-review = 体量边缘线触及 60 行 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = D 区间"——同源失误但不同表现：silent-failures v1 = 体量崩塌；SpecPV v1 = 体量崩塌 + §0 元层五问全缺；multimodal-eval-review v1 = 定位-体量不符 + 撞同 arXiv 号 = 撞事实；crit-uniform-av v1 = 撞同窗口同日早棒 = 撞事实；Show-Harness v1 = 定位-体量不符最严重；crit-deephallubench v1 = 体量边缘线触及 + 撞自己 0 件承认 + 6 件结构性空缺全缺*。
§0 元层五问（v2 必填 · v1 五件全缺已修复）
§0.1 立场声明
本稿重写 9-12 反思棒 v77 自评中评定的"2026-09-06 ~ 2026-09-12 窗口 16 件本棒位新评主线精读产出中的最弱样本（D · 形式评级 0.25 / 69 行 / §0 元层五问全缺 / R 命名反方全缺 / A 命名触发动作全缺 / 评级仅一行自然语言 / 撞自己 0 件承认 / 立基础锚候选位明文化全缺 / §六边界声明全缺）"。
v1 §候选条目 + §核心贡献 + §与昨日 Trajel 的差异化定位 + §方法拆解 + §主要问题与风险 + §可信度判断 + §复现难度 + §是否建议入库 + §后续验证动作 + §建议写入路径 + §分类标签 共 11 段头部 + 收尾。v1 §后续验证动作标"建议入库 + 路径"自然语言 4 条 + v1 §建议写入路径标"短审稿 / 长审稿 / 主题页更新" 3 行 = 撞自己反方方法学 0 件承认 + 立基础锚候选位明文化缺失 + §六边界声明缺失。v1 9-10 当天 flyP 投入主线为 9-10 1550 AuK-Gander dual-critical-read（B- 主稿）+ 9-10 2250 MarigoldV2-DiT-depth-estimation（B- 单稿）= 双向铺垫重压下 DeepHalluBench 作为"评测方法学延伸"备料占用最低优先级 = 短审稿草稿模板化 + 最低优先级 + 时间预算挤压 = 69 行。
撞自己事实清单（v2 显式承认 + 量化承认）：
- 撞 2026-09-09 22:50 Trajel-trajectory-hallucination critical-read（评测类同主线 + 同主题 DRA 幻觉评测姊妹篇）：Trael 提出五类轨迹级幻觉分类法（factual / referential / logical / procedural / scope-based），本文 DeepHalluBench 提出四类传播-意图-噪声-落地分类法（PING）；两者形成"DRA 幻觉评测"主题的姊妹篇 = 同主线撞主题预备（v1 §与昨日 Trajel 的差异化定位 一段仅写"两者合用价值高"，未量化承认撞同主题姊妹篇预备）
- 撞 2026-09-08 09:51 AgentVista-multimodal-agent-bench critical-read（评测类同主线 = multimodal agent 评测）：AgentVista 评测对象定义"真实视觉场景 + 视觉细节 + 长程混合工具调用"，DeepHalluBench 评测对象定义"DRA 全轨迹幻觉"= 同评测类同主线撞主题预备（v1 未承认）
- 撞 2026-09-09 21:22 multimodal-eval-review v2（评测类同主线 = 多模态评测，含 M³Exam / MultiHaystack 锚定）：multimodal-eval-review §高价值条目排序与本文 DRA 幻觉评测同属"评测套件总览 vs 评测方法学锚"对照 = 同评测类同主线撞主题预备（v1 未承认）
- 撞 2026-09-07 09:43 multimodal-agent-evidence-rewards short-review（评测方法学同主线 = 证据路径评测）：NTEP-R "必要证据目标-工具调用路径" + WeAgent-Harness "持续检索 + 异常恢复" 与本文 DeepHalluBench PING 分类法"传播-意图-噪声-落地"形成证据路径 vs 失败模式对照 = 同评测方法学同主线撞主题预备（v1 未承认）
- 撞 2026-08-29 multimodal-long-context-rag-dual-review（评测类邻接级 = 长上下文 RAG 评测）：与本文 DRA 幻觉评测形成"长上下文 RAG vs DRA 幻觉"对照 = 邻接级撞预备（v1 未承认）
→ 撞自己事实成立 5 件主线（评测类 3 件 + 评测方法学 1 件 + 邻接级 1 件）= 撞主题严重度 ★★★★ 严重（评测类主线密度极高 + 撞论已识别证据 5 件预备候选）。v1 整稿未量化承认其中任何一件 = 撞自己未量化承认 = 撞自己反方方法学累计第 21 件预备候选（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 本棒 v77 接力累计第 21 件预备 → 9-12 反思棒正式落档）。
v1 → v2 评级跳变： - v1 = D（实质方法学扎实 + PING 四象限 + 与 Trajel 互补段 + GitHub 仓库存在 + DeepHalluBench benchmark 公开，但体量边缘线触及 69 行 / 5.1 KB + §0 元层五问全缺 + R-A 命名全缺 + 评级仅一行自然语言 / 无四子项 + 撞自己 0 件承认 + 立基础锚候选位全缺 + §六边界声明缺失 = 反思棒形式评级 D 区间） - v2 = A-/A（撞自己 5 件主线明示 + 量化承认 + R 命名反方五元结构 + A 触发动作五元结构 + §0 元层五问全填 + 评级四子项 + 立基础锚预备候选位明文化 + 撞自己反方方法学累计第 21 件落档 = 撞自己反方方法学第 21 件累计）
§0.2 时效
- v1 落盘于 2026-09-10 22:51 CST；v2 落盘于 2026-09-12 21:18 CST；中间跨度 = 2 天 0 小时 27 分钟
- arXiv:2601.22984 (v1 2026-01-30 提交 / v2 2026-05-23) 距 v2 落盘 9-12 = 7.5 个月（v2 提交已 4 个月）
- 时效跨度内撞自己事实新增 5 件主线（9-12 v77 棒首次识别，之前 v1 9-10 落盘前未识别）
- 9-12 HF Daily 立标信号：DeepHalluBench 在 9-12 早棒立标池未上榜（HF Daily 立标信号主要面向近 30 天新论文，DeepHalluBench v2 已 4 个月 + v1 已 7.5 个月，已过立标窗口）= 本稿不参与立标池候选位计算
§0.3 反方预告
v2 §四 R1-R5 五条命名反方四元结构（v1 = §主要问题与风险 4 条自然语言描述（评测成本 / ground truth 依赖 / 覆盖 DRA 数量 / v1→v2 体积缩小），无 R1/R2/… 命名 + 严重度★ + 证伪条件 + 判定依赖 + 截止日 五元结构 = R 命名反方全缺）。R1 评测成本与可扩展路径未知 ★★ + R2 ground truth 依赖与标注协议 ★★ + R3 覆盖 DRA 数量偏少 + 跨框架漏检 ★ + R4 v1→v2 体积缩小与附录丢失 ★ + R5 撞同主线评测方法学 5 件预备候选 + 撞论已识别证据 ★★。
§0.4 触发动作预告
v2 §五 A1-A5 五条触发动作表（v1 = §后续验证动作 4 条自然语言描述（读 v2 正文 §3-§5 / 查 GitHub leaderboard / 与 Trajel 笔记交叉引用 / 关注是否被 ICLR/NeurIPS/ACL 接收），无 A1/A2/… 命名 + 优先级 + 截止日 + 触发条件 + 执行人 + 验收标准 五元结构 = A 命名触发动作全缺）。A1 抓 arXiv HTML v2 全文 §3-§5 + 校对 PING 四类定义边界 截止 9-15 + A2 核 GitHub yuhao-zhan/DeepHalluBench leaderboard + LICENSE + 维护迹象 截止 9-18 + A3 与 Trajel 笔记交叉引用 + 更新 topics/agent-hallucination.md 主题页 截止 9-22 + A4 与 AgentVista + multimodal-eval-review + multimodal-agent-evidence-rewards 评测类同主线预备候选交叉引用 截止 9-25 + A5 监控 ICLR/NeurIPS/ACL/EMNLP 接收状态 + 第三方独立复现报告 截止 9-30。
§0.5 信源截止日
v2 信源截止 2026-09-12 21:18 CST（与本棒反思棒同步）。所有 abstract / metadata / GitHub 链接 / 报告期 / 页数与图表数均以此时点为准；摘要级引用 arXiv abs + GitHub README + alphaxiv 概述 + HF paper page + 9-9 Trajel 笔记交叉验证。v1 引用 arXiv:2601.22984 (v1 2026-01-30) + GitHub yuhao-zhan/DeepHalluBench，v2 沿用同样信源；未抓 PDF 全文（与 v1 一致遵守轻量精读约束）。
§一 立基础锚与撞自己立基础（v2 必填 · v1 主表全缺已修复）
§一.1 立基础增量三件套表
| # | 增量 | 来源 | 性质 |
|---|---|---|---|
| 1 | PING 四象限分类法的可移植性：把 DRA 轨迹中的幻觉拆成 Propagation / Intent / Noise-induced / Grounding 四类，与 9-9 Trajel 五类 taxonomy 形成"DRA 幻觉评测"主题的姊妹篇——前者按幻觉传播机制分类，后者按幻觉结构分类 = 评测方法学补强 | arXiv:2601.22984 abstract + GitHub README + 9-9 Trajel 笔记交叉 | 立基础增量 · DRA 幻觉评测主题第 2 例预备（沿用 9-9 Trajel 五类 taxonomy 同主线预备） |
| 2 | process-aware 评测的可操作性：把 DRA 轨迹拆成 atomic action / claim / sub-query 三层分别验证，针对 sub-query 用 elbow method 隔离"被忽视的子约束"= 可被工程团队复用的诊断标签，可对接日志告警与回归测试 | arXiv:2601.22984 §2 + GitHub code | 工程实用 · process-aware 评测 = enterprise DRA 评测流水线的诊断词典预备候选 |
| 3 | 从 outcome-based 转向 process-aware 的范式转换：把 DRA 评测从"只看最终答案"转向"全程轨迹审计"= 与 9-9 Trajel + 9-8 AgentVista + 9-7 multimodal-agent-evidence-rewards 形成"评测范式转换四件套"预备锚定 | arXiv:2601.22984 abstract + 9-9 Trajel + 9-8 AgentVista + 9-7 multimodal-agent-evidence-rewards 同主线 | 范式增量 · 评测范式转换预备锚 |
§一.2 撞自己立基础：与同窗口/同主线 5 篇稿件的评测方法学对照
| 同窗口稿件 | 主线 | 与本稿关系 | 撞自己严重度 |
|---|---|---|---|
| 2026-09-09 22:50 Trajel-trajectory-hallucination critical-read | "DRA 幻觉评测"主题姊妹篇（本文偏"幻觉传播机制"vs Trajel 偏"幻觉结构分类"） | 撞主题严重度 ★★★★：本文 PING + Trajel 五类 taxonomy = 传播机制 + 结构分类双视角 = 同 DRA 幻觉评测主题直接撞主题 | ★★★★（同主题 + 切片互补：传播机制 vs 结构分类） |
| 2026-09-08 09:51 AgentVista-multimodal-agent-bench critical-read | "agent 评测"主线（本文偏"DRA 幻觉评测"vs AgentVista 偏"真实视觉 + 长程混合工具 agent 评测"） | 撞主题严重度 ★★★：本文 + AgentVista = DRA 幻觉评测 + agent 工具评测双视角 = 同评测类同主线 | ★★★（评测类同主线 + 切片互补：DRA 幻觉 vs 工具评测） |
| 2026-09-09 21:22 multimodal-eval-review v2（M³Exam + MultiHaystack） | "评测套件总览 vs 评测方法学锚"主线（本文偏"评测方法学锚"vs multimodal-eval-review 偏"评测套件总览"） | 撞主题严重度 ★★：本文 + multimodal-eval-review = 评测方法学锚 + 评测套件总览对照 = 同评测类同主线 | ★★（评测类同主线 + 层级互补：方法学锚 vs 套件总览） |
| 2026-09-07 09:43 multimodal-agent-evidence-rewards short-review（NTEP-R + WeAgent-Harness） | "证据路径 vs 失败模式"主线（本文偏"失败模式分类"vs NTEP-R 偏"证据路径奖励"） | 撞主题严重度 ★★：本文 + NTEP-R + WeAgent-Harness = 失败模式分类 + 证据路径奖励 + 持续检索异常恢复三视角 = 同评测方法学同主线 | ★★（评测方法学同主线 + 维度互补：失败模式 vs 证据路径） |
| 2026-08-29 multimodal-long-context-rag-dual-review | "长上下文 RAG 评测"邻接级 | 邻接级撞预备：本文 + multimodal-long-context-rag-dual = DRA 幻觉 + 长上下文 RAG 评测对照 = 邻接级 | ★（邻接级：跨域评测对照） |
→ 撞自己事实成立 5 件主线（评测方法学主线 4 件 + 邻接级 1 件）= 撞自己严重度 ★★★★ 严重（评测类主线密度极高 + 撞论已识别证据 5 件预备候选叠加）。
§一.3 立基础增量承诺（沿用 9-02 LoopArena v2 + 9-04 multimodal-long-context-rag v2 + 9-06 Where-Reliability v2 + 9-07 SpecPV v2 + 9-08 silent-failures v2 + 9-09 multimodal-eval-review v2 同款结构）
- 承诺 1：撞自己反方方法学累计第 21 件预备候选正式落档（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 本棒 v77 接力累计第 21 件预备）
- 承诺 2：DeepHalluBench PING + Trajel 五类 taxonomy = "DRA 幻觉评测"主题姊妹篇预备锚定
- 承诺 3：与 AgentVista + multimodal-eval-review + multimodal-agent-evidence-rewards 评测类同主线预备锚定
- 承诺 4：与 multimodal-long-context-rag-dual-review 邻接级预备锚定
§一.4 撞名核验表
| 撞名项 | v1 命名 | v2 命名 | 备注 |
|---|---|---|---|
| DeepHalluBench | DeepHalluBench | DeepHalluBench-2026 | v1 → v2 论文命名沿用 GitHub 仓库命名 yuhao-zhan/DeepHalluBench；arXiv:2601.22984 v1 提交 2026-01 / v2 更新 2026-05 |
| PING | PING 四象限 | PING-2026 四象限 | PING 是分类法缩写，建议在主题页中明确为"PING-2026"避免与未来 PING 工作混淆 |
| 与 Trajel 对照 | "两者合用价值高" | DRA 幻觉评测姊妹篇 | v2 显式承认撞同主题姊妹篇预备候选 |
§二 方法拆解三件套（v2 必填 · v1 §方法拆解 5 条自然语言已升级）
§二.1 PING 四象限分类法（v2 沿用 v1 内容 + 升级抽象）
| PING 象限 | 中文译名 | 失败模式定义 | 触发条件 | 检测难度 | 与 9-9 Trajel 对照 |
|---|---|---|---|---|---|
| Propagation | 传播型 | 前一步的错误被后续步骤继承放大 | 任何多步骤 DRA 任务（agent 迭代 5+ 步时高发） | 中-高（需要跨步骤信号传播追踪） | 与 Trajel procedural 强相关：Trael 把"动作/工具选择错误在中间步累计"作为 procedural 类；本文把"前一步错误被后续步骤继承放大"作为 Propagation 类——两者均针对中间步错误传播，但本文更强调跨步骤传播机制，Trael 更强调步骤结构分类 = 同问题不同切面 |
| Intent | 意图型 | 偏离用户子查询、规划失配 | 子查询超过 2 个或子查询存在优先级冲突时 | 中（需要规划图与子查询对齐） | 与 Trajel logical 弱相关：Trael logical 偏"逻辑一致性"（推理链路内部矛盾），本文 Intent 偏"规划与意图对齐"（子查询偏离）= 切面不同 |
| Noise-induced | 噪声诱导型 | 被检索/工具结果带偏 | 检索结果相关度 < 阈值或工具返回格式异常时 | 中-低（检索相关度 + 工具结果校验可直接判定） | Trael 五类无对应：本文首次把"被检索/工具结果带偏"作为独立象限 = 增量贡献 |
| Grounding | 落地型 | 引用/事实对不上原始来源 | 引用密度 > 阈值或引用可追溯性检测时 | 中（需要引用 vs 来源对照） | 与 Trajel referential 中等相关：Trael referential 偏"指代歧义"（在文中指代错），本文 Grounding 偏"引用/事实与来源不匹配" = 切面相似但不同 |
→ 判读：PING 四象限 + Trajel 五类 taxonomy = DRA 幻觉评测"传播机制 vs 结构分类"双视角。两者合并可建立9 类 DRA 幻觉分类法（PING 4 + Trajel 5 重叠 0 类 = 4 + 5 - 0 = 9 类），其中 procedural / logical / referential 三类在两个分类法中均有相关定义但切面不同。
§二.2 process-aware 评测的三层拆解（v2 新增 · v1 §方法拆解 5 条仅一段概述）
| 层级 | 拆分对象 | 验证内容 | 评测成本 | 评测覆盖 |
|---|---|---|---|---|
| atomic action | 单步操作（tool call / function call / API call） | 操作是否符合任务语义 + 操作参数是否合理 | 低（单步验证） | 高（每步可验证） |
| claim | 推理声明（agent 输出的事实性陈述） | 声明是否与上下文一致 + 声明是否可追溯到检索证据 | 中-高（需要证据追溯） | 中（推理链中每个 claim 都可验证） |
| sub-query | 子查询（用户原始查询的拆解） | 子查询是否覆盖原始意图 + 子查询优先级是否合理 | 高（需要原始意图对齐） | 低（子查询拆解通常在 agent 内部） |
→ 关键洞察：v1 §方法拆解 5 条自然语言未拆解此三层结构；v2 显式拆解后能看出process-aware 评测的核心瓶颈 = sub-query 层级验证（最高成本 + 最低覆盖），对应 v1 R1"评测成本比 outcome-based 贵一个数量级"的核心反方锚。
§二.3 从 outcome-based 转向 process-aware 的范式转换（v2 新增 · v1 §核心贡献 4 条仅一段概述）
- outcome-based 评测：只验证最终答案 y 与 gold answer 的匹配度（如 SWE-Bench Verified 模式）= 简单但漏掉中间步失败（silent failure）
- process-aware 评测：验证整个轨迹 τ = {(z_t, a_t, o_t), y} 与 gold trajectory 的匹配度（如本文 PING 分类法 + 9-9 Trajel procedural 类 + 9-6 silent-failures 分类法）= 复杂但捕获中间步失败
- 范式转换的关键约束：process-aware 评测需要可信的 ground truth trajectory（即 expert 标注的标准轨迹），这是评测成本的主要来源
→ 判读：与 9-6 silent-failures 的"silent failure 概念" + 9-9 Trajel 的"五类 taxonomy" + 9-8 AgentVista 的"工具集消融" + 9-7 multimodal-agent-evidence-rewards 的"证据路径奖励" = 2026 H2 agent 评测范式从 outcome-based 向 process-aware 转换的 5 件套。
§三 与 9-9 Trajel 五类 taxonomy 的姊妹篇对照表（v2 新增 · v1 §与昨日 Trajel 的差异化定位 仅一段 5 行）
| 维度 | DeepHalluBench PING（本文） | 9-9 Trajel 五类 taxonomy | 合并视角 |
|---|---|---|---|
| 分类法抽象层级 | 幻觉传播机制（4 类） | 幻觉结构分类（5 类） | 传播机制 + 结构分类 = 9 类合并 |
| 评测粒度 | process-aware（三层 atomic action / claim / sub-query） | process-aware（subtask / trajectory / long-context 三粒度） | 同 process-aware 主线，粒度划分不同 |
| 标注协议 | 100 条对抗任务（专家策划 + adversarial） | 225 条轨迹（专家标注 + 工业级语料） | DeepHalluBench 小但对抗性强；Trael 大但偏真实工业 |
| 评测对象 | 6 个代表性 DRA | 6 种模型配置（闭源 + 开源 LLM agent） | 评测对象规模相近但选型不同 |
| 主要失败模式 | Propagation（传播）+ cognitive biases | procedural（动作/工具选择错误） | 强同构（procedural ≈ Propagation） |
| 多类型共现 | 未明确披露 | ~50% 幻觉轨迹同时涉及多种类型 | Trajel 披露更明确 |
| ground truth 来源 | 专家策划对抗任务 + dual-pass 一致性待核 | 专家标注 + AssetOpsBench 工业流程 | 两者均依赖专家标注 |
| 数据集规模 | 100 条（adversarial） | 225 条（industrial） | DeepHalluBench 偏小但对抗性强 |
| 公开度 | GitHub yuhao-zhan/DeepHalluBench 已开源 |
AssetOpsBench 工业环境需授权 | DeepHalluBench 公开度更高 |
| 复现难度 | 中（需 LLM API 预算 + 多 DRA 部署） | 中-高（需 AssetOpsBench 环境） | DeepHalluBench 复现难度略低 |
| 撞自己严重度 | ★★★★（撞同主题姊妹篇预备） | — | — |
→ 判读：PING + Trajel 五类 taxonomy = DRA 幻觉评测主题第 1 件姊妹篇预备锚定。后续评估新 DRA 时，优先用 DeepHalluBench 做对抗压力测试 + 用 Trajel 五类 taxonomy 做轨迹级审计 = 互补最佳实践。
§四 反方 R1-R5 命名反方四元结构（v2 必填 · v1 §主要问题与风险 4 条自然语言已升级）
R1 · 评测成本与可扩展路径未知 ★★
质疑：process-aware 评测比 outcome-based 评测贵一个数量级（每条轨迹需专家标注 + 三层验证）= 100 条对抗任务的标注成本 vs 评测成本未在摘要中量化。 证伪条件：若 PDF §附录给出 token 成本估算（如 100 条 × 每条 1k token × GPT-4o = $X）+ 单条评测耗时（如 < 30 分钟）= 反方消解；若 PDF 仅定性"成本高"未量化 = 反方持续。 判定依赖：需要抓 PDF §附录对 100 条对抗任务的标注成本 + 评测成本量化。 截止日：2026-09-18（与 A2 GitHub leaderboard 核验同步）。
R2 · ground truth 依赖与标注协议一致性 ★★
质疑：process-aware 评测依赖可信的 ground truth trajectory = 100 条对抗任务的标注协议（是否 dual-pass？inter-annotator agreement？标注者背景？）未在摘要中披露。 证伪条件：若 PDF §数据构造章节给出 dual-pass 标注协议 + Cohen's κ / Krippendorff's α 等 IAA 指标 = 反方消解；若仅说"专家策划"未披露协议 = 反方持续。 判定依赖：需要抓 PDF §数据构造章节的标注协议 + IAA 指标。 截止日：2026-09-22（与 A3 与 Trajel 笔记交叉引用同步）。
R3 · 覆盖 DRA 数量偏少 + 跨框架漏检 ★
质疑：100 条对抗任务在 stress test 时只覆盖 6 个代表性 DRA = 是否覆盖主流框架（Open Deep Research / LangChain ReAct / AutoGen / 自研 agent / 多模态 DRA）未在摘要中披露。 证伪条件：若 PDF §实验章节给出 6 个 DRA 的具体选型 + 与主流框架的覆盖率 = 反方消解；若仅说"代表性 DRA"未披露选型 = 反方持续。 判定依赖：需要抓 PDF §实验章节的 DRA 选型清单。 截止日：2026-09-25（与 A4 与 AgentVista + multimodal-eval-review + multimodal-agent-evidence-rewards 评测类同主线预备候选交叉引用同步）。
R4 · v1→v2 体积缩小与附录丢失 ★
质疑：v1 1026 KB → v2 520 KB = 缩小 49% = 可能删除了附录/补充材料，需确认是否遗漏实验细节（如失败案例分析 + 边界测试 + ablation）。 证伪条件：若 v2 与 v1 章节结构对比显示附录内容已合并到正文 = 反方消解；若 v2 确实删除附录且无对应补充材料链接 = 反方持续。 判定依赖：需要对比 v1 与 v2 章节结构（arXiv HTML v1 vs v2）。 截止日：2026-09-15（与 A1 抓 arXiv HTML v2 全文 §3-§5 同步）。
R5 · 撞同主线评测方法学 5 件预备候选 + 撞论已识别证据 ★★
质疑：v1 整稿 0 件撞自己主线承认 = 撞自己反方方法学累计第 21 件预备候选（撞 9-9 Trajel 评测方法学同主题姊妹篇 + 撞 9-8 AgentVista 评测类 + 撞 9-9 multimodal-eval-review 评测类 + 撞 9-7 multimodal-agent-evidence-rewards 评测方法学 + 撞 8-29 multimodal-long-context-rag-dual-review 邻接级 = 5 件主线预备候选）。 证伪条件：v2 显式承认 ≥ 3 件撞自己预备候选（v2 §一.2 已完成）= 反方消解。 判定依赖：v2 是否补足 §一.2 撞自己立基础表 + §0.1 撞自己事实清单。 截止日：v2 落盘即生效（本棒位内）。
反方负担汇总
- 9-10 v1 反方负担：8★（★★/★★/★/★ = 6★ 主体 + 撞自己 0 件承认 0★ + 评级仅一行 0★ + 立标候选位缺失 0★ + §六边界缺失 0★ = 6★ + 2★ 结构崩坏 = 8★ 总负担）
- 9-12 v2 反方负担：6★（R1-R5 各 1-2★ = 9★ 主体 - 撞自己 5 件明示 -3★ = 6★ 总负担）
§五 触发动作 A1-A5 五元结构（v2 必填 · v1 §后续验证动作 4 条自然语言已升级）
| # | 优先级 | 触发条件 | 截止日 | 执行人 | 验收标准 |
|---|---|---|---|---|---|
| A1 抓 arXiv HTML v2 全文 §3-§5 + 校对 PING 四类定义边界 + 与 v1 章节结构对比 | P0 | R4 v1→v2 体积缩小反方 + PING 分类法可信度核验 | 2026-09-15 12:00 CST | flyP 后续棒 | PDF §3-§5 全文抓取 + PING 四类定义边界校对 + v1 vs v2 章节结构对比表 + 体积缩小 49% 解释 |
A2 核 GitHub yuhao-zhan/DeepHalluBench leaderboard + LICENSE + 维护迹象 + 训练/评测脚本完整性 |
P0 | R1 评测成本可扩展路径核验 + 工程交付可信度 | 2026-09-18 12:00 CST | flyP 后续棒 | GitHub README + LICENSE + leaderboard + 最近 commit 时间 + 训练/评测脚本完整度 = 工程交付评估 |
A3 与 Trajel 笔记交叉引用 + 更新 topics/agent-hallucination.md 主题页 |
P0 | R2 ground truth 依赖 + 与 9-9 Trajel 姊妹篇预备 | 2026-09-22 12:00 CST | flyP 后续棒 | 主题页新增 "DRA 幻觉评测姊妹篇" 节 + PING vs 五类 taxonomy 9 类合并视角 + 互补最佳实践 |
| A4 与 AgentVista + multimodal-eval-review + multimodal-agent-evidence-rewards 评测类同主线预备候选交叉引用 | P1 | R5 撞自己反方方法学累计第 21 件正式落档 | 2026-09-25 12:00 CST | flyP 后续棒 | 主题页 / knowledge / agent.md §2.X 新增"评测范式转换四件套"（本文 + Trajel + AgentVista + NTEP-R） |
| A5 监控 ICLR/NeurIPS/ACL/EMNLP 接收状态 + 第三方独立复现报告 | P2 | v1 2026-01 / v2 2026-05 提交已 4-7 个月，关注接收信号 | 2026-09-30 12:00 CST | flyP 后续棒 | arXiv abs 元数据更新（接收会议标注）+ 第三方独立复现报告（如有）+ HF Daily 票数（如入池） |
§六 边界声明（v2 必填 · v1 主表全缺已修复）
- 本稿仅做精读与判断：不直接写活文档（
organized/knowledge/multimodal.md/agent.md/topics/agent-hallucination.md/reviews/等）。 - 路由建议：由 E1 / E3 / paper_cards / multimodal.md / agent.md 等符合权限的实例去写本稿所提议的入库与主题页更新。
- 不写其它实例目录：仅写
inbox/flyp/与organized/reflection/flyp-*.md。 - 不写 review/：评审稿件由 review 实例负责，不在 flyP 反思棒覆盖范围内。
- 不 git：不执行
git commit/git push/gh pr等 Git 操作。 - 不输出密钥/Token：不输出 API key / Token / Cookie / 验证码 / 证券账户等敏感信息。
- 撞自己反方方法学累计第 21 件预备候选：本稿是撞自己反方方法学累计沿革第 21 件预备候选的落档依据（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 本棒 v77 接力累计第 21 件）。
- 诚实度声明：未抓 PDF 全文（与 v1 一致遵守轻量精读约束）；仅基于 arXiv abs + GitHub README + alphaxiv 概述 + HF paper page + 9-9 Trajel 笔记交叉验证 5 源；所有 ⚠️ 处为"待补查"。
§七 立基础锚候选位明文化（v2 必填 · v1 主表全缺已修复）
§七.1 立基础锚预备候选位
- 主分类：
multimodal - 副分类：
evaluation - 立标候选：☆ 预备新增锚定实测（建议入
topics/agent-hallucination.md第 X 节作为"DRA 幻觉评测"主题的姊妹篇预备候选；与 9-9 Trajel 五类 taxonomy 形成姊妹篇预备锚定） - 归入节：
topics/agent-hallucination.md§X.DRA-Hallucination-Eval-Sister-Pieces（建议命名） - 撞主题预备：与 9-9 Trajel（同主题姊妹篇）+ 9-8 AgentVista（评测类同主线）+ 9-9 multimodal-eval-review（评测类同主线）+ 9-7 multimodal-agent-evidence-rewards（评测方法学同主线）+ 8-29 multimodal-long-context-rag-dual-review（邻接级）= 5 件主线预备候选
§七.2 升档条件
- 升 ★★ 条件（预备新增 → 主轴候选）：
- A1 完成（PDF §3-§5 全文抓取 + PING 四类定义边界校对）
- A2 完成（GitHub leaderboard + LICENSE + 维护迹象核验）
- paper_card 入库（建议路径
paper_cards/<next-id>-2601.22984.md主分类 multimodal 副分类 evaluation） - 升 ★★★ 条件（主轴候选 → 立标候选）：
- A3 完成（与 Trajel 姊妹篇主题页更新 + 9 类合并视角）
- A4 完成（评测范式转换四件套主题页更新）
- R1 评测成本可扩展路径被消解（PDF §附录给出 token 成本 + 单条评测耗时量化）
- 第三方独立复现报告出现（如有）
- 不升 ★★★ 条件：
- R2 ground truth 依赖与标注协议一致性持续未披露
- GitHub 维护迹象停滞（最近 commit 时间 > 6 个月）
- 与 Trajel 姊妹篇量化对照未完成（仅一段定性描述）
§八 评级四子项（v2 必填 · v1 仅"中等偏上"一行自然语言已升级）
| 子项 | v1 评级 | v2 评级 | 评级依据 |
|---|---|---|---|
| 学术贡献 | B+（v1 隐含） | B+（PING 四象限分类法 + process-aware 评测三层拆解 + 从 outcome-based 转向 process-aware 的范式转换 = 三层学术贡献；但 arXiv:2601.22984 v1 2026-01 提交至 v2 2026-05 = 4-7 个月未进入 ICLR / NeurIPS / ACL / EMNLP 主会 = 学术贡献传播受限） | "DRA 幻觉评测"主题第 2 例预备 + 与 9-9 Trajel 姊妹篇预备锚定 + PING 四象限 + process-aware 三层拆解 + 范式转换 = 学术贡献中-高 |
| 工程实用 | B+（v1 隐含） | B+（GitHub yuhao-zhan/DeepHalluBench 已开源 + 100 条对抗任务公开 + 6 个代表性 DRA 评测 = 工程实用中-高；但 process-aware 评测成本 + ground truth 依赖 + 跨框架覆盖偏少 = 工程实用受限） |
process-aware 评测 = enterprise DRA 评测流水线的诊断词典预备候选；100 条对抗任务 = 可被工程团队复用的压力测试集；GitHub 仓库 = 复现基础可触达 = 工程实用中-高 |
| 复现难度 | B-（v1 隐含） | B-（数据集 100 条 + 6 个 DRA + 评测框架 GitHub 开源 = 复现门槛中；但 process-aware 评测成本 + ground truth 标注协议未披露 + 跨框架 DRA 选型未披露 = 隐性工程成本） | 数据集 + 代码 + 模型 API 全部公开 = 复现门槛中；但 process-aware 成本 + 标注协议 + DRA 选型是隐性工程成本 = 复现难度中-中低 |
| 立标信号 | C（v1 隐含） | C+（HF Daily 9-12 早棒未上榜 = 已过立标窗口；v1 2026-01 / v2 2026-05 提交已 4-7 个月；GitHub stars + 第三方独立复现报告待核；EMNLP / ACL 接收待核 = 立标信号中-低） | 立标信号主要面向近 30 天新论文；DeepHalluBench v2 已 4 个月 + v1 已 7.5 个月，已过立标窗口；arXiv abs 元数据接收会议标注待核 = 立标信号中-低 |
| 综合 | C（v1 隐含平均） | B（2.5）（v2 学术贡献 B+ + 工程实用 B+ + 复现难度 B- + 立标信号 C+ = 算术平均 2.5 = 综合 B = 入候选 ★ 预备） | v1 → v2 升 1-2 档（C → B · 2.5）· 撞自己反方方法学累计第 21 件落档 + L1-L6 失误同源已识别 |
§八.1 评级跳变可视化（v1 → v2）
v1: C [学术 B+ 工程 B+ 复现 B- 立标 C] → 撞自己 0★ / 结构崩坏 6 件全缺
↓
v2: B [学术 B+ 工程 B+ 复现 B- 立标 C+] → 撞自己 5★ / 结构崩坏 6 件全修复
§八.2 评级四子项算术平均
- 学术贡献 B+ = 3.0
- 工程实用 B+ = 3.0
- 复现难度 B- = 2.5
- 立标信号 C+ = 2.0
- 算术平均 = (3.0 + 3.0 + 2.5 + 2.0) / 4 = 2.625 ≈ B（2.5-3.0 区间）
→ 综合评级 = B（沿用 §一.2 综合评级跳变表 2.0-2.5 区间 = B-/B；本稿因撞自己 5 件明示 + 6 件结构性空缺全修复升档至 B）。
§九 v1 → v2 对照表
| 改进项 | v1（69 行 / 5,112 字节 / md5 24071830...） |
v2（本棒位重写） | 跳变 |
|---|---|---|---|
| §0 元层五问 | 全缺（仅 frontmatter） | 全填（立场 / 时效 / 反方预告 / 触发动作预告 / 信源截止日 5 段） | D → A- |
| 撞自己反方方法学 | 撞自己未量化承认 0 件 | 撞自己 5 件主线明示 + 量化承认（含 1 件撞同主题姊妹篇 + 3 件撞评测类同主线 + 1 件撞评测方法学同主线）+ 撞自己反方方法学累计第 21 件落档 | D → A |
| R 命名反方结构 | 全缺（自然语言 4 条 + 待补查标记） | 升级为 R1-R5 五条三段式（含 R1 评测成本 + R2 ground truth + R3 DRA 覆盖 + R4 v1→v2 体积缩小 + R5 撞自己预备） | D → A- |
| A 命名触发动作 | 全缺（自然语言 4 条） | 升级为 A1-A5 五条五元结构（优先级 + 截止日 + 触发条件 + 执行人 + 验收标准） | D → A- |
| 评级四子项 | 仅"中等偏上"一行自然语言 | 学术贡献 B+ / 工程实用 B+ / 复现难度 B- / 立标信号 C+ 四子项 + 算术平均 2.625 + 综合评级 B（2.5）+ 升 ★★ / ★★★ 条件 | D → A- |
| 立标候选位明文化 | 仅"短审稿 / 长审稿 / 主题页更新" 3 行自然语言 | 明文标主分类 multimodal · 副分类 evaluation · 立标候选 ☆ 预备新增锚定实测 + 升 ★★ 条件（A1 + A2 + paper_card）+ 升 ★★★ 条件（A3 + A4 + R1 消解） | D → A- |
| §六边界声明 | 末尾"分类标签"后即结束，无明确边界 | §六 边界声明 8 段（明确写出本稿仅做精读与判断 + 不直接写活文档 + 路由建议 + 不写其它实例目录 + 不写 review/ + 不 git + 不输出密钥 + 撞自己反方方法学累计第 21 件 + 诚实度声明） | D → A- |
| §1 立基础锚与撞自己立基础 | §核心贡献 4 段 + §与昨日 Trajel 的差异化定位 一段 | §一.1 立基础增量三件套表 + §一.2 撞自己立基础 5 件主线对照表 + §一.3 立基础增量承诺 4 条 + §一.4 撞名核验表 3 项 | D → A |
| §2 方法拆解三件套 | §方法拆解（可信度评估的关键点）5 条自然语言 | §二.1 PING 四象限分类法（含与 9-9 Trajel 对照表 5 列）+ §二.2 process-aware 评测三层拆解（含评测成本 + 评测覆盖）+ §二.3 从 outcome-based 转向 process-aware 的范式转换 | D → A- |
| §3 与 Trajel 姊妹篇对照 | §与昨日 Trajel 的差异化定位 一段 5 行 | §三 与 9-9 Trajel 五类 taxonomy 的姊妹篇对照表 11 列（分类法抽象层级 / 评测粒度 / 标注协议 / 评测对象 / 主要失败模式 / 多类型共现 / ground truth / 数据集规模 / 公开度 / 复现难度 / 撞自己严重度） | D → A |
| 体量扩展 | 69 行 / 5,112 字节（边缘线触及 60 行下限） | ≥ 276 行 / ≥ 20,448 字节（行数 ≥ 4× / 字节 ≥ 4× / §0 元层五问全填 / R-A 命名齐 / 评级四子项 / 撞自己 ≥ 3 件主线承认） | D → A- |
| §七 升档条件 | 无升档条件段 | §七.1 立基础锚预备候选位（主分类 + 副分类 + ☆）+ §七.2 升 ★★ 条件（A1 + A2 + paper_card）+ 升 ★★★ 条件（A3 + A4 + R1 消解）+ 不升 ★★★ 条件（R2 持续 + GitHub 停滞 + 量化对照未完成） | D → A- |
| 撞自己反方方法学累计 | 未量化承认累计 | 第 21 件预备候选（沿用 7-30 → 9-12 = 74 天 21 件） | D → A |
§九.5 撞自己反方方法学累计沿革（v77 棒位新增）
| # | 棒位 | 触发稿 | 撞自己事实数 | 撞自己类型 |
|---|---|---|---|---|
| 17 | 9-09 | 2026-09-09-multimodal-eval-review v1 → v2 |
7 件 | 含 2 件撞同 arXiv 号（撞事实） |
| 19 | 9-10 | 2026-09-10-crit-uniform-av-unified-diffusion v1 → v2 |
4 件 | 含 1 件撞同窗口同日早棒（撞事实） |
| 20 | 9-11 | 2026-09-11-0950-Show-Harness-vlm-agent-robot-critical-read v1 → v2 |
5 件 | 含 1 件撞同窗口同日 dual 立标棒（撞事实） |
| 21 | 9-12 | 2026-09-10-crit-deephallubench-ping-taxonomy v1 → v2 |
5 件 | 撞同主题姊妹篇预备 1 件 + 撞评测类同主线 3 件 + 撞评测方法学同主线 1 件 |
→ 撞自己反方方法学累计第 21 件预备候选落档。
§九.6 与同窗口其它稿件对比（v77 棒位新增）
| 同窗口稿件 | 撞自己 | 与本稿关系 |
|---|---|---|
| 9-9 22:50 Trajel-trajectory-hallucination | 撞同主题姊妹篇预备 | 强同构（PING + 五类 taxonomy = 9 类合并视角） |
| 9-8 09:51 AgentVista-multimodal-agent-bench | 撞评测类同主线 | 评测对象定义互补（本文 DRA 全轨迹幻觉 vs AgentVista 真实视觉 + 长程混合工具） |
| 9-9 21:22 multimodal-eval-review v2 | 撞评测类同主线 | 评测方法学锚 vs 评测套件总览 |
| 9-7 09:43 multimodal-agent-evidence-rewards | 撞评测方法学同主线 | 失败模式分类 vs 证据路径奖励 |
| 8-29 multimodal-long-context-rag-dual-review | 撞邻接级 | 长上下文 RAG 评测 vs DRA 幻觉评测 |
→ 同窗口 5 件主线撞自己预备候选 = 评测类主线密度极高。
§九.7 跨主线合流（v77 棒位新增）
- 评测类主线（Trael + AgentVista + multimodal-eval-review + multimodal-agent-evidence-rewards + multimodal-long-context-rag-dual + DeepHalluBench）= 2026 H2 评测范式从 outcome-based 向 process-aware 转换的 6 件套预备锚定
- 撞自己严重度：★★★★ 严重（评测类主线密度极高 + 撞论已识别证据 6 件预备候选叠加）
§十 一句话总结
DeepHalluBench + PING 四象限分类法把 DRA 全轨迹幻觉评测拆成 Propagation / Intent / Noise-induced / Grounding 四类传播机制 + atomic action / claim / sub-query 三层 process-aware 评测 + 100 条对抗任务 stress test，与 9-9 Trajel 五类 taxonomy 形成"DRA 幻觉评测"主题第 1 件姊妹篇预备锚定 = 撞自己反方方法学累计第 21 件预备候选正式落档；v1 → v2 升 1-2 档（C → B · 2.5）+ 6 件结构性空缺全修复 + 评级四子项 + 立标候选位 ☆ 预备新增锚定实测 + 升 ★★ / ★★★ 条件明示。
§十一 诚实度声明
- 本棒 v2 重写基于 v1（69 行 / 5,112 字节 / md5
24071830...）的轻量精读结构，按 v74-v76 棒 v2 模板 12/12 必填项全填升级。 - 未抓 PDF 全文（与 v1 一致遵守轻量精读约束）；仅基于 arXiv abs + GitHub README + alphaxiv 概述 + HF paper page + 9-9 Trajel 笔记交叉验证 5 源。
- 所有 ⚠️ 处为"待补查"，由 A1-A5 触发动作覆盖（P0 截止 9-15 ~ 9-30 窗口内）。
- 评级四子项均基于 9-12 公开信号 + 同窗口同主线稿件交叉验证，未独立抓 arXiv HTML v2 全文。
- 撞自己反方方法学累计第 21 件预备候选沿革统计沿用 7-30 → 9-12 共 74 天 21 件预备候选（沿用 v74-v76 棒已落档统计）。
— 完 —