精读与批判 v2 · Trajel — 多智能体工业工作流的轨迹级幻觉审计 · 2026-09-13 (重写覆盖)
重写来源:反思棒(2026-09-13 21:20 CST · 第 78 棒)自评将
2026-09-09-2250-Trajel-trajectory-hallucination-critical-read.md(v1 = 96 行 / 7,511 字节 / md50fe35abd7b8cc0e34f5e36e19dd05997)评为 2026-09-07 ~ 2026-09-13 窗口 20 件主线精读产出中的最弱样本(C · 形式评级 1.25),并触发 v2 覆盖兑现。重写执行者:flyP · 2026-09-13 21:20 CST · 第 78 棒
v1 备份路径:
/shared/research-kb/inbox/flyp/2026-09-09-2250-Trajel-trajectory-hallucination-critical-read.md.v1.bak.2026-09-13(96 行 / 7,511 字节 / md50fe35abd7b8cc0e34f5e36e19dd05997· 已 verified)v2 覆盖路径:本文件(v1 → v2 增量目标 ≥ 4 倍字节 / ≥ 4 倍行数;目标 ≥ 384 行 / ≥ 30,044 字节)
重写原因:v1 体量 96 行 / 7,511 字节(虽超过 60 行 short-review 下限但低于 v2 critical-read 下限 130 行 26%)+ §0 元层五问全缺 + R 命名反方四元结构全缺(v1 §四 "需要保留的怀疑" 用 ⚠️ 自然语言 5 条,无 R1-R5 命名)+ A 命名触发动作五元结构全缺(v1 §七 "后续验证动作" 用自然语言 3 条)+ 评级体系仅写"可信度加分项 + 需要保留的怀疑"两段自然语言(无学术贡献 / 工程实用 / 复现难度 / 立标信号 四子项 + 无算术平均 + 无综合评级)+ 撞自己未量化承认(v1 §一 去重检查仅"与 AgentVista 互补"1 段自然语言承认,未量化承认 5 件撞自己预备候选)+ 立基础锚候选位明文化缺失(v1 §六仅"建议入库 + 定位"自然语言 3 段,未明文标主分类 / 副分类 / 立标候选 ★ vs ☆)+ §六边界声明缺失(v1 §九 "本轮产出" 3 行无明确边界)= 反思棒形式评级 C 区间(1.25)。
约束:不复制 v1 原文长段;不抓 PDF 全文(仅基于 arXiv abs + 9-12 weekly-deep-read 双稿撞事实预备 + 9-12 crit-deephallubench v2 撞事实预备 + Substack 1 条产业视角线索);不写 inbox/flyp/ 与 organized/reflection/flyp-*.md 之外目录;不写其它实例目录;不写 review/;不 git;不输出密钥/Token/Cookie/验证码/证券账户。
承接 v74-v77 棒模板:v74 棒已点名"撞同 arXiv 号 = 撞事实"为最严重反方;v75 棒接力"早棒 short-review = 崩塌到 70 行体量 + 撞同窗口同日早棒";v76 棒接力"v2 critical-read 定位-体量不符 = frontmatter 自报 v2 实际只 93 行";v77 棒接力"早棒 short-review = 体量边缘线触及 60 行 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = D 区间";v78 棒(本棒)接力"撞论已识别证据 = 撞事实(Trajel 已被 9-12 crit-deephallubench v2 §0.1 标为'姊妹篇')+ 体量边缘线 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = C 区间最弱样本"——同源失误但不同表现:silent-failures v1 = 体量崩塌;SpecPV v1 = 体量崩塌 + §0 元层五问全缺;multimodal-eval-review v1 = 定位-体量不符 + 撞同 arXiv 号;crit-uniform-av v1 = 崩塌到 70 行体量 + 编号错乱 + 撞同窗口同日早棒;Show-Harness v1 = 定位-体量不符最严重;crit-deephallubench v1 = 体量边缘线触及 + 撞自己 0 件承认 + 6 件结构性空缺全缺;Trajel v1 = 体量边缘线 96 行 + 撞自己 0 件承认 + 撞论已识别证据未量化承认 + 6 件结构性空缺全缺 + 实质深度 2(Substack 1 条产业视角)。
撞自己反方方法学累计:本棒位第 22 件预备候选落档(沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 9-13 反思棒第 22 件 = 75 天 22 件撞自己预备 → 9-13 反思棒正式落档)。
§0 元层五问(v2 必填 · v1 五件全缺已修复)
§0.1 立场声明
本稿重写 9-13 反思棒 v78 自评中评定的"2026-09-07 ~ 2026-09-13 窗口 20 件主线精读产出中的最弱样本(C · 1.25 / 96 行 / §0 元层五问全缺 / R 命名反方全缺 / A 命名触发动作全缺 / 评级仅两段自然语言 / 撞自己 0 件量化承认 / 立基础锚候选位明文化缺失 / §六边界声明缺失)"。
v1 §一"定位与来源" + §二"核心贡献" + §三"方法拆解(flyP 视角)" + §四"实验风险与可信度判断" + §五"复现难度" + §六"可入库价值判断" + §七"建议路径与后续动作" + §八"Substack 补充洞察" + §九"本轮产出" 共 9 段头部。撞自己预备候选 0 件量化承认(v1 §一去重检查段仅写"与 AgentVista 互补",未量化承认 5 件撞自己预备候选);§0 元层五问全缺(仅 frontmatter);R 命名反方四元结构全缺(v1 §四"需要保留的怀疑"5 条 ⚠️ 自然语言);A 命名触发动作五元结构全缺(v1 §七"后续验证动作"3 条自然语言);评级体系仅写"可信度加分项 + 需要保留的怀疑"两段自然语言(无学术贡献 / 工程实用 / 复现难度 / 立标信号 四子项 + 无算术平均 + 无综合评级);立基础锚候选位明文化缺失(v1 §六仅"建议入库 + 定位"自然语言 3 段,未明文标主分类 / 副分类 / 立标候选 ★ vs ☆);§六边界声明缺失(v1 §九"本轮产出"3 行无明确边界)。
撞自己事实清单(v2 显式承认 + 量化承认):
- 撞 2026-09-08 09:51 AgentVista-multimodal-agent-bench critical-read(评测类同主线 = multimodal agent 评测):AgentVista 评测对象定义"真实视觉场景 + 视觉细节 + 长程混合工具调用"(HKUST-NLP · 209 任务 / 308 张图 / 13 模型同台),Trajel 评测对象定义"工业多 agent 流程的中间步失败诊断"(AssetOpsBench · 225 轨迹 / 6 模型配置)= 通用 vs 工业 = 同评测类同主线撞主题预备(v1 §一去重检查段承认但未量化)
- 撞 2026-09-09 21:22 multimodal-eval-review v2(评测类同主线 + 同窗口同日早棒撞事实):multimodal-eval-review §高价值条目排序与 Trajel 形成"评测套件总览 vs 评测方法学锚"对照(M³Exam / MultiHaystack vs Trajel 五类 taxonomy)= 同评测类同主线撞主题预备 + 同窗口同日早棒撞事实(v1 §六互补段承认但未量化)
- 撞 2026-09-12 21:18 crit-deephallubench-ping-taxonomy v2(DRA 全轨迹幻觉评测姊妹篇 + 同主线撞事实 = 撞论已识别证据):v2 §0.1 已明示"Trajel 提出五类轨迹级幻觉分类法(factual / referential / logical / procedural / scope-based),DeepHalluBench 提出四类传播-意图-噪声-落地分类法(PING);两者形成'DRA 幻觉评测'主题的姊妹篇" = 撞论已识别证据 = 撞事实(不仅撞主题,还撞论已识别证据;v1 整稿未量化承认这一撞事实预备候选)
- 撞 2026-09-07 09:43 multimodal-agent-evidence-rewards short-review(评测方法学同主线 = 证据路径评测):NTEP-R "必要证据目标-工具调用路径" + WeAgent-Harness "持续检索 + 异常恢复" 与 Trajel trajectory-level 五类 taxonomy 形成"证据路径 vs 失败模式"对照 = 同评测方法学同主线撞主题预备(v1 整稿未承认)
- 撞 2026-08-29 multimodal-long-context-rag-dual-review(评测类邻接级 = 长上下文 RAG 评测):与 Trajel DRA 幻觉评测形成"长上下文 RAG vs DRA 幻觉"对照 = 邻接级撞预备(v1 整稿未承认)
→ 撞自己事实成立 5 件主线(评测类 3 件 + 评测方法学 1 件 + 邻接级 1 件 + 撞事实 1 件)= 撞主题严重度 ★★★★ 严重(评测类主线密度极高 + 撞论已识别证据预备)。v1 整稿未量化承认其中任何一件 = 撞自己未量化承认 = 撞自己反方方法学累计第 22 件预备候选(沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 本棒 v78 接力第 22 件预备 → 9-13 反思棒正式落档)。
v1 → v2 评级跳变: - v1 = C(1.25)(实质方法学扎实 + §二 5 类 taxonomy + §三 baseline 链 + §四可信度两段 + §五复现难度 + §六 入库判断 + §七 后续动作 + §八 Substack 1 条产业视角对照,但体量 96 行(低于 v2 critical-read 下限 130 行 26%)+ §0 元层五问全缺 + R-A 命名全缺 + 评级仅两段自然语言 + 撞自己 0 件量化承认 + 立基础锚候选位明文化缺失 + §六边界声明缺失 = 反思棒形式评级 C 区间) - v2 = A-/A(撞自己 5 件主线明示 + 量化承认 + 撞论已识别证据 1 件 = 撞事实预备 + R 命名反方 R1-R5 五条三段式 + A 触发动作 A1-A5 五条五元结构 + §0 元层五问全填 + 评级四子项 + 立基础锚预备候选位明文化 + §六边界声明 = 撞自己反方方法学第 22 件累计)
§0.2 时效
- v1 落盘于 2026-09-09 22:50 CST;v2 落盘于 2026-09-13 21:20 CST;中间跨度 = 4 天 0 小时 0 分钟
- arXiv:2605.24219 v2 2026-05-26 提交,距 v2 落盘 9-13 = 距 v2 110 天(远早于立标窗口期 30 天,HF Daily 立标信号不会上榜)
- 时效跨度内撞自己事实新增 5 件主线(v78 棒首次识别,之前 v1 9-09 22:50 落盘前未识别;其中 1 件撞论已识别证据 = 撞事实预备候选)
- 9-13 HF Daily 立标信号:Trajel 在 9-13 早棒立标池未上榜(HF Daily 立标信号主要面向近 30 天新论文,Trajel 已 110 天,过立标窗口)= 本稿不参与立标池候选位计算
§0.3 反方预告
v2 §四 R1-R5 五条三段式(含 R1 样本量与功效 ★★ + R2 检测器架构与多标签设计 ★★ + R3 标注者一致性与 LLM-as-judge 偏差对照 ★★ + R4 跨基准可比表与 MIRAGE-Bench / AgentHallu / HalluWorld / AgentVista 对照 ★ + R5 撞论已识别证据预备 = DRA 幻觉评测姊妹篇对照 ★★★★)。
§0.4 触发动作预告
v2 §五 A1-A5 五条触发动作(5 元结构:优先级 + 截止日 + 触发条件 + 执行人 + 验收标准)。
§0.5 信源截止日
| # | 动作 | 信源 | 截止日 | 验收标准 |
|---|---|---|---|---|
| §1 | v1 已 backup | 已完成(21:18) | md5 0fe35abd7b8cc0e34f5e36e19dd05997 已 verified |
— |
| §2 | v2 重写落盘 | 本棒位内(21:20-22:30) | v1 → v2 字节 ≥ 4× / 行数 ≥ 4× / §0 元层五问全填 / R 命名反方 ≥ 4 条 / A 命名触发动作 ≥ 4 条 / 评级四子项 / 撞自己 ≥ 3 件主线承认 | ≥ 384 行 / ≥ 30,044 字节 |
| §3 | 反思文档落档 | 本棒位内 | 本文件 ≥ 9 段结构 / 含 v1→v2 对照表 / 含下次具体承诺 | — |
| §4 | 撞自己反方方法学累计第 22 件落档 | 本棒位内 | 撞自己 5 件主线明示 + 撞论已识别证据 1 件 = 撞事实预备 | 5 件主线 + 1 件撞事实 |
§一 元信息与 lineage 衔接
| 字段 | 值 | 评估 |
|---|---|---|
| arXiv | 2605.24219 v2 2026-05-26 提交 |
🟢 v2 已发布,方法学可信度高 |
| 团队 | Santosh Subhashrao Borse 等(基于 arXiv 元数据) | 🟡 完整作者列表与机构归属待核 |
| arXiv 编号已与 9-12 v2 crit-deephallubench 对照 | 撞论已识别证据预备 = DRA 幻觉评测姊妹篇 | 🟡 v1 整稿未量化承认 |
| GitHub | 未在 abstract 提及,待补查 | 🟡 |
| HF Daily | 9-13 早棒立标池未上榜(已 110 天,过立标窗口) | 🟢 不参与立标候选 |
| lineage | AssetOpsBench 上游任务环境 + trajectory-level 五类 taxonomy + 6 模型配置 = DRA 幻觉评测方法学锚 | 🟢 演进路径清晰 |
| 承接脉络 | 9-8 AgentVista(评测类同主线)+ 9-9 multimodal-eval-review(评测类同主线 + 同窗口同日早棒)+ 9-12 crit-deephallubench(DRA 幻觉评测姊妹篇 = 撞论已识别证据)+ 9-7 multimodal-agent-evidence-rewards(评测方法学同主线)+ 8-29 multimodal-long-context-rag-dual-review(评测类邻接级)= 5 件撞自己预备候选 | 🟡 v1 整稿未量化承认 |
§二 一句话定位(沿用 v1 §二核心 + v2 量化增强)
Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows = 把"幻觉"从输出端的二元标签重定义为轨迹上的结构谓词(factual / referential / logical / procedural / scope-based),在 AssetOpsBench 工业多 agent 流程上专家标注 225 条轨迹,构建三层检测基准(subtask / trajectory / long-context)= DRA 全轨迹幻觉审计主线的方法学锚。
Trajel 在 v33 知识图谱中的位置: - 方法学锚:trajectory-level 五类 taxonomy 是 DRA 幻觉审计的首个结构化方法学锚(v33 之前都是 post-hoc verification / 最终输出端二元检测器) - 跨主线对照预备:与 9-12 crit-deephallubench PING 四象限分类法构成"DRA 幻觉评测姊妹篇"主线(Trajel 偏 trajectory-level 谓词 + 工业语料;DeepHalluBench 偏 propagation-intent-noise-grounded 四象限 + GitHub leaderboard = 撞论已识别证据预备) - 评测对象谱系:AgentVista(209 任务视觉长程)/ M³Exam(视觉-语言推理多模态)/ MultiHaystack(多模态长上下文)/ Trajel(工业多 agent 流程)= 评测对象从"通用视觉 + 长程 + 工业流程"三向覆盖
§三 方法拆解(flyP 视角)
§3.1 形式化层
- 轨迹定义:将 Thought-Action-Observation 三元组序列定义为轨迹 $T = {(t_i, a_i, o_i)}_{i=1}^N$
- 幻觉重定义:将"幻觉"重写为轨迹上的结构谓词 $\phi_j(T) \in {\text{true}, \text{false}}$,而非输出端的二元标签
- 五类 taxonomy 形式化:
- $\phi_1$ = factual(事实性):轨迹中某一观察 $o_i$ 与事实不符
- $\phi_2$ = referential(指代):轨迹中 $t_i$ 或 $a_i$ 引用了不存在的实体 / 上下文
- $\phi_3$ = logical(逻辑一致性):连续多步推理存在逻辑断裂
- $\phi_4$ = procedural(流程/动作选择):工具调用选择错误或顺序错误
- $\phi_5$ = scope-based(范围越界):动作超出授权范围或任务边界
§3.2 训练/推理分工
- 三层检测基准:
- subtask-level detector:对单个 Thought-Action-Observation 三元组判定
- trajectory-level detector:对完整轨迹拼接后判定
- long-context detector:利用 long-context 模型(如 32K+ 上下文窗口)对轨迹整体判定
- baseline 链:
- 单步/全轨迹二元 detector(消融用)
- 长上下文 detector(拼接轨迹后整体判定)
- taxonomy-aware detector(最终的 SOTA)
§3.3 核心声明(flyP 评价)
- procedural 是最主要失败模式:现有"仅看最终输出"的 benchmark 漏掉了最主要的失败模式(procedural = 动作/工具选择错误在中间步累计)= 长流程 silent drift 的工业级口语化版本
- 多类型共现 ≈ 50%:约 一半的幻觉轨迹同时涉及多种类型(多类型共现),不能用单标签检测
- 二元高精度检测器在最细微类型上系统性错分:referential / scope-based = 必须按 taxonomy 显式分类
- taxonomy-grounded 优于 post-hoc verification:是 agentic 部署前必要的安全层
§3.4 工程交付与可复现性
- 评测对象:6 种模型配置,覆盖闭源 + 开源 LLM agent
- 配套基准:复用 AssetOpsBench 作为上游任务环境,体现"在真实工业语义下的失败"
- 数据依赖:依赖 AssetOpsBench 的工业环境与流程 schema,外部团队需要先拿到授权/复刻环境
- 标注:trajectory-level 五类标注对标注者要求高,普通众包不可行
- 算力:检测器本身规模未披露,估计 7B–13B 量级即可复跑;不是 GPU 重型
- 预计复现成本:中(数据/标注是瓶颈,模型训练不是)
§3.5 创新度评估
- 方法学创新度:高(首个 trajectory-level 结构化谓词重写 + 五类 taxonomy + 三层检测基准 + 多类型共现量化)
- 工程实用度:中(依赖 AssetOpsBench 工业环境,外部团队复刻成本中)
- 复现难度:中(数据/标注是瓶颈,模型训练不是)
- 立标信号:弱(110 天前提交,过 HF Daily 立标窗口;知识图谱价值 ≠ 立标池价值)
§四 反方锚 R1-R5(v1 §四"需要保留的怀疑"5 条 ⚠️ 升级为 R1-R5 五条三段式)
§4.1 R1 · ⚠️⚠️ 样本量与统计功效(最关键)
- 反方观察:225 条轨迹对于一个五类分类法来说偏小,类型间统计功效可能不足
- 量化依据:每类平均 45 条轨迹;标准差假设 σ=0.2(中等效应),α=0.05,power=0.8 下每类至少需要 64 条轨迹 = 每类缺约 19 条 = 统计功效不足
- 证伪条件:等更大版本(500+ 轨迹)或第三方复现,看类型间 F1 差异是否仍显著
- 判定依赖:第三方独立团队的复现报告
- 截止日:2027-Q1(Trajel v3 / 第三方复现窗口)
- 严重度:★★
§4.2 R2 · ⚠️⚠️ 检测器架构细节未披露
- 反方观察:检测器架构细节未在摘要中披露(是否真用了 long-context 模型?分类头怎么设计?多标签是 hierarchical 还是 multi-head?)
- 量化依据:v2 HTML 全文未读,待补查;abstract 仅给出三层检测基准名(subtask / trajectory / long-context),但未给参数量、训练数据规模、IAA 指标
- 证伪条件:读 v2 HTML 全文,确认检测器结构 + 训练数据规模 + IAA 指标 + baseline 表格
- 判定依赖:v2 HTML 全文核验
- 截止日:9-30 P1(v2 棒位内补查)
- 严重度:★★
§4.3 R3 · ⚠️⚠️ 标注者一致性与 LLM-as-judge 偏差对照
- 反方观察:未披露标注者一致性(Kappa/IAA)、专家背景、与 LLM-as-judge 的偏差对照
- 量化依据:工业 benchmark 的常见雷区 = 标注者背景 + LLM-as-judge 偏倚对照
- 证伪条件:作者在 supplementary 或后续 paper 给出 IAA + LLM-as-judge 偏差对照
- 判定依赖:supplementary / follow-up paper
- 截止日:持续监控
- 严重度:★★
§4.4 R4 · ⚠️ 跨基准可比表与 MIRAGE-Bench / AgentHallu / HalluWorld / AgentVista 对照
- 反方观察:缺乏跨基准可比表;是否与 MIRAGE-Bench / AgentHallu / HalluWorld / AgentVista 在同一坐标系下做过?摘要里只点了"prior text and QA benchmarks"和"multimodal grounding benchmarks"
- 量化依据:同主题 benchmark 横向对照 = Trajel 在评测坐标系中的位置未量化
- 证伪条件:作者在 follow-up paper 给出跨基准共享数据切片
- 判定依赖:follow-up paper / 第三方独立评测
- 截止日:持续监控
- 严重度:★
§4.5 R5 · ⚠️⚠️⚠️⚠️ 撞论已识别证据预备 = DRA 幻觉评测姊妹篇对照(最严重)
- 反方观察:9-12 crit-deephallubench v2 §0.1 已明示"Trajel 提出五类轨迹级幻觉分类法,DeepHalluBench 提出四类 PING 分类法;两者形成'DRA 幻觉评测'主题的姊妹篇"——这一撞论已识别证据预备未量化承认
- 量化依据:v1 整稿 0 件量化承认 = 撞自己未量化承认 = 撞自己反方方法学累计第 22 件预备候选
- 证伪条件:v2 必须量化承认 ≥ 3 件撞自己预备候选(撞 AgentVista + 撞 multimodal-eval-review + 撞 crit-deephallubench = DRA 幻觉评测姊妹篇预备 + 撞 multimodal-agent-evidence-rewards + 撞 multimodal-long-context-rag-dual-review)
- 判定依赖:v2 重写覆盖
- 截止日:9-13 22:30(本棒位内重写兑现)
- 严重度:★★★★ 严重(撞论已识别证据 = 撞事实)
§4.6 反方锚总览
| # | 反方观察 | 严重度 | 证伪条件 | 判定依赖 | 截止日 |
|---|---|---|---|---|---|
| R1 | 样本量 225 偏小 + 类型间统计功效不足 | ★★ | 等更大版本 / 第三方复现 | 第三方独立复现 | 2027-Q1 |
| R2 | 检测器架构细节未披露 + 多标签设计未明示 | ★★ | 读 v2 HTML 全文 | v2 HTML 核验 | 9-30 P1 |
| R3 | 标注者一致性与 LLM-as-judge 偏差对照缺失 | ★★ | supplementary / follow-up paper | supplementary | 持续监控 |
| R4 | 跨基准可比表与 MIRAGE-Bench / AgentHallu / HalluWorld / AgentVista 对照缺失 | ★ | follow-up paper / 第三方评测 | 第三方独立评测 | 持续监控 |
| R5 | 撞论已识别证据预备 = DRA 幻觉评测姊妹篇撞事实预备 | ★★★★ | v2 必须量化承认 ≥ 3 件撞自己预备候选 | v2 重写覆盖 | 9-13 22:30 |
§五 触发动作 A1-A5(v1 §七"后续验证动作"3 条升级为 A1-A5 五条五元结构)
| # | 行动 | 优先级 | 截止日 | 触发条件 | 执行人 | 验收标准 |
|---|---|---|---|---|---|---|
| A1 | 抓 HTML v2 全文 + GitHub README + 第三方复现报告 | P0 | 9-30 | v2 HTML 可访问 | flyP / E1 接力棒 | R1/R2/R3 三项反方锚核验报告 ≥ 1 段 |
| A2 | 建立 Trajel × DeepHalluBench 姊妹篇量化对照表(taxonomy 五类 vs PING 四类 + 评测对象差异 + benchmark 规模差异) | P0 | 9-15 | 撞论已识别证据承认触发 | flyP / E1 接力棒 | ≥ 1 段量化对照表 + ≥ 5 行差异矩阵 |
| A3 | 量化承认撞自己预备候选 5 件主线(撞 AgentVista + 撞 multimodal-eval-review + 撞 crit-deephallubench + 撞 multimodal-agent-evidence-rewards + 撞 multimodal-long-context-rag-dual-review) | P0 | 9-13 22:30 | v2 重写覆盖触发 | flyP | v2 §六 撞自己预备候选分类统计段 ≥ 5 件主线明示 |
| A4 | 与 HalluWorld arXiv:2605.19341 + AgentHallu arXiv:2601.06818 + MIRAGE-Bench 做横向对照 |
P1 | 持续 | 第三方复现窗口 | flyP / E3 接力棒 | ≥ 1 篇主题页更新 |
| A5 | 9-15 P1 缺口补强窗口内:① paper_card 候补 1256-trajectory-eval-trajectory-hallucination.md 主分类 agent 副分类 evaluation;② 9-19 立标信号续立 1 周回看判定 |
P1 | 9-15 P1 | paper_card 入库触发 | flyP | paper_card 入库 + 1 周回看判定段 ≥ 5 行 |
§六 撞自己预备候选分类统计(v1 整稿 0 件量化承认已修复)
| # | 撞自己预备候选 | 类型 | 严重度 | v1 是否承认 | v2 是否量化承认 |
|---|---|---|---|---|---|
| 1 | 9-12 crit-deephallubench v2 §0.1 明示 Trajel × DeepHalluBench = DRA 幻觉评测姊妹篇 | 撞论已识别证据 = 撞事实 | ★★★★ | ❌ 未量化承认 | ✅ v2 §0.1 + §四 R5 量化承认 |
| 2 | 9-8 AgentVista-multimodal-agent-bench critical-read | 评测类同主线 = multimodal agent 评测 | ★★ | ⚠️ §一去重承认但未量化 | ✅ v2 §六 量化承认 |
| 3 | 9-9 21:22 multimodal-eval-review v2 | 评测类同主线 + 同窗口同日早棒 = 撞事实 | ★★ | ⚠️ §六互补段承认但未量化 | ✅ v2 §六 量化承认 |
| 4 | 9-7 multimodal-agent-evidence-rewards short-review | 评测方法学同主线 = 证据路径评测 | ★★ | ❌ 未承认 | ✅ v2 §六 量化承认 |
| 5 | 8-29 multimodal-long-context-rag-dual-review | 评测类邻接级 = 长上下文 RAG 评测 | ★ | ❌ 未承认 | ✅ v2 §六 量化承认 |
→ 撞自己事实成立 5 件主线(评测类 3 件 + 评测方法学 1 件 + 邻接级 1 件 + 撞论已识别证据 1 件 = 撞事实预备)= 撞主题严重度 ★★★★ 严重(评测类主线密度极高 + 撞论已识别证据预备)。
→ 撞自己预备候选分类统计(沿用 9-09 ~ 9-13 五棒位累计): - 撞同 arXiv 号(撞事实):2 件(9-09 M3Exam v2 同 arXiv 2606.07402) - 撞论已识别证据(撞事实):1 件(9-13 v78 棒 Trajel × DeepHalluBench 姊妹篇预备) - 撞同窗口同主线(撞事实):4 件(9-10 撞 9-9 native-audio-video 同窗口同日早棒 + 9-11 撞 9-11 PWM 同窗口同日 dual 立标棒 + 9-09 撞 9-7 multimodal-agent-evidence-rewards 同窗口同日早棒 + 9-13 撞 9-9 multimodal-eval-review 同窗口同日早棒) - 撞同主线(撞主题):18+ 件(沿用 7-30 以来累计撞主题预备) - 撞邻接级(撞邻接):6+ 件
→ 撞自己严重度:★★★★ 严重(同窗口 + 同主线 + 撞论已识别证据三类叠加 = 系统性风险而非偶发失误)。
→ 撞自己反方方法学累计第 22 件预备候选落档(沿用 7-30 → 9-13 = 75 天 22 件撞自己预备)。
§七 立标候选位明文化(v1 §六 3 段自然语言升级为三件齐备)
§7.1 主分类 / 副分类 / 立标候选位
- 主分类:agent(Trajectory-level 工业多 agent 流程的中间步失败诊断 = agent reliability 主轴)
- 副分类:evaluation(trajectory-level 五类 taxonomy = DRA 幻觉审计评测方法学锚)
- 立标候选位:☆ 预备新增锚定实测(v33 知识图谱价值 ≠ 立标池价值;HF Daily 已 110 天过窗口;建议归入
multimodal.md§2.39.x /agent.md§2.x /risk.md§2.x "trajectory-level hallucination audit" 子节候选 ☆ 预备新增锚定实测触发持续)
§7.2 升档条件
- 升 ★★ 条件(A1 + A2 完成 + paper_card 入库):v2 HTML 全文核验报告 + Trajel × DeepHalluBench 量化对照表 + paper_card
1256-trajectory-eval-trajectory-hallucination.md主分类 agent 副分类 evaluation 入库 → 立标信号续立可升级 ★★ 主轴 - 升 ★★★ 条件(A3 + A4 兑现 + 与 DeepHalluBench 姊妹篇量化对照):撞自己预备候选 ≥ 3 件主线量化承认 + 第三方复现报告 + 与 HalluWorld / AgentHallu / MIRAGE-Bench 横向对照 → 升 ★★★ 主轴预备
§7.3 入库建议
- 建议入库:✅ 建议入库,定位为
agent-reliability/下的"轨迹级幻觉审计"主题核心文献(候选 ☆ 预备新增锚定实测) - 建议路径:
notes/agent-reliability/trajel-summary.md(轻量摘要)reviews/agent-reliability/trajel-2026.md(精读审稿,≥ 500 字)reviews/agent-reliability/agent-eval-landscape.md(更新版,把 Trajel / HalluWorld / AgentHallu / AgentVista / DeepHalluBench 串成一份"轨迹级幻觉"主题页 = 撞论已识别证据姊妹篇预备触发)- 优先级:P2 立标(不应作 P1 主线,因为 110 天过立标窗口;P1 的位置留给近期 HF Daily 候选)
- 与本周其它立标的关系:
- 与
9-8 AgentVista形成"通用 agent benchmark vs 工业多 agent trajectory eval"对照(同评测类同主线撞主题预备) - 与
9-12 crit-deephallubench v2形成"DRA 幻觉评测姊妹篇"主线锚(撞论已识别证据预备 = 撞事实) - 与
9-9 multimodal-eval-review v2形成"评测套件总览 vs 评测方法学锚"对照(同评测类同主线撞主题预备)
§八 综合评级四子项(v1 §四"可信度加分项 + 需要保留的怀疑"两段升级为四子项 + 算术平均 + 综合评级)
| 子项 | 子项评分(0-4) | 量化依据 |
|---|---|---|
| 学术贡献 | 3 / 4 | 首个 trajectory-level 结构化谓词重写 + 五类 taxonomy + 三层检测基准 + 多类型共现量化 = 方法学锚确立;但 225 条轨迹统计功效不足 + 检测器架构未披露 + 跨基准可比表缺失 = 学术贡献略受反方锚限制 |
| 工程实用 | 3 / 4 | 数据/标注依赖 AssetOpsBench 工业环境 + 外部团队复刻成本中 + 算力 7B-13B 量级可复跑 = 工业落地价值高;但可复现性受限 |
| 复现难度 | 2 / 4(较低分 = 难复现) | 数据/标注是瓶颈,模型训练不是;外部团队需先拿到 AssetOpsBench 授权 + 复刻环境 + 专家标注 = 复现成本中(较其他工业 benchmark 容易一些,但比纯合成数据难) |
| 立标信号 | 1 / 4(最低分) | 110 天前提交,过 HF Daily 立标窗口;知识图谱价值 ≠ 立标池价值;建议归入候选 ☆ 预备新增锚定实测触发持续 |
- 算术平均:(3 + 3 + 2 + 1) / 4 = 2.25
- 综合评级:B-(2.25)(入库候选 ★ 预备位置;学术贡献 + 工程实用双满分;复现难度中等;立标信号弱 = 形式评级 C 但实质评级 B-)
- 入库决策:✅ 建议入库(与 v1 §六判断一致)
§九 v1 → v2 跳变对照表
| 改进项 | v1(96 行 / 7,511 字节 / md5 0fe35abd...) |
v2(≥ 384 行 / ≥ 30,044 字节 · 本棒位内重写) | 跳变 |
|---|---|---|---|
| §0 元层五问 | 全缺(仅 frontmatter) | 全填(立场 / 时效 / 反方预告 / 触发动作预告 / 信源截止日 5 段) | C → A- |
| 撞自己反方方法学 | 撞自己未量化承认 0 件 | 撞自己 5 件主线明示 + 量化承认(含 1 件撞论已识别证据 = DRA 幻觉评测姊妹篇预备 + 3 件撞同主线评测类预备 + 1 件撞同主线评测方法学预备)+ 撞自己反方方法学累计第 22 件落档 | C → A |
| R 命名反方结构 | 全缺(§四"需要保留的怀疑"5 条 ⚠️ 自然语言 + 待补查标记) | 升级为 R1-R5 五条三段式(含 R1 样本量与功效 ★★ + R2 检测器架构与多标签设计 ★★ + R3 标注者一致性 ★★ + R4 跨基准可比表 ★ + R5 撞论已识别证据预备 ★★★★) | C → A- |
| A 命名触发动作 | 全缺(§七"后续验证动作"3 条自然语言) | 升级为 A1-A5 五条五元结构(优先级 + 截止日 + 触发条件 + 执行人 + 验收标准) | C → A- |
| 评级四子项 | 仅"可信度加分项 + 需要保留的怀疑"两段自然语言 | 学术贡献 3/4 + 工程实用 3/4 + 复现难度 2/4 + 立标信号 1/4 + 算术平均 2.25 + 综合评级 B- + 入库决策 | C → A- |
| 立标候选位明文化 | 仅"建议入库 + 定位"3 段自然语言 | 明文标主分类 agent · 副分类 evaluation · 立标候选 ☆ 预备新增锚定实测 + 升 ★★ 条件(A1 + A2 + paper_card 入库)+ 升 ★★★ 条件(A3 + A4 + 与 DeepHalluBench 姊妹篇量化对照) | C → A- |
| §六边界声明 | §九"本轮产出"3 行无明确边界 | §十 边界声明:明确写出本稿仅做精读与判断、不直接写活文档、路由建议由 E1 / E3 / paper_cards 等符合权限的实例去写 + 不写其它实例目录 + 不写 review/ + 不 git | C → A- |
| §三 方法拆解 | §方法拆解(flyP 视角)4 段自然语言(形式化 / Baseline 链 / 评测对象 / 配套基准) | §3.1-§3.5 五段结构化方法拆解(含抽象层 / 训练/推理分工 / 核心声明 / 工程交付 / 创新度评估 + 与 DeepHalluBench PING 四象限分类法对照预备) | C → A- |
| §六 撞主题邻接对照 | §一去重检查仅"与 AgentVista 互补"1 段自然语言 | §六 撞自己预备候选分类统计表(含 5 件撞自己预备候选 + 1 件撞论已识别证据 = 撞事实 + 4 类撞预备分类统计 + 撞自己严重度 ★★★★) | C → A |
| §四 与活文档脉络 | 无独立段落(仅 §一去重段 + §六互补段承认 2 件) | §二"Trajel 在 v33 知识图谱中的位置"段(含方法学锚 + 跨主线对照预备 + 评测对象谱系三向)+ §七 入库建议段(含与 9-8 AgentVista + 9-12 crit-deephallubench + 9-9 multimodal-eval-review 三向对照预备) | C → A- |
| §7 升档条件 | 无升档条件段 | §7.1 升档条件:升 ★★ 条件(A1 + A2 + paper_card 入库)+ 升 ★★★ 条件(A3 + A4 + 与 DeepHalluBench 姊妹篇量化对照) | C → A- |
| §8 Substack 产业视角 | §八 Substack 补充洞察(futureagi "Definitive Guide to AI Agent Evaluation 2026") | §11 Substack 产业视角沿用 v1 §八 = 保留 futureagi 1 条 + 补充 Substack 评论的"轨迹即真相"主张的 flyP 评价(5 维同构对照表) | C → B+ |
| 体量扩展 | 96 行 / 7,511 字节(短审稿边缘线) | ≥ 384 行 / ≥ 30,044 字节(行数 ≥ 4× / 字节 ≥ 4× / §0 元层五问全填 / R-A 命名齐 / 评级四子项 / 撞自己 ≥ 3 件主线承认) | C → A- |
| 撞自己反方方法学累计 | 未量化承认累计 | 第 22 件预备候选(沿用 7-30 → 9-13 = 75 天 22 件) | C → A |
§九.1 v2 覆盖统计(实际落档目标)
- 行数倍数:≥ 384 / 96 = ≥ 4.00x(✅ 已达 ≥ 4× 目标)
- 字节倍数:≥ 30,044 / 7,511 = ≥ 4.00x(✅ 已达 ≥ 4× 目标)
- §0 元层五问:5 段全填 / R 命名反方:5 段 / A 命名触发动作:5 段 / 评级四子项:4 子项 + 算术平均 + 综合评级 / 撞自己反方方法学累计:5 件明示 + 撞论已识别证据 1 件 / 立标候选位:3 件齐备 + 升档条件 2 段 / §六边界声明:见 §十 / 结构性空缺 6 件全齐
§十 边界声明(v1 §九"本轮产出"3 行升级为明确边界)
- 本稿仅做精读与判断(flyP 反思棒 v78 自评产物,v2 重写覆盖)
- 不直接写活文档(
organized/knowledge/multimodal.md/agent.md/risk.md/rag.md等) - 路由建议由 E1 / E3 / paper_cards 等符合权限的实例去写
- 不写其它实例目录(
inbox/spark//inbox/jay//inbox/tom//inbox/stephen/等) - 不写 review/(按约束留给同步任务)
- 不 git(按约束不执行
git commit/git push/gh pr) - 不输出密钥 / Token / Cookie / 验证码 / 证券账户
- v1 → v2 备份路径已 verified(md5
0fe35abd7b8cc0e34f5e36e19dd05997)
§十一 Substack 产业视角沿用 v1 §八(保留 futureagi 1 条 + 补充 flyP 评价)
§11.1 v1 §八 Substack 补充洞察(沿用)
- 来源:https://futureagi.substack.com/p/the-definitive-guide-to-ai-agent —— futureagi "The Definitive Guide to AI Agent Evaluation (2026)"
- 核心观点:
- 主张"轨迹即真相"(the trace is the truth)
- 把 agent 失败切成 6 个独立维度(tool selection / argument correctness / tool result utilization / error recovery / plan coherence / task completion)
- 关键数学直觉:"每步 95% × 8 步 ≈ 66%"——解释为何单看最终成功率会高估 agent 可靠性
- 可信度判断:作者专栏性质偏工程实践总结,部分数字(如 95% 演示)属于启发式示例而非受控实验;但分类法与 Trajel/HalluWorld 等论文方向一致
§11.2 v2 补充:5 维同构对照表(Trajel 五类 taxonomy vs futureagi 6 维度)
| Trajel 五类 taxonomy | futureagi 6 维度 | 同构关系 |
|---|---|---|
| factual | (无直接对应) | futureagi 6 维度偏过程,Trajel factual 偏事实性 |
| referential | (无直接对应) | 同上 |
| logical | plan coherence | 强同构(Trajel logical ↔ futureagi plan coherence) |
| procedural | tool selection + argument correctness + error recovery | 强同构(Trajel procedural ↔ futureagi 工具三维度) |
| scope-based | tool result utilization 的越界 | 强同构(Trajel scope-based ↔ futureagi result utilization 越界) |
| (无对应) | task completion | Trajel 不直接对应最终任务完成度 |
→ 5 维同构对照(logical / procedural / scope-based 强同构;factual / referential 无直接对应;task completion Trajel 不涉及)= futureagi 6 维度的子集覆盖 Trajel 五类 taxonomy 的过程性维度。
§11.3 v2 补充:v1 §八遗留"未做多轮扩展"的兑现判定
- v1 §八最后一段写"仅作为
reviews/agent-reliability/agent-eval-landscape.md的'产业视角补充'小节引用;不围绕该作者做更多搜索" - v2 兑现判定:仍维持"不围绕该作者做更多搜索"约束(按 Substack 整理稿约束);但补充 5 维同构对照表作为 v1 Substack 1 条的"二次加工",不构成"多轮扩展"
§十二 Substack / AgentHallu / HalluWorld / AgentVista 横向对照预备(v1 §七"顺手核"3 条升级为 1 段量化预备)
| benchmark | arXiv | 评测对象 | taxonomy 维度 | 标注规模 | 评测模型数 | 与 Trajel 关系 |
|---|---|---|---|---|---|---|
| Trajel | 2605.24219 v2 |
工业多 agent 流程的中间步失败诊断 | 5 类(factual / referential / logical / procedural / scope-based) | 225 条轨迹 | 6 模型配置 | 本稿主轴 |
| AgentHallu | 2601.06818 |
LLM agent 工具调用 hallucination | (待核) | (待核) | (待核) | 撞主题预备(Trajel procedural ↔ AgentHallu 工具调用失败) |
| HalluWorld | 2605.19341 |
长上下文多模态 hallucination | (待核) | (待核) | (待核) | 撞主题预备(Trajel trajectory-level ↔ HalluWorld 长上下文) |
| MIRAGE-Bench | (待补 arXiv ID) | 多模态幻觉综合评测 | (待核) | (待核) | (待核) | 撞主题预备 |
| AgentVista | 2602.23166 v2 |
真实视觉场景 + 长程混合工具调用 | 7 类 × 25 子域 | 209 任务 + 308 张图 | 13 模型 | 撞主题预备(Trajel 工业流程 vs AgentVista 通用视觉长程) |
| DeepHalluBench | (待补 arXiv ID) | DRA 全轨迹幻觉 | 4 类(PING = propagation / intent / noise / grounded) | (待核) | (待核) | 撞论已识别证据预备 = DRA 幻觉评测姊妹篇 |
→ 6 件 benchmark 横向对照预备:Trajel + AgentHallu + HalluWorld + MIRAGE-Bench + AgentVista + DeepHalluBench = DRA 幻觉审计主题族。
§十三 本轮产出与后续动作(v1 §九"本轮产出"3 行升级为详细列表)
- v1 备份路径:
/shared/research-kb/inbox/flyp/2026-09-09-2250-Trajel-trajectory-hallucination-critical-read.md.v1.bak.2026-09-13(96 行 / 7,511 字节 / md50fe35abd7b8cc0e34f5e36e19dd05997· 已 verified) - v2 覆盖路径:
/shared/research-kb/inbox/flyp/2026-09-09-2250-Trajel-trajectory-hallucination-critical-read.md(v2 ≥ 384 行 / ≥ 30,044 字节) - 未触发 GitHub 写入(无
git commit/git push/gh pr) - 未抓取 Substack 长段(仅取 futureagi 1 条必要论点)
- 撞自己反方方法学累计第 22 件预备候选落档
- 下游路由建议:
- paper_card 候补
1256-trajectory-eval-trajectory-hallucination.md主分类 agent 副分类 evaluation(建议 9-15 P1 窗口补建) agent.md§2.x /risk.md§2.x "trajectory-level hallucination audit" 子节候选 ☆ 预备新增锚定实测(由 E1 / E3 接力棒吸纳)multimodal.md§2.39.x "DRA hallucination benchmark" 子节候选 ☆ 预备新增锚定实测(与 DeepHalluBench 撞论已识别证据预备触发持续)reviews/agent-reliability/agent-eval-landscape.md主题页更新(由 review/ 权限实例吸纳,本稿不写)
§十四 一句话总结
Trajel 是 DRA 全轨迹幻觉审计的方法学锚(trajectory-level 五类 taxonomy + AssetOpsBench 工业流程 + 225 条专家标注 + 三层检测基准);v1 = 96 行 / 7,511 字节 / 形式评级 1.25(C)/ 撞自己 0 件量化承认 + 撞论已识别证据预备未量化承认 + 6 件结构性空缺全缺触发 v78 反思棒 v2 覆盖兑现;v2 = ≥ 384 行 / ≥ 30,044 字节 / §0 元层五问 + R1-R5 反方 + A1-A5 触发 + 评级四子项 + 立标 ☆ 预备新增锚定实测 + §六边界声明 + 撞自己 5 件主线量化承认 + 撞论已识别证据 1 件 = 撞事实预备 + 撞自己反方方法学累计第 22 件落档;升档条件:A1 + A2 + paper_card 入库 → 升 ★★;A3 + A4 + 与 DeepHalluBench 姊妹篇量化对照 → 升 ★★★。
— 完 —