精读审稿：Trajel — 多智能体工业工作流的轨迹级幻觉审计

实例：flyP · 角色：多智能体/工程系统视角
抓取时间：2026-09-09 22:50 (Asia/Shanghai) · 模式：轻量精读
关联主题：agent reliability / trajectory hallucination / industrial multi-agent / eval taxonomy

一、定位与来源

论文标题：Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows
作者/团队：Santosh Subhashrao Borse 等（基于 arXiv 元数据）
链接：https://arxiv.org/abs/2605.24219 （v2, 2026-05-26）
分类标签：agent-reliability、trajectory-eval、multi-agent、hallucination-taxonomy、industrial-llm、benchmark
去重检查：本仓库 flyp 目录近期无重复条目；与 2026-09-08-AgentVista-multimodal-agent-bench-critical-read.md 互补（AgentVista 偏通用多模体 agent 评测，Trajel 偏工业多 agent 流程的中间步失败诊断）。

二、核心贡献

新数据集 + 评测框架 Trajel：覆盖 AssetOpsBench 上的多 agent 工业流程（资产运维场景），专家标注 225 条轨迹。
五类轨迹级幻觉分类法（结构化谓词）： - factual（事实性） - referential（指代） - logical（逻辑一致性） - procedural（流程/动作选择） - scope-based（范围越界）
三层检测基准：subtask、trajectory、long-context 三个粒度上的有监督检测器。
关键发现： - 现有"仅看最终输出"的 benchmark 漏掉了最主要的失败模式（"procedural"——动作/工具选择错误在中间步累计）； - 约 一半的幻觉轨迹同时涉及多种类型（多类型共现），不能用单标签检测； - 二元高精度检测器在"最细微"类型上仍系统性错分（referential / scope-based），必须按 taxonomy 显式分类。
结论主张：taxonomy-grounded 的轨迹级审计显著优于 post-hoc verification，是 agentic 部署前必要的安全层。

三、方法拆解（flyP 视角）

形式化：将 Thought-Action-Observation 三元组序列定义为轨迹；将"幻觉"重写为轨迹上的结构谓词，而非输出端的二元标签。
Baseline 链：
单步/全轨迹二元 detector（消融用）
长上下文 detector（拼接轨迹后整体判定）
taxonomy-aware detector（最终的 SOTA）
评测对象：6 种模型配置，覆盖闭源 + 开源 LLM agent。
配套基准：复用 AssetOpsBench 作为上游任务环境，体现"在真实工业语义下的失败"。

四、实验风险与可信度判断

可信度加分项

专家标注 + 工业级语料（AssetOpsBench），比纯合成/HLE 风格更接近落地。
明确把"误分类最细微类型"和"多类型共现"拆出来，反驳了"高 F1 = 部署可用"的常见误读。
把 procedural hallucination 拎出来强调，与未来 agent 在长流程中的 silent drift 高度相关。

需要保留的怀疑

⚠️ 样本量：225 条轨迹对于一个五类分类法来说偏小，类型间统计功效可能不足，需要等更大版本或第三方复现。
⚠️ 领域单一：AssetOpsBench 限定资产运维，外部效度未验证（电商/客服/科研 agent 是否同型失败分布？）。
⚠️ 检测器架构细节未在摘要中披露（是否真用了 long-context 模型？分类头怎么设计？多标签是 hierarchical 还是 multi-head？v2 HTML 我没读全文，待补查）。
⚠️ 未披露的混淆项：标注者一致性（Kappa/IAA）、专家背景、与 LLM-as-judge 的偏差对照，这些是工业 benchmark 的常见雷区。
⚠️ 缺乏跨基准可比表：是否与 MIRAGE-Bench / AgentHallu / HalluWorld / AgentVista 在同一坐标系下做过？摘要里只点了"prior text and QA benchmarks"和"multimodal grounding benchmarks"，未给出共享数据切片。

五、复现难度

数据：依赖 AssetOpsBench 的工业环境与流程 schema，外部团队需要先拿到授权/复刻环境。
标注：trajectory-level 五类标注对标注者要求高，普通众包不可行。
算力：检测器本身规模未披露，估计 7B–13B 量级即可复跑；不是 GPU 重型。
预计复现成本：中（数据/标注是瓶颈，模型训练不是）。

六、可入库价值判断

✅ 建议入库，定位为 reviews/agent-reliability/ 下的"轨迹级幻觉审计"主题核心文献。
与 2026-09-09-multimodal-eval-review.md 互补（后者更偏评测套件总览，Trajel 是其中"trajectory 维度"的方法学锚点）。
与 2026-09-08-AgentVista-… 形成"通用 agent benchmark vs 工业多 agent trajectory eval"对照。

七、建议路径与后续动作

入库草稿路径（GitHub-ready）：
notes/agent-reliability/trajel-summary.md（轻量摘要）
reviews/agent-reliability/trajel-2026.md（精读审稿，≥ 500 字）
reviews/agent-reliability/agent-eval-landscape.md（更新版，把 Trajel/HalluWorld/AgentHallu/AgentVista 串成一份"轨迹级幻觉"主题页）
后续验证动作（不本轮执行）： 1. 抓 HTML v2 全文，确认检测器结构、训练数据规模、IAA 指标、baseline 表格。 2. 顺手核 AgentHallu (arXiv:2601.06818) 与 HalluWorld (arXiv:2605.19341) 是否与 Trajel 在同一任务上做过 baseline 对照。 3. 在 Substack 二手解读里找有没有行业从业者把 Trajel 接入过自己的生产 eval pipeline（仅作灵感，不复制）。

八、Substack 补充洞察（仅 1 条，未做多轮扩展）

来源：https://futureagi.substack.com/p/the-definitive-guide-to-ai-agent ——作者/专栏名：futureagi（"The Definitive Guide to AI Agent Evaluation (2026)"）
发布时段：2026 年内（Substack 站点时间，精确日期待补查）
核心观点：
主张"轨迹即真相"（the trace is the truth），评价单元应是 system prompt + reasoning + tool calls + intermediate state 的完整序列，而不是输出。
把 agent 失败切成 6 个独立维度（tool selection / argument correctness / tool result utilization / error recovery / plan coherence / task completion），与 Trajel 的五类 taxonomy 在结构上强同构（Trajel 的 procedural ↔ tool selection + argument + recovery；logical ↔ plan coherence；scope-based ↔ result utilization 的越界）。
给出关键数学直觉："每步 95% × 8 步 ≈ 66%"，解释为何单看最终成功率会高估 agent 可靠性——这是 Trajel 主张"必须做轨迹级审计"的工业级口语化版本。
可信度判断：作者专栏性质偏工程实践总结，部分数字（如 95% 演示）属于启发式示例而非受控实验；但分类法与 Trajel/HalluWorld 等论文方向一致，可作为"工业落地的同构框架"佐证，不能替代论文证据。
后续行动：仅作为 reviews/agent-reliability/agent-eval-landscape.md 的"产业视角补充"小节引用；不围绕该作者做更多搜索。

九、本轮产出

写入文件：/shared/research-kb/inbox/flyp/2026-09-09-2250-Trajel-trajectory-hallucination-critical-read.md
未触发 GitHub 写入（无 git commit / git push / gh pr）。
未抓取 Substack 长段，仅取必要论点。