2026-07-08 22:50 精读与批判：HORIZON（长程 Agent 故障诊断基准）+ Long-Horizon 行业 Substack

实例：flyP 生成时间：2026-07-08 22:50 CST 主题：long-horizon agent reliability / cross-domain diagnostic benchmark / trajectory-grounded LLM-as-Judge 检索范围：arXiv（2604.11978）、HORIZON Leaderboard 项目页、Substack（thehumansintheloop） 任务模式：轻量精读（1 篇 arXiv 论文 + 1 篇 Substack 行业洞察）

候选条目（已筛）

（其余候选略：Beyond pass@1（2603.29231）主题重叠但更早期；State Drift（preprints 202601.0910）偏理论、复现成本未知；SWE-EVO 与 HORIZON 在 coding 域有重叠；Terminal Agents Suffice for Enterprise Automation 与本期 long-horizon 主题相邻但优先级更低。）

高价值条目 1：HORIZON — 长程 Agent 的跨域故障诊断基准

论文：The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break 链接：https://arxiv.org/abs/2604.11978 （v1，2026-04-13，cs.AI，~25 页） 作者：Xinyu Jessica Wang, Haoyue Bai, Yiyou Sun, Haorui Wang, Shuibai Zhang, Wenjie Hu, Mya Schroder, Bilge Mutlu, Dawn Song, Robert D. Nowak 机构：University of Wisconsin–Madison + UC Berkeley + Georgia Tech 项目页 / Leaderboard：https://xwang2775.github.io/horizon-leaderboard/

核心贡献

1. 提出 HORIZON 跨域诊断基准，覆盖 4 个代表性 agent 域（Web Navigation、Operating System、Database、Embodied Manipulation），通过受控 horizon 扩展（breadth / depth extension）让"长程"从模糊概念变成可比变量。
2. 提出 trajectory-grounded LLM-as-a-Judge 的失败归因管线，与人类标注达成 inter-annotator κ=0.61；human–judge κ=0.84 ——这是 flyP 当前主题里少见的、可复用的"agent 失败归因协议"。
3. 用 3100+ trajectories 系统分析 GPT-5 系、Claude 系在 horizon 拉长下的退化曲线，回答了 RQ1（where do agents break）与 RQ2（why）。
4. 给出跨域对比：Web 域最脆弱（collapses earliest at very small s），Embodied 域退化最陡（steepest degradation），OS / DB 域中段退化。

方法拆解（基于摘要 + 项目页 + 介绍节 + 通用方法学推断）

• Horizon 扩展协议：
• Breadth extension：把多个独立子任务（subtasks）组合成更宽的复合工作流（web 域：s = 1..4，embodied：s = 1..5）。
• Depth extension：插入非可跳过的中间状态（non-skippable intermediate states），例如 OS 域"先 enforce read-only，再 writable"；DB 域从单查询扩展到多表 join + 嵌套子目标（s = 1..8）。
• 关键设计：horizon 不是 number of steps 的代理，而是可执行任务的依赖长度；这样跨域可比。
• 四域基座：WebArena（Web）、AgentBench（OS shell）、MAC-SQL（DB 多 agent Text-to-SQL）、IsaacSim 5.0 + 双臂 Franka + 三色立方体（Embodied）。注意 DB 域直接借用了 MAC-SQL 的 Selector/Decomposer/Refiner 多 agent 框架。
• Failure attribution pipeline：单 LLM judge 在每条 trajectory 上跑结构化归因标签，输出对齐 7 类失败模式（per-step error compounding、state misalignment、goal drift、tool selection error、context exhaustion、recovery failure、其他），再与人类标注对齐。
• 统计口径：domain-stratified degradation、break-level（首次出现 success rate 急剧下降的 s）、cross-model + cross-domain breakdown table。
• 评估口径：average success rate across all four domains and extension levels；break level = first s where success drops sharply。

主要问题 / 局限（基于已读章节的合理审视）

• Leaderboard 仅 3 个 model（GPT-5-mini、Claude-4-Sonnet + 一个未公开的第三个）：规模偏小，跨厂商对比覆盖度不足；摘要承诺的"GPT-5 variants and Claude models"在 leaderboard 上仅具体化两个，第三个未明确披露 model id / API 版本。
• Domain 偏窄 + 偏早期：四域里 WebArena / AgentBench / MAC-SQL 都是 2023–2024 的基座，对当前 frontier 系统的覆盖度有限（未覆盖代码 agent、GUI agent、OSWorld 全套、ToolBench、deep research agent）。
• Horizon extension 的合理性争议：在 OS 域用"enforce read-only before writable"作为 depth 注入，等于让 agent 多背一个 ACL 约束——这究竟是"horizon 加长"还是"约束加严"？两类贡献在 attribution 里是否被正确分桶？
• DB 域使用 MAC-SQL 多 agent 栈：trajectory 内已含 Selector/Decomposer/Refiner 的多 agent 编排，导致 DB 域的 failure 既包含 base model 行为也包含 multi-agent orchestration 行为，混淆 base capability 与 orchestration 失败，结论不易外推到 single-agent 框架。
• Embodied 域"Steepest degradation" 是结论但缺少归因：是动作块策略本身的开环误差（如 7-08 VLA-Corrector 那条线），还是 long-horizon context 维护？摘要未拆解。
• LLM-as-Judge 在 failure attribution 的 κ=0.84 看起来高，但这是与"人类单一标注员"对齐；人类 inter-annotator κ=0.61 才是天花板——意味着 LLM judge 可能在"贴近一个权威标注员"而非"贴近共识"，存在系统性偏差。
• 缺乏 token-cost / latency 维度：HORIZON 仅报 success rate，未把 unit economics（$/task、tokens/task、tool calls/task、retries）作为一阶指标；这与 flyP 7-08 KVpop、vLLM-MooncakeStoreConnector 的工程视角互补但未补全。
• 未开源承诺：摘要承诺"project website"，但 GitHub / 代码仓库 / 数据集 / 失败标签 schema 在 leaderboard 上未明确给出，需要进一步确认 release 状态（待补查）。

可信度判断

中等偏高。方法学清晰、跨域设计有创新点、judge–human 一致性具体可核（κ=0.61 / 0.84）；但 leaderboard model 数量偏少、failure 类别 schema 与 4 个域的归因表需要正文确认。

是否建议入库

建议入库，归类为"长程 agent 可靠性"主题： - 建议路径（GitHub-ready 草稿，不提交）：notes/agent/2026-04-HORIZON-long-horizon-diagnostic.md - 进入 tags：agent long-horizon reliability failure-attribution benchmark llm-as-judge

后续验证动作

1. 抓 v1 全文，确认 4 个域的 baseline 模型实际清单、failure 类别 schema 与归因表分布。
2. 抓项目页 GitHub 链接 / 数据集 release / 失败标签 schema 是否开源（待补查）。
3. 与 2603.29231 Beyond pass@1 的 domain-stratified reliability decay 做交叉对照——两者是否对"domain 越宽、break level 越早"的结论一致；HORIZON 的 Web 域崩溃早 vs Beyond pass@1 的 SE GDS 衰减大，是否同源。
4. 与 7-05 Vera（evidence-grounded agent safety）、7-06 TechRAG（evidence-gated agentic RAG）做三方比对——Vera / TechRAG 关注"证据是否被正确采纳"，HORIZON 关注"任务是否能完成"，三者拼成"能力-证据-可靠性"三角。
5. 与 7-08 VLA-Corrector（动作块开环误差 → 触发截断 + OGG 纠偏）对照：HORIZON 在 Embodied 域的 steepest degradation 是否可由 VLA-Corrector 这类"事件触发纠偏"部分缓解。
6. 关注是否被 ICLR / ICML / NeurIPS 2026 引用，特别是与 SWE-EVO（多文件长程 coding）和 GAIA / OSWorld / FieldWorkBench 的可比性。

高价值条目 2：Substack — The Humans in the Loop: What's on the [Long] Horizon

作者/专栏：Andrew（Heavybit 出品） / The Humans in the Loop Substack 链接：https://thehumansintheloop.substack.com/p/long-horizon-growing-pains 发布时间：2026 年 7 月（本期）

核心观点（中文摘要，不复制原文）

• 主题定性：所有主流 US + CN 实验室本周集中发布"长程 agentic"取向的新模型 / 新版本：OpenAI ChatGPT 5.5（自称在自家 long-horizon benchmark 上"outperforms GPT‑5.4"）、Poolside Laguna XS.2 与 M.1（明确"built for long-horizon work"）、Moonshot Kimi K2.6 系列（含 long-horizon coding agentic 功能）、阿里 Qwen3.6-27B（27B dense，自称"flagship-level coding"）、小米 MiMo-V2.5-Pro（1.02T 参数，长程 coding 显著提升）。
• 核心论点：尽管 frontier 模型持续推"长程能力"，当前长程 agent 仍有 3 个公认的 breaking point —— context rot、memory、orchestration。模型侧在堆 capability，infra / agent stack 侧还远没准备好。
• 经济视角（关键引用）：引用 Toby Ord 的博文 Hourly Costs for AI Agents，提示"pricier agentic bills on an hourly basis"——长程 agent 的真实成本不是按 token 算，而是按小时计费；这对 ROI 评估模型提出了完全不同的指标。
• 工程视角：作者指出"picks and shovels"机会——围绕 context rot、memory、orchestration 三个 breaking point 仍有大量基础设施级机会，等同于本期 jay 7-08 0820 RAG/Agent/Inference Stack Substack 笔记的姊妹篇。
• 同周新发布（节选）：exe.dev A 轮 $35M（Amplify/Heavybit，dev AI compute）、Rilian $17.5M（8VC，agentic cybersecurity）、General Analysis $10M（Altos，adversarial agentic sec）、Redpine $6.8M、NudgeBee $3M、Copperhelm $7M 等 agent infra 初创。

可信度判断

中等。本期 newsletter 是 opinionated editorial 而非带 peer review 的实证研究；模型能力陈述直接来自厂商发布稿，需交叉验证；Toby Ord 引用是高质量独立信源；但读者侧需注意 newsletter 的 sponsor 关系（Heavybit 是 dev-tooling 投资机构，叙述偏向基础设施机会）。

是否建议入库

建议入库（资料类 / industry notes）： - 建议路径（GitHub-ready 草稿）：notes/agent/2026-07-long-horizon-industry-roundup.md - 进入 tags：agent long-horizon industry-insight substack model-release infra

后续验证动作

1. 抓 OpenAI 5.5、Poolside Laguna、Kimi K2.6、Qwen3.6-27B、MiMo-V2.5-Pro 各自官方发布稿，核对长程评测榜单——避免直接照抄 vendor 自述。
2. 与 HORIZON / Beyond pass@1 / SWE-EVO 三个独立长程评测在 7-08 选出的 frontier 模型榜单上是否一致（如有重叠模型，是否同结论）。
3. 关注 Toby Ord Hourly Costs for AI Agents 的 cost model——这是少数把"长程 agent 的真实经济性"放在首位的工作，建议下次 digest 单列。
4. 与 7-08 flyP 同期 jay 0820 RAG/Agent/Inference Stack Substack 笔记互引——jay 偏 stack 工程视角，本节偏 long-horizon industry release 视角，二者合并读。

反方审稿 / 主题页更新建议

建议写入文件路径

待人工确认的问题

1. HORIZON 的开源状态：项目页 leaderboard 已公开，但 GitHub 仓库链接 / 数据集 / 失败标签 schema 是否 release，需要在 v1 PDF 全文 + 项目页交叉确认（待补查）。
2. HORIZON leaderboard 第三个 model 是什么：摘要承诺"GPT-5 variants and Claude models"，但 leaderboard 仅列 GPT-5-mini 与 Claude-4-Sonnet + 一个未公开 model，需要正文确认。
3. failure 类别 schema 的版本：7 类失败模式（per-step error compounding 等）是我从摘要 + 介绍节推断，正文中可能采用 5–9 类不同切分，需要抓正文 §3–§4 核对。
4. OpenAI 5.5 / Poolside Laguna / Kimi K2.6 / Qwen3.6-27B / MiMo-V2.5-Pro 的 long-horizon 评测榜单：是否使用 SWE-EVO / OSWorld / HORIZON / GAIA 同一组？还是各自 vendor 内榜单？
5. Toby Ord Hourly Costs for AI Agents 的 cost model：是否提供 $/hour 公开数字？方法学是否 peer reviewed？
6. Heavybit 的 dev-tooling 投资偏好：是否会影响 newsletter 中 picks-and-shovels 主张的中立性？
7. 与 jay 7-08 0820 RAG/Agent/Inference Stack Substack 的去重：本节与 jay 的 Substack 笔记主题相邻（都讲 agent stack + 行业 infra），建议下游 digest 任务合并去重，避免重复入册。

元信息 / 合规声明

• 写入动作：仅本文件落入 /shared/research-kb/inbox/flyp/2026-07-08-2250-HORIZON-long-horizon-agent-diagnostic-critical-read.md；不写其他实例目录（jay/spark/tom/stephen）；不写 review/、published/、digests/；不 git commit / git push / gh pr；不输出任何密钥 / Token / Cookie / 私有下载链接。
• 去重：与本日 flyP 09:14 multimodal-weekly-digest + 09:50 overthinking-tts + 15:50 MIOH-multimodal-hallucination-benchmark + 15:51 LCA-latent-condensed-attention 无主题重叠（multimodal / inference / 行业 stack 三个不同主线）。与 jay 7-08 0820 RAG/Agent/Inference Stack Substack 笔记主题相邻但不重（jay 偏 stack 工程视角，本节偏 long-horizon industry release 视角）。与 7-07 KVpop、7-06 TechRAG、7-05 MiroEval、7-04 SoK Agentic RAG、7-03 AgenticRAGTracer、7-03 SoK-Agentic-RAG、6-30 CoffeeBench、6-30 AgentRx 形成"长程 agent 可靠性"主题线索，不重复但可合并入册。
• 可复制粘贴：本文件 Markdown 全文即为"晚间 22:50 精读与批判"格式，可直接被同步任务合入 research-kb/digests/。
• 不复制原文：所有 arXiv abs / html / 项目页 / Substack 内容均仅做摘要 + 评价 + 链接引用；不复制任何论文 / 博文 / 评测报告的原文段落。
• 更新策略：下次"晚间精读与批判"在 2026-07-09 由同一 flyP 实例继续，建议保留同模板与同标签体系。

— flyP · 2026-07-08 22:50 CST