Long-Horizon-Terminal-Bench · 长时域终端 Agent 评测精读

  • 任务实例：flyP（2026-09-14 09:50 Asia/Shanghai 高频轮次）
  • 论文：Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
  • 作者/团队：Zongxia Li、Zhongzhi Li、Yucheng Shi 等（含 Leowei Liang、Lichao Sun，Tencent HY LLM Frontier / Lehigh 等）
  • 链接：https://arxiv.org/abs/2607.08964（v2, 2026-07-13，17 页）
  • 项目页：https://zli12321.github.io/LHTB
  • 分类：Agent 评测 · 终端任务 · 长时域 · 风险与可信度
  • 建议路径：notes/agents/2026-07-LHTB-long-horizon-terminal-bench.md、reviews/2026-09-LHTB.md

1. 核心贡献

现有终端类 benchmark（Terminal-Bench、SWEBench 等）大多只评估最终是否通过、任务几分钟内结束、奖励稀疏。Long-Horizon-Terminal-Bench（LHTB）补足三件事：

  1. 46 个长时域任务，覆盖 9 类：实验复现、软件工程、多模态分析、交互游戏、科学计算等。每任务平均需 231 步 episode、9.9M token、85.3 分钟、约 $10.5 API 成本。
  2. 稠密奖励 + 部分得分：把每任务拆成"细粒度 graded subtasks"，给出连续部分分数；评测"agent 走了多远"，而不是只看"是否到终点"。
  3. 假终点 / 假完成（false-finish）模式：发现当前 frontier agent 普遍存在"提前宣告完成、跳过最终验证"的失败模式——这是 Terminal-Bench 2.0 报告的 verification failure 在长时域下的放大版。

评估 15 个 frontier 模型： - 最强 GPT-5.5：pass@1 (R≥0.95) = 15.2%，完美得分 (R=1.0) = 10.9% - 15 模型平均：R≥0.95 仅 4.3%，R=1.0 仅 1.7% - 整体远未饱和。

2. 主要问题与风险

  • 任务集规模有限：46 任务对比 SWEBench 数千 instance，统计功效有限，单个任务噪声大；任务集中在 Python/科学计算栈（论文是 Tencent HY LLM Frontier 主导），生态代表性偏窄。
  • 评测成本极高：每任务 9.9M token × 15 模型 = 单轮评测就接近 $1.5k+ API 成本，对中小团队几乎不可独立复跑。复现难度：高。
  • 稠密奖励的评分可靠性：subtask 拆解与参考解耦合，若参考解本身有缺陷，会系统性低估/高估某些模型。论文未给出"评分者信度"指标（Kappa / 与人工评分一致性）。
  • 生态偏差：任务是否对国产模型（Qwen3、Kimi、DeepSeek、GLM）有结构性友好？摘要未给拆分。待补查模型细表。
  • "false-finish" 的诊断深度：摘要指出这一现象，但没有给出量化分解（如：多少比例因 verification 失败、多少因 hallucinated completion），对训练侧指导有限。
  • 与 OSWorld / WebArena / WildClawBench 等重叠：LHTB 的 9 类任务与近期几个 agent benchmark 有交叉，新增价值到底是"长时域 + 稠密奖励"还是"任务设计本身"，需要更细对比。

3. 可信度判断

  • 数字可信度：85.3 分钟/9.9M token/$10.5 这种"per-run"成本数字，符合 METR 报告的指数曲线（2025 年起 frontier agent 时间视野快速增长），可信度高。
  • 方法可信度：稠密奖励 + hidden verifier 的设计在 SWE-Bench Verified / Terminal-Bench 2.0 中已被验证可行，迁移合理。
  • 结论可信度："假终点"现象与近期 SWE-Bench Verified 上 GPT-5 类模型的失败模式一致，B+。
  • 整体评级：B+（arXiv v2，仍非正式同行评审；缺独立第三方复现报告）。

4. 是否建议入库

✅ 建议入库，理由： - 与 flyP 已有的 risk / coding-agents / WMRL 笔记形成"长时域 + 终端操作 + 评测方法学"的补充。 - "false-finish" 失败模式对内部 Agent 设计的最终验证步骤有直接警示意义。 - 稠密奖励思路可被内部 Agent harness 借鉴。 - ⚠️ 但只入库精读笔记，不直接采用其评测集，因为评测成本极高且任务规模小；可借鉴其"subtask 拆解 + 部分得分"方法。

5. 后续验证动作

  1. 追 GitHub / HF 数据卡：核对 46 任务的领域分布、subtask 拆解规则、参考解长度。
  2. 横向对照：与 WildClawBench（arXiv 2605.10912，19 frontier 模型，60 任务，最佳 Opus 4.7 仅 62.2%）、Odysseys（arXiv 2604.24964，Opus 4.6 完美成功率 44.5%）对比，看 LHTB 是否提供了互补信号还是冗余信号。
  3. 内部评测复用：把 LHTB 的"稠密 subtask 评分"思路移植到内部 Coding Agent harness，优先在 5-10 个内部任务上做小规模验证。
  4. false-finish 现象跟进：建议作者或后续工作给出"verification budget" 与"完成率"的相关性曲线，给训练侧可执行的改进信号。

6. 一句话总结

用 46 个长任务 + 稠密奖励把"终端 Agent 走到哪一步"量化出来，揭示了 frontier 模型普遍的"假终点"问题；评测本身成本过高，更值得借鉴的是其评分方法学而非任务集本身。