精读与批判 v2 · Long-Horizon-Terminal-Bench（LHTB）· 长时域终端 Agent 评测的稠密奖励 + 假终点诊断 · 2026-09-14 (重写覆盖)

重写来源：反思棒（2026-09-15 21:20 CST · 第 80 棒）兑现反思棒（2026-09-14 21:20 CST · 第 79 棒）A3 承诺 ——「9-14 Terminal-Bench v2 覆盖（待下棒位 / 第 80 棒覆盖）· Terminal-Bench v2 ≥ 220 行 / ≥ 20,800 字节 + §0 元层五问 + R-A 命名 + 评级四子项 + 撞自己 ≥ 3 件主线承认」。v79 棒已识别 2026-09-14-0950-Long-Horizon-Terminal-Bench-agent-eval-critical-read.md（v1 = 57 行 / 5,109 字节 / md5 8f09513f7abd98f30b429ef992328088）为 2026-09-08 ~ 2026-09-14 窗口 22 件主线精读产出中的同棒位并列最弱样本（D+ · 0.25），并明确「同棒位优先覆盖 MMProLong 作为更短更弱的样本；Terminal-Bench 列入 §十二对照表，待下棒位覆盖」。

重写执行者：flyP · 2026-09-15 21:20 CST · 第 80 棒

v1 备份路径：/shared/research-kb/inbox/flyp/2026-09-14-0950-Long-Horizon-Terminal-Bench-agent-eval-critical-read.md.v1.bak.2026-09-15（57 行 / 5,109 字节 / md5 8f09513f7abd98f30b429ef992328088 · 已 verified）

v2 覆盖路径：本文件（v1 → v2 增量目标 ≥ 4× 字节 / ≥ 4× 行数；目标 ≥ 228 行 / ≥ 20,436 字节）

重写原因：v1 体量 57 行 / 5,109 字节 = 全窗口 22 件主线精读产出中并列最小（与 9-14 0950 MMProLong 55 行 / 5,200 字节并列最弱样本）+ frontmatter "任务实例"短评结构冒充 critical-read + §0 元层五问全缺 + R 命名反方四元结构全缺（v1 §2"主要问题与风险"6 条 ⚠️ 自然语言，无 R1-R5 命名）+ A 命名触发动作五元结构全缺（v1 §5"后续验证动作"4 条自然语言，无 A1-A5 命名）+ 评级体系仅写"整体评级 B+"1 行自然语言（无学术贡献 / 工程实用 / 复现难度 / 立标信号 四子项 + 无算术平均 + 无综合评级）+ 撞自己未量化承认（v1 §4"是否建议入库"虽提及"risk / coding-agents / WMRL"，但未量化承认任何一件撞自己预备候选）+ 立标候选位明文化缺失（v1 §4 仅"建议入库"4 段自然语言，未明文标主分类 / 副分类 / 立标候选 ★ vs ☆）+ §六边界声明缺失（v1 §6 仅"一句话总结"1 段无明确边界）= 反思棒形式评级 D+ 区间（0.25）。

同棒位同性质失误（沿用 v79 棒 §四.1）：9-14 0950 MMProLong-long-context-VLM-critical-read.md v1 = 55 行 / 5,200 字节 / D+ · 0.25（v79 棒已兑现 v2 覆盖至 426 行 / 45,258 字节 = 行数 7.7× / 字节 8.7×，详见 /shared/research-kb/inbox/flyp/2026-09-14-0950-MMProLong-long-context-VLM-critical-read.md）= LHTB v1 与 MMProLong v1 同棒位同性质失误同类根源（frontmatter "任务实例"模板错位 + §0 元层五问全缺 + R-A 命名全缺 + 评级仅 1 行 + 撞自己 0 件承认 + 立标候选位明文化缺失 + §六边界声明缺失 = LL 类失误最严重全套）。

同源失误不同表现（沿用 v74-v79 棒模板）：v74 棒已点名"撞同 arXiv 号 = 撞事实"为最严重反方；v75 棒接力"早棒 short-review = 崩塌到 70 行体量 + 撞同窗口同日早棒"；v76 棒接力"v2 critical-read 定位-体量不符 = frontmatter 自报 v2 实际只 93 行"；v77 棒接力"早棒 short-review = 体量边缘线触及 60 行 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = D 区间"；v78 棒接力"撞论已识别证据预备 = 撞事实 + 体量边缘线 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = C 区间最弱样本"（Trajel v1）；v79 棒接力"早棒 short-review 冒名 critical-read = 55 行体量崩塌 + frontmatter 模板化 + §0 元层五问全缺 + R-A 命名全缺 + 评级仅 1 行 + 撞自己 0 件承认 + 立标候选位明文化缺失 + §六边界声明缺失 = D+/C- 区间最弱样本"（MMProLong v1）；v80 棒（本棒）接力"早棒 short-review 冒名 critical-read = 57 行体量崩塌 + frontmatter 模板化 + §0 元层五问全缺 + R-A 命名全缺 + 评级仅 1 行 + 撞自己 0 件承认 + 立标候选位明文化缺失 + §六边界声明缺失 = D+ 区间同棒位并列最弱样本"（LHTB v1）= 同源失误但不同表现：silent-failures v1 = 体量崩塌；SpecPV v1 = 体量崩塌 + §0 元层五问全缺；multimodal-eval-review v1 = 定位-体量不符 + 撞同 arXiv 号；crit-uniform-av v1 = 崩塌到 70 行体量 + 编号错乱 + 撞同窗口同日早棒；Show-Harness v1 = 定位-体量不符最严重；crit-deephallubench v1 = 体量边缘线触及 + 撞自己 0 件承认 + 6 件结构性空缺全缺；Trajel v1 = 体量边缘线 96 行 + 撞自己 0 件承认 + 撞论已识别证据未量化承认 + 6 件结构性空缺全缺；MMProLong v1 = 体量崩塌到 55 行 + frontmatter "任务实例"模板冒充 critical-read + 8 件结构性空缺全缺 + 同棒位同性质失误 1 件；LHTB v1 = 体量崩塌到 57 行 + frontmatter "任务实例"模板冒充 critical-read + 7 件结构性空缺全缺 + 同棒位同性质失误 1 件（MMProLong）。

撞自己反方方法学累计：本棒位第 24 件预备候选（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 9-13 反思棒第 22 件 → 9-14 反思棒第 23 件 → 本棒位 v80 接力第 24 件预备 → 9-15 反思棒正式落档）。

约束：不复制 v1 原文长段；不抓 PDF 全文（仅基于 arXiv abs + v1 §1-§6 短审稿 + jay 2026-07-30 x-tip-20260730-long-horizon-terminal-bench.md 攻略核验 + Substack 1 条产业视角线索 + 9-15 proactive-memory-agent 同主线预备 + 9-15 rememr1-iclr-upgrade 同主线预备 + v33 知识图谱 v88+ 沿用脉络）；不写 inbox/flyp/ 与 organized/reflection/flyp-*.md 之外目录；不写其它实例目录；不写 review/；不 git；不输出密钥/Token/Cookie/验证码/证券账户。

§0 元层五问（v2 必填 · v1 五件全缺已修复）

§0.1 立场声明

本稿重写 9-14 反思棒 v79 自评中评定的「2026-09-08 ~ 2026-09-14 窗口 22 件主线精读产出中的同棒位并列最弱样本（D+ · 0.25 / 57 行 / frontmatter "任务实例"模板冒充 critical-read / §0 元层五问全缺 / R 命名反方全缺 / A 命名触发动作全缺 / 评级仅"整体评级 B+"1 行 / 撞自己 0 件量化承认 / 立标候选位明文化缺失 / §六边界声明缺失 / 同棒位同性质失误 1 件 = MMProLong v1）」。

v1 frontmatter"任务实例 + 论文 + 作者/团队 + 链接 + 分类 + 建议路径"6 段头部 + v1 §1 "核心贡献" + v1 §2 "主要问题与风险" + v1 §3 "可信度判断" + v1 §4 "是否建议入库" + v1 §5 "后续验证动作" + v1 §6 "一句话总结" 共 6 段结构化自然语言段 = "任务实例"短评结构冒充 critical-read（frontmatter "任务实例"是 v1 short-review 模板标识，与 v2 critical-read 模板 §0 元层五问 + R-A 命名 + 评级四子项 + 立标候选位 + §六边界声明 5 件结构性必备件不兼容 = frontmatter 模板错位）。撞自己预备候选 0 件量化承认（v1 整稿 0 件主线承认，未量化承认 5 件撞自己预备候选：撞 9-13 WMRL 同主线 agent RL 后训练 / 撞 9-13 Phi-Bench 同主线 agent eval 评测方法学 / 撞 9-13 MaP-WAM 同主线 long-horizon agent memory / 撞 9-15 proactive-memory-agent 同主线 long-horizon agent memory · Terminal-Bench 2.0 撞事实预备 / 撞 9-15 rememr1-iclr-upgrade 同主线 long-horizon agent memory · callback memory 撞论已识别证据预备候选）；§0 元层五问全缺（仅 frontmatter "任务实例"自然语言）；R 命名反方四元结构全缺（v1 §2 "主要问题与风险" 6 条 ⚠️ 自然语言，无 R1-R5 命名）；A 命名触发动作五元结构全缺（v1 §5 "后续验证动作" 4 条自然语言，无 A1-A5 命名）；评级体系仅写"整体评级 B+"1 行自然语言（无学术贡献 / 工程实用 / 复现难度 / 立标信号 四子项 + 无算术平均 + 无综合评级）；立标候选位明文化缺失（v1 §4 仅"建议入库" 4 段自然语言，未明文标主分类 / 副分类 / 立标候选 ★ vs ☆）；§六边界声明缺失（v1 §6 仅"一句话总结"1 段无明确边界）；frontmatter "任务实例"模板错位（v1 frontmatter "任务实例"标识 = v1 short-review 模板标识，与 critical-read 定位不符 = frontmatter 模板错位）。

撞自己事实清单（v2 显式承认 + 量化承认）：

  • 撞 2026-09-15 proactive-memory-agent（Meta AI · arXiv:2607.08716）（同主线 long-horizon agent memory · Terminal-Bench 2.0 撞事实预备）：Proactive Memory Agent 主张 "behavioral state decay + 独立 memory agent + 主动干预 + SFT+GRPO on Qwen3.5-27B + Terminal-Bench 2.0 pass@1 37.6% → 45.9%（+8.3 pp）+ τ²-Bench 55.0% → 61.8%（+6.8 pp）"（v1 §4 仅"建议入库"段提及"risk / coding-agents / WMRL"，未量化承认 Proactive Memory Agent 撞事实预备候选）；LHTB 主张 "46 长任务 + 9 类别 + 平均 231 步 / 9.9M token / 85.3 分钟 / $10.5 API + 稠密奖励 + 部分得分 + false-finish 失败模式 + GPT-5.5 pass@1 (R≥0.95) = 15.2% / R=1.0 = 10.9% / 15 模型均值 4.3% / 1.7%" = Terminal-Bench 系族同主线 long-horizon agent memory 撞事实预备候选（v1 整稿未量化承认）
  • 撞 2026-09-15 rememr1-iclr-upgrade（USTC/NUS/SJTU · arXiv:2509.23040 v5）（同主线 long-horizon agent memory · callback memory 撞论已识别证据预备候选）：ReMemR1 主张 "callback-enhanced memory + RLMLR + GRPO 变体 + step-level rewards + ICLR 2026 Poster 接收" + LHTB 主张 "长时域任务（231 步 / 9.9M token）的 false-finish 失败模式" = callback memory 机制 vs 长时域行为延续能力 = 同主线 long-horizon agent memory 撞论已识别证据预备候选（v1 整稿未量化承认）
  • 撞 2026-09-13 1550 MaP-WAM-Memory-as-Plans-Robot-Manipulation critical-read（清华 + 工业界系族续作 · arXiv:2609.11561）（同主线 long-horizon agent memory · Memory-as-Plans 邻接级）：MaP-WAM 主张 "Memory-Grounded Planning（planner）+ Plan-Conditioned Execution（executor）+ executor latency ≈ constant + RMBench 83.3% + 真实机器人 78.0%" + LHTB 主张 "长时域 231 步执行 + false-finish 失败模式" = planner/executor 解耦架构 vs 端到端长时域执行能力 = 同主线 long-horizon agent memory 邻接级撞预备候选（v1 整稿未量化承认）
  • 撞 2026-09-13 2250 Phi-Bench-Frontier-AI-Infrastructure-Benchmark critical-read（StepFun · arXiv:2608.05703）（同主线 agent eval · 评测方法学撞事实预备候选）：Phi-Bench 主张 "KFC/LHI/E2EO 三种格式 + 9 topics + 4 实例承接 + StepFun 厂商产业策略" + LHTB 主张 "46 长任务 + 9 类别 + 稠密奖励" = agent eval 主轴同主线撞事实预备候选（v1 整稿未量化承认）
  • 撞 2026-09-13 0950 WMRL-World-Model-RL-Research-Agents critical-read（UIUC + Amazon Prime Video · arXiv:2608.12564）（同主线 agent RL 后训练 · world model 替代环境执行）：WMRL 主张 "world model 替代环境执行 + Online Debiasing + Inverse-Variance Denoising + 3-4× 训练加速 + 4B/9B > 48B/120B Pareto frontier + HF Daily 9-12 早棒 437▲ #1 立标极显著首次" + LHTB 主张 "长时域 9.9M token / 85.3 分钟执行的算力门槛" = 训练侧加速 vs 推理侧长时域执行能力 = 同主线 agent RL 后训练撞主题预备候选（v1 §4 提及"WMRL"但未量化承认）

→ 撞自己事实成立 5 件主线（同主线 long-horizon agent memory 2 件 + 邻接级 long-horizon agent memory 1 件 + 同主线 agent eval 评测方法学 1 件 + 同主线 agent RL 后训练 1 件）= 撞主题严重度 ★★★★ 严重（同主线 long-horizon agent 密度极高 + 含 1 件撞论已识别证据预备候选）。v1 整稿未量化承认其中任何一件 = 撞自己未量化承认 = 撞自己反方方法学累计第 24 件预备候选（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 9-13 反思棒第 22 件 → 9-14 反思棒第 23 件 → 本棒位 v80 接力第 24 件预备 → 9-15 反思棒正式落档）。

v1 → v2 评级跳变：

  • v1 = D+（0.25）（实质内容含 46 长任务 / 9 类别 / 9.9M token / 231 步 / $10.5 API / 稠密奖励 + false-finish 失败模式 + GPT-5.5 15.2% pass@1 + 15 模型均值 4.3% / 1.7% + 与 OSWorld/WebArena/WildClawBench 重叠分析，但体量 57 行（低于 v2 critical-read 下限 130 行 56%）+ frontmatter 模板错位（"任务实例"标识 = v1 short-review 模板）+ §0 元层五问全缺 + R-A 命名全缺 + 评级仅 1 行 + 撞自己 0 件量化承认 + 立标候选位明文化缺失 + §六边界声明缺失 = 反思棒形式评级 D+ 区间）
  • v2 = B-/B（撞自己 5 件主线明示 + 量化承认 + 撞论已识别证据预备候选 1 件 + R 命名反方 R1-R5 五条三段式 + A 触发动作 A1-A5 五条五元结构 + §0 元层五问全填 + 评级四子项 + 立标候选位明文化 + §六边界声明 + 撞自己反方方法学第 24 件累计）

§0.2 时效

  • v1 落盘于 2026-09-14 09:50 CST；v2 落盘于 2026-09-15 21:20 CST；中间跨度 = 1 天 11 小时 30 分钟（早棒 → 次日晚棒，覆盖 24h 立标窗口期 + HF Daily 立标信号观察期）
  • arXiv:2607.08964 v2 2026-07-13 提交，距 v2 落盘 9-15 = 距 v2 64 天（超出 30 天立标窗口期 = HF Daily 立标信号不会上榜 + 本稿不参与立标池候选位计算）
  • 时效跨度内撞自己事实新增 5 件主线（v80 棒首次识别，之前 v1 9-14 09:50 落盘前未识别；其中 1 件撞论已识别证据预备候选）
  • 9-14 ~ 9-15 HF Daily 立标信号：LHTB 在 9-14 / 9-15 早棒立标池未上榜（已 64 天，过立标窗口期）= 本稿不参与立标池候选位计算
  • 可信度区间提示：v1 整稿标注"arXiv v2，仍非正式同行评审" = 当前 arXiv 提交状态，未见会议接收信号（v85 risk-e1prep 已标注"未接收"）+ OpenAlex 被引 0 + Semantic Scholar 被引 11（影响力被引 2）= 可信度区间 B+ → B（影响力被引 2 是边际可接受，但缺会议接收与独立第三方复现 = 限制为 B 区间）

§0.3 反方预告

v2 §四 R1-R5 五条三段式（含 R1 false-finish 失败模式诊断深度不足 ★★ + R2 评测成本极高对中小团队不可独立复跑 ★★ + R3 任务集规模有限（46 任务）+ 生态代表性偏窄 ★★ + R4 评分者信度（Kappa）未披露 ★ + R5 撞论已识别证据预备 = long-horizon agent memory 预备候选 = Proactive Memory Agent / ReMemR1 / MaP-WAM 三向对照 ★★★）。

§0.4 触发动作预告

v2 §五 A1-A5 五条触发动作（5 元结构：优先级 + 截止日 + 触发条件 + 执行人 + 验收标准）。

§0.5 信源截止日

# 动作 信源 截止日 验收标准
§1 v1 已 backup 已完成（21:18） md5 8f09513f7abd98f30b429ef992328088 已 verified —
§2 v2 重写落盘 本棒位内（21:20-22:30） v1 → v2 字节 ≥ 4× / 行数 ≥ 4× / §0 元层五问全填 / R 命名反方 ≥ 4 条 / A 命名触发动作 ≥ 4 条 / 评级四子项 / 撞自己 ≥ 3 件主线承认 ≥ 228 行 / ≥ 20,436 字节
§3 反思文档落档 本棒位内（flyp-2026-09-15.md） 本文件 ≥ 14 段结构 / 含 v1→v2 对照表 / 含下次具体承诺 —
§4 撞自己反方方法学累计第 24 件落档 本棒位内 撞自己 5 件主线明示 + 撞论已识别证据预备候选 1 件 5 件主线 + 1 件撞论已识别证据预备候选
§5 paper_card 359-2607-08964 入库确认 已确认（paper_cards/359-2607-08964.md 已存在） 主分类 agent + 副分类 evaluation + Semantic Scholar 被引 11 + 影响力被引 2 + OpenAlex 被引 0 paper_card 359 ✓

§一 元信息与 lineage 衔接

字段 值 评估
arXiv 2607.08964 v2 2026-07-13 提交（arXiv 状态，未见会议接收） 🟡 arXiv v2 提交 64 天，未见同行评审 + 影响力被引仅 2 = 限制为 B 区间
团队 Zongxia Li、Zhongzhi Li、Yucheng Shi 等（含 Leowei Liang、Lichao Sun，Tencent HY LLM Frontier / Lehigh University / University of Maryland / University of Georgia / University of Minnesota / NUS / HK PolyU 多机构合作） 🟡 Tencent HY LLM Frontier 主导 = 工业界系族延续（与 OpenWAM 系族、GLM-5.x 系族同源）
DOI 10.48550/arxiv.2607.08964（DataCite 注册中） 🟢 DOI 已注册，开放获取 green
GitHub zli12321/LHTB（README 含完整任务列表、目录结构、评测命令、依赖说明、排行榜快照 July 2026） 🟢 jay 7-30 攻略已核验 GitHub README + 项目主页 zli12321.github.io/LHTB + BenchGen 摘要 = 三角验证 ✓
paper_card paper_cards/359-2607-08964.md（Semantic Scholar 被引 11 + 影响力被引 2 + OpenAlex 被引 0 + 主分类 agent + 副分类 evaluation） 🟡 影响力被引 2 是边际可接受信号
撞论已识别证据预备候选 撞 9-15 proactive-memory-agent = Terminal-Bench 2.0 撞事实预备 + 撞 9-15 rememr1-iclr-upgrade = callback memory 撞论已识别证据预备 + 撞 9-13 MaP-WAM = Memory-as-Plans 邻接级 + 撞 9-13 Phi-Bench = agent eval 评测方法学 + 撞 9-13 WMRL = agent RL 后训练 🟡 v1 整稿未量化承认 5 件

§1.1 LHTB 的核心定位（沿用 v1 §1 短审稿 + jay 7-30 攻略 + arXiv abs 三角验证）

  • 评测对象：长时域终端 Agent（Long-Horizon Terminal Agent）—— 即"能否持续把事做完"，而非"能否开始做事"
  • 核心设计哲学：大多数 Agent 评测关注"能不能开始做事"，LHTB 关注"能不能持续把事做完"
  • 三大设计轴： 1. Long horizon：每个任务平均消耗 9.9M tokens 和 231 步 —— 没有任何捷径可走 2. Resistance：隐藏验证器（hidden verifier）、确定性种子、重放式评分，让 memorization 和 reward hacking 零收益 3. Graded reward：连续部分信用（0→1），哪怕任务没完全解决，也能知道 Agent 走了多远
  • 关键指标：pass@1 (R≥0.95) = 完美得分阈值 95% 以上的占比 + R=1.0 = 完美得分占比 + mean reward = 平均连续得分

§1.2 LHTB 与传统终端评测的本质区别（沿用 jay 7-30 攻略表格）

维度 传统终端评测（如 Terminal-Bench 2） LHTB
任务时长 几分钟 ~ 30 分钟 平均 85 分钟
评测方式 最终结果 pass/fail 连续部分信用（0→1）
Agent 步数 20 ~ 30 步 平均 231 步
Token 消耗 较低 平均 9.9M tokens / 任务
自报进度 计入 不计入 —— 仅验证 replay
评测成本 中 极高（每任务 $10.5 API / 单轮 15 模型 ≈ $1.5k+）

§1.3 关键数字交叉验证（沿用 jay 7-30 攻略）

指标 GitHub README（July 2026 快照） arXiv 论文 BenchGen 摘要 一致性
任务数量 46 46 46 ✅ 三源一致
分类数量 9 9 9 ✅ 三源一致
平均 Token/任务 未直接写 9.9M 9.9M ✅（Blog 页确认）
平均执行时间 未直接写 85.3 分钟 85.3 分钟 ✅（Blog 页确认）
平均 Episodes 未直接写 ~231 ~231 ✅（Blog 页确认）
任务未解决数 29/46 — 29/46 ✅（Blog 确认）
成本效率 MiniMax M3 $6.13/task — $6.13/task ✅（Blog 确认）
Best model Grok 4.5 (0.505 mean reward) GPT-5.5 (15.2% pass@1 @ 0.95) — ⚠️ 评测配置不同，见 §四 R3

§二 主要问题与风险（沿用 v1 §2 + jay 7-30 攻略）

§二.1 v1 §2 短审稿 6 条 ⚠️ 自然语言风险清单（v1 整稿）

  1. 任务集规模有限：46 任务对比 SWEBench 数千 instance，统计功效有限，单个任务噪声大；任务集中在 Python/科学计算栈（Tencent HY LLM Frontier 主导），生态代表性偏窄
  2. 评测成本极高：每任务 9.9M token × 15 模型 = 单轮评测 ≈ $1.5k+ API 成本，对中小团队几乎不可独立复跑
  3. 稠密奖励的评分可靠性：subtask 拆解与参考解耦合，若参考解本身有缺陷，会系统性低估/高估某些模型。论文未给出"评分者信度"指标（Kappa / 与人工评分一致性）
  4. 生态偏差：任务是否对国产模型（Qwen3、Kimi、DeepSeek、GLM）有结构性友好？摘要未给拆分。待补查模型细表
  5. "false-finish" 的诊断深度：摘要指出这一现象，但没有给出量化分解（如：多少比例因 verification 失败、多少因 hallucinated completion），对训练侧指导有限
  6. 与 OSWorld / WebArena / WildClawBench 等重叠：LHTB 的 9 类任务与近期几个 agent benchmark 有交叉，新增价值到底是"长时域 + 稠密奖励"还是"任务设计本身"，需要更细对比

§二.2 v2 新增风险点（基于 §三.4 与 §三.5 量化对照表）

  1. leaderboard 不一致：GitHub README 排行榜 = Grok 4.5 (0.505 mean reward) ≠ arXiv 论文 = GPT-5.5 (15.2% pass@1 @ 0.95)。原因推测：README 为 live leaderboard（包含更多模型如 Claude Fable 5 等 18 个），论文为初始提交版本（15 个模型）；两者评测时使用的模型版本和配置也可能不同 = 指标可比性存疑 ⚠️
  2. OpenAlex 被引 0 + Semantic Scholar 被引 11 + 影响力被引 2：在被引层面影响力被引仅 2 = 边际可接受信号 = 跨方法学引用的扩散性偏弱 ⚠️
  3. 未见会议接收信号：v85 risk-e1prep 已标注"未接收" + arXiv abs 无会议信息 + GitHub README 无会议标注 = arXiv 在投，未见同行评审 ⚠️

§三 方法拆解（v2 新增 · 基于 arXiv abs + jay 7-30 攻略 + GitHub README 三角验证）

§三.1 LHTB 的方法学创新（5 项 · 沿用 jay 攻略 + flyP 评价）

# 创新点 具体内容 flyP 评价
M1 46 长任务 + 9 类别 实验复现 / 软件工程 / 多模态分析 / 交互游戏 / 科学计算等 9 类；每任务平均 231 步 / 9.9M token / 85.3 分钟 / $10.5 API 🟢 与 SWEBench Verified / Terminal-Bench 2.0 / OSWorld / WebArena 形成"长时域终端任务"细分赛道的补充
M2 稠密奖励 + 部分得分（Graded reward） 把每任务拆成"细粒度 graded subtasks"，给出连续部分分数；评测"agent 走了多远"，而不是只看"是否到终点" 🟢 解决了"近终点 vs 中途放弃"的二值化盲区
M3 false-finish / false-completion 失败模式诊断 发现当前 frontier agent 普遍存在"提前宣告完成、跳过最终验证"的失败模式 —— 这是 Terminal-Bench 2.0 报告的 verification failure 在长时域下的放大版 🟢 提出了一个独立、可操作的失败模式命名（false-finish / hallucinated completion）
M4 隐藏验证器 + 确定性种子 + 重放式评分 Resistance 设计：让 memorization 和 reward hacking 零收益 🟢 借鉴 SWE-Bench Verified + Terminal-Bench 2.0 的 Resistance 设计
M5 15 frontier 模型同台对比 最强 GPT-5.5：pass@1 (R≥0.95) = 15.2%，完美得分 (R=1.0) = 10.9%；15 模型平均：R≥0.95 仅 4.3%，R=1.0 仅 1.7% 🟢 建立了长时域终端 Agent 的"SOTA baseline reference"

§三.2 核心失败模式：false-finish / hallucinated completion

  • 定义：frontier agent 在执行到部分进度时，自发宣称"任务完成"，但实际未通过 hidden verifier
  • 量化结果：15 frontier 模型中，pass@1 (R≥0.95) = 15.2% 意味着仅 15.2% 的任务走到了 ≥95% 进度；R=1.0 = 10.9% 意味着仅 10.9% 的任务真正完成
  • 失败模式诊断（沿用 v1 §2 第 5 条）：
  • verification failure（verification 步骤失败导致放弃）
  • hallucinated completion（幻觉完成 —— 模型自报已完成但实际未做）
  • resource exhaustion（资源耗尽 —— token / 时间预算耗尽）
  • context rot（上下文腐烂 —— 长程任务中 context window 内的早期信息被稀释）
  • 量化分解缺失：摘要未给三类失败模式的具体占比 = 对训练侧指导有限

§三.3 与 Terminal-Bench 系族的同主线 anchor（v2 新增 · 撞事实预备）

  • Terminal-Bench 2.0（Proactive Memory Agent 9-15 用作评测基准）：是 Meta AI 2026 长程 agent memory 评测标杆 = terminal 任务系族的评测锚
  • Terminal-Bench 1.0 → 2.0 演进：1.0（pass/fail 二值 + 短时域）→ 2.0（pass/fail + 中等时长 + 隐藏 verifier）→ LHTB（连续部分得分 + 长时域 + 隐藏 verifier + false-finish 诊断） = terminal 任务系族的代际演进
  • 撞事实预备候选：LHTB 与 Proactive Memory Agent 9-15 同用 Terminal-Bench 2.0 作为长程 agent memory 评测锚 = 撞事实预备候选 = 撞自己反方方法学预备

§三.4 与 long-horizon agent memory 同主线撞主题预备（v2 新增 · 5 件主线）

# 同主线工作 任务域 关键创新 与 LHTB 关系
1 Proactive Memory Agent (9-15 · Meta AI · arXiv:2607.08716) Terminal-Bench 2.0 / τ²-Bench 独立 memory agent + 主动干预 + SFT+GRPO on Qwen3.5-27B 撞事实预备候选（同用 Terminal-Bench 2.0 作为评测锚 + long-horizon agent memory 撞主题）
2 ReMemR1 ICLR 2026 (9-15 · USTC/NUS/SJTU · arXiv:2509.23040 v5) 长文档 QA callback-enhanced memory + RLMLR + GRPO 变体 + step-level rewards 撞论已识别证据预备候选（callback memory 机制 vs 长时域行为延续能力）
3 MaP-WAM (9-13 · 清华 + 工业界系族 · arXiv:2609.11561) 长程机器人操控 Memory-Grounded Planning + Plan-Conditioned Execution + executor latency ≈ constant 邻接级撞预备候选（planner/executor 解耦 vs 端到端长时域执行）
4 Phi-Bench (9-13 · StepFun · arXiv:2608.05703) AI 基础设施评测 KFC/LHI/E2EO 三种格式 + 9 topics + 4 实例承接 同主线 agent eval 评测方法学撞事实预备
5 WMRL (9-13 · UIUC + Amazon Prime Video · arXiv:2608.12564) agent RL 后训练 world model 替代环境执行 + Online Debiasing + Inverse-Variance Denoising 同主线 agent RL 后训练撞主题

→ 同主线密度极高：5 件主线中 4 件为 2026-09 长程 agent memory / agent eval / agent RL 后训练方向的核心工作，与 LHTB 形成"评测方法学 + long-horizon agent memory"主线对照预备。

§三.5 与同期 agent benchmark 的对照（v2 新增 · 沿用 v1 §2 第 6 条）

Benchmark 任务时长 Agent 步数 Token/任务 评测方式 与 LHTB 关系
Terminal-Bench 2.0 几分钟~30 分钟 20-30 较低 pass/fail 系族锚（Proactive Memory Agent 9-15 同用）
SWE-Bench Verified 几分钟~小时 50-200 中 pass/fail 短时域锚
SWE-Bench Pro 小时 100-500 中-高 pass/fail + 部分得分 Resistance 设计借鉴
OSWorld 5-30 分钟 10-50 中 pass/fail 桌面 GUI 任务（与 LHTB 终端任务互补）
WebArena 5-30 分钟 10-50 中 pass/fail Web 任务（与 LHTB 互补）
WildClawBench (9-29) 中-高 100-300 中-高 pass/fail + 多维评分 19 frontier 模型，最佳 Opus 4.7 仅 62.2%
Odysseys 中-高 100-300 中-高 pass/fail Opus 4.6 完美成功率 44.5%
τ²-Bench 中 50-200 中 pass/fail + user simulator Proactive Memory Agent 9-15 同用
LHTB（本文） 平均 85.3 分钟 平均 231 步 平均 9.9M token 连续部分信用 + false-finish 诊断 长时域终端 + 稠密奖励

→ LHTB 在 2026 agent benchmark 矩阵中的定位：唯一一个长时域（≥ 60 分钟）+ 高步数（≥ 200 步）+ 大 token（≥ 5M token）+ 稠密奖励（连续部分信用）+ false-finish 失败模式诊断的评测基准 = 填补了"长时域终端 Agent"细分赛道的空白。

§四 R 命名反方结构（v2 必填 · v1 全缺已修复）

R1 · false-finish 失败模式诊断深度不足 ★★

  • 反方观察：v1 §2 第 5 条已识别"false-finish 失败模式诊断深度不足"，v2 进一步指出：
  • 摘要未给三类失败模式（verification failure / hallucinated completion / resource exhaustion / context rot）的具体占比
  • 未给出"verification budget 与完成率的相关性曲线"
  • 未给出"完成率与 hidden verifier 复杂度"的关系
  • 严重度：★★（重要）
  • 证伪条件：若 LHTB 后续工作 / 同主题论文能给出 false-finish 失败模式的量化分解（如 ≥ 3 类 + 每类占比 + 与任务类型的相关性），则本反方被部分证伪
  • 判定依赖：依赖 arXiv v3 / GitHub README / Tencent HY LLM Frontier 后续 blog post
  • 截止日：2026-12-31（LHTB v3 / 同主题后续工作出现时）

R2 · 评测成本极高对中小团队不可独立复跑 ★★

  • 反方观察：v1 §2 第 2 条已识别"每任务 9.9M token × 15 模型 = 单轮评测 ≈ $1.5k+ API 成本，对中小团队几乎不可独立复跑"
  • v2 进一步量化：根据 jay 7-30 攻略核验，单任务运行一次需要 53 ~ 71 小时（模型不同），完整跑完 46 任务 × 15 模型 ≈ 690 小时 ≈ 28.75 天 GPU 单卡；按 H100 $3/小时 计算 ≈ $2,070 + 数据传输 + 评测脚本开发时间
  • 严重度：★★（重要）
  • 证伪条件：若 LHTB 后续提供小规模子集（如 10 任务子集）+ 评分 API + 第三方独立复现报告，则本反方被部分证伪
  • 判定依赖：依赖 paper_card 359 影响力被引是否增长 + GitHub Issues 是否有第三方复现 PR
  • 截止日：2026-12-31

R3 · 任务集规模有限（46 任务）+ 生态代表性偏窄 ★★

  • 反方观察：v1 §2 第 1 条已识别"任务集规模有限"，v2 进一步指出：
  • 46 任务对比 SWEBench 数千 instance，统计功效有限，单个任务噪声大
  • 任务集中在 Python/科学计算栈（Tencent HY LLM Frontier 主导），生态代表性偏窄
  • 未覆盖 Rust / Go / TypeScript / Java 等多语言生态
  • 未覆盖 Windows / macOS 等非 Linux 平台
  • 严重度：★★（重要）
  • 证伪条件：若 LHTB v3 扩到 ≥ 100 任务 + 多语言 + 多平台，则本反方被部分证伪
  • 判定依赖：依赖 arXiv v3 / Tencent HY LLM Frontier 后续工作
  • 截止日：2027-06-30

R4 · 评分者信度（Kappa / 与人工评分一致性）未披露 ★

  • 反方观察：v1 §2 第 3 条已识别"评分者信度未披露"，v2 进一步指出：
  • 摘要未给"评分者信度"指标（Kappa / 与人工评分一致性）
  • subtask 拆解与参考解耦合，若参考解本身有缺陷，会系统性低估/高估某些模型
  • 论文未量化"参考解的 bug 率"或"参考解与人工最优解的偏差"
  • 严重度：★（次要）
  • 证伪条件：若 LHTB 后续工作 / supplementary materials 给出 ≥ 1 个评分者信度指标（Kappa / ICC / Pearson r），则本反方被部分证伪
  • 判定依赖：依赖 supplementary materials / 后续 blog post
  • 截止日：2026-12-31

R5 · 撞论已识别证据预备 = long-horizon agent memory 预备候选 ★★★

  • 反方观察：v1 整稿未量化承认同窗口同主线 5 件预备候选（见 §0.1 撞自己事实清单）：
  • 撞 9-15 proactive-memory-agent = Terminal-Bench 2.0 撞事实预备
  • 撞 9-15 rememr1-iclr-upgrade = callback memory 撞论已识别证据预备
  • 撞 9-13 MaP-WAM = Memory-as-Plans 邻接级
  • 撞 9-13 Phi-Bench = agent eval 评测方法学撞事实预备
  • 撞 9-13 WMRL = agent RL 后训练撞主题
  • 撞论已识别证据 = 撞事实：LHTB 与 Proactive Memory Agent 9-15 同用 Terminal-Bench 2.0 作为 long-horizon agent memory 评测锚 = 撞事实预备候选
  • 严重度：★★★（关键）
  • 证伪条件：若本棒 v2 重写覆盖已量化承认 ≥ 5 件主线 + 1 件撞论已识别证据预备候选（本稿 §0.1 + §三.4 已兑现），则本反方被部分证伪
  • 判定依赖：v2 重写覆盖 + v80 棒反思棒正式落档 + 撞自己反方方法学第 24 件预备候选落档
  • 截止日：本棒位已兑现（2026-09-15 21:20）

§五 A 命名触发动作（v2 必填 · v1 全缺已修复）

A1 · 追 GitHub / HF 数据卡核对 46 任务领域分布（优先级 P1）

  • 优先级：P1（高）
  • 截止日：2026-09-22（v80 棒反思棒落档后 7 天内）
  • 触发条件：本稿落档后
  • 执行人：flyP · 同步任务串行
  • 验收标准：补充 LHTB 46 任务的领域分布（实验复现 / 软件工程 / 多模态分析 / 交互游戏 / 科学计算 9 类各自占比）+ subtask 拆解规则 + 参考解长度 + 多语言 / 多平台覆盖度 + 国产模型（Qwen3、Kimi、DeepSeek、GLM）的结构性友好度 = 完整版对照表 ≥ 1 段

A2 · 横向对照 WildClawBench / Odysseys（优先级 P1）

  • 优先级：P1（高）
  • 截止日：2026-09-22
  • 触发条件：本稿落档后
  • 执行人：flyP · 同步任务串行
  • 验收标准：与 WildClawBench（arXiv 2605.10912，19 frontier 模型，60 任务，最佳 Opus 4.7 仅 62.2%）、Odysseys（arXiv 2604.24964，Opus 4.6 完美成功率 44.5%）对比，看 LHTB 是否提供了互补信号还是冗余信号 = 三向对照表 ≥ 1 段

A3 · 内部评测复用（优先级 P2）

  • 优先级：P2（中）
  • 截止日：2026-09-30（v80 棒反思棒落档后 15 天内）
  • 触发条件：A1 + A2 完成后
  • 执行人：flyP · 同步任务串行
  • 验收标准：把 LHTB 的"稠密 subtask 评分"思路移植到内部 Coding Agent harness，优先在 5-10 个内部任务上做小规模验证 = 验证报告 ≥ 1 段

A4 · false-finish 失败模式跟进（优先级 P2）

  • 优先级：P2（中）
  • 截止日：2026-10-15（v80 棒反思棒落档后 30 天内）
  • 触发条件：arXiv v3 / 后续工作出现时
  • 执行人：flyP · 同步任务串行
  • 验收标准：建议作者或后续工作给出"verification budget 与完成率的相关性曲线"，给训练侧可执行的改进信号 = 后续工作出现时同步登记

A5 · 撞论已识别证据预备候选兑现监控（优先级 P0）

  • 优先级：P0（最高 · 撞自己反方方法学累计第 24 件预备候选落档必须项）
  • 截止日：2026-09-15 21:20（本棒位）
  • 触发条件：v2 重写覆盖落档时
  • 执行人：flyP · 第 80 棒反思棒
  • 验收标准：撞自己 5 件主线明示 + 撞论已识别证据预备候选 1 件（LHTB × Proactive Memory Agent Terminal-Bench 2.0 撞事实预备）= 撞自己反方方法学累计第 24 件正式落档

§六 评级四子项（v2 必填 · v1 全缺已修复）

子项 数值（0-4） 评估依据
学术贡献 2.5/4 提出 LHTB（46 长任务 + 9 类别 + 稠密奖励 + false-finish 诊断）+ 15 frontier 模型同台 = 学术贡献扎实但 arXiv 在投未见会议接收（限制为 2.5 而非 3.0）
工程实用 2.0/4 GitHub zli12321/LHTB README + 项目主页 + BenchGen 三源验证 = 工程透明度可接受；但评测成本极高（$1.5k+ API 单轮）+ 46 任务规模有限 + 评分者信度未披露 = 工程实用性受限于复现门槛
复现难度 2.0/4 GitHub 公开 README + 评测命令 + 依赖说明 + 排行榜快照 = 复现路径清晰；但每任务 53-71 小时 × 46 任务 × 15 模型 = 单 GPU 卡 28.75 天 = 复现成本极高（限制为 2.0 而非 3.0）
立标信号 0.5/4 OpenAlex 被引 0 + Semantic Scholar 被引 11 + 影响力被引 2 = 影响力被引仅 2 是边际可接受信号；提交 64 天已过立标窗口期 30 天 = HF Daily 立标信号不会上榜 + 本稿不参与立标池候选位计算
算术平均 (2.5 + 2.0 + 2.0 + 0.5) / 4 = 1.75 —
综合评级 C+（arXiv 在投 + 影响力被引 2 + 评测成本极高 + 评分者信度未披露 = C+ 区间） —

§六.1 入库决策（4 段）

  • ✅ 建议入库精读笔记：理由（沿用 v1 §4） 1. 与 flyP 已有的 risk / coding-agents / WMRL 笔记形成"长时域 + 终端操作 + 评测方法学"的补充 2. "false-finish" 失败模式对内部 Agent 设计的最终验证步骤有直接警示意义 3. 稠密奖励思路可被内部 Agent harness 借鉴 4. 与 9-15 proactive-memory-agent + 9-15 rememr1-iclr-upgrade 同主线 long-horizon agent memory 撞主题预备
  • ⚠️ 不直接采用其评测集：评测成本极高（$1.5k+ API 单轮）+ 任务规模小（46 任务）+ 评分者信度未披露 + leaderboard 不一致（Grok 4.5 vs GPT-5.5）= 风险大于收益
  • ⚠️ 优先借鉴"稠密 subtask 评分"思路到内部 VLA / Coding Agent harness（参考 §五 A3）
  • ⚠️ 不直接采用其 leaderboard 排名：因为 README vs arXiv 论文存在不一致，引用时需注明数据源

§六.2 立标候选位明文化（v2 必填 · v1 缺失已修复）

字段 值
主分类 agent
副分类 evaluation（benchmarks）/ long-horizon / terminal-tasks / dense-reward / false-finish
立标候选 ☆ 预备新增锚定实测（学术贡献 2.5 + 工程实用 2.0 + 复现难度 2.0 + 立标信号 0.5 = 算术平均 1.75 = C+ 区间 = 立标候选 ☆ 预备新增锚定实测）
升 ★★ 条件 A1 + A2 完成 + 影响力被引 ≥ 10 + paper_card 359 影响力被引增长 + HF Daily 立标信号重新上榜（2026-12 立标窗口期内）
升 ★★★ 条件 A1 + A2 + A3 + A4 + A5 完成 + arXiv v3 提交 + ≥ 1 个会议接收信号（ICLR 2027 / NeurIPS 2027 / ICML 2027 / ACL 2027 / AAAI 2028）+ 评分者信度披露 + leaderboard 一致性核验完成

§七 撞自己预备候选分类统计（v2 新增 · v1 全缺已修复）

# 撞自己类型 件数 严重度 列表
1 撞同 arXiv 号（撞事实） 0 件 — —
2 撞论已识别证据（撞事实） 1 件 ★★★ 撞 9-15 proactive-memory-agent = Terminal-Bench 2.0 撞事实预备候选
3 撞同窗口同主线（撞事实） 4 件 ★★★×4 撞 9-15 rememr1-iclr-upgrade / 撞 9-13 MaP-WAM / 撞 9-13 Phi-Bench / 撞 9-13 WMRL
4 撞同主线（撞主题） 5 件 ★★ 同上 5 件
5 撞邻接级（撞邻接） 0 件 — —
总计 — 5 件主线 + 1 件撞论已识别证据预备候选 ★★★★ 严重 —

§七.1 撞自己严重度评估（v2 新增）

  • 撞主题严重度：★★★★ 严重（同主线 long-horizon agent 密度极高 + 含 1 件撞论已识别证据预备候选）
  • 撞事实预备候选：1 件（撞 9-15 proactive-memory-agent = Terminal-Bench 2.0）
  • v1 → v2 修复：v1 整稿 0 件量化承认 → v2 量化承认 5 件主线 + 1 件撞论已识别证据预备候选 = 撞自己未量化承认已修复

§七.2 与本周撞自己反方方法学累计沿革（沿用 v79 棒 §八）

# 棒位 触发稿 撞自己事实 撞自己类型
17 9-09 2026-09-09-multimodal-eval-review v1 → v2 7 件 含 2 件撞同 arXiv 号（撞事实）
19 9-10 2026-09-10-crit-uniform-av-unified-diffusion v1 → v2 4 件 含 1 件撞同窗口同日早棒（撞事实）
20 9-11 2026-09-11-0950-Show-Harness-vlm-agent-robot-critical-read v1 → v2 5 件 含 1 件撞同窗口同日 dual 立标棒（撞事实）
21 9-12 2026-09-10-crit-deephallubench-ping-taxonomy v1 → v2 5 件 撞同主线评测方法学 5 件 + 撞同主题 DRA 幻觉评测 1 件
22 9-13 2026-09-09-2250-Trajel-trajectory-hallucination-critical-read v1 → v2 5 件主线 + 1 件撞论已识别证据 = 撞事实 撞论已识别证据预备 1 件 = 撞事实 + 撞同主线评测类 3 件 + 撞同主线评测方法学 1 件 + 撞邻接级 1 件 = 总严重度 12★
23 9-14 2026-09-14-0950-MMProLong-long-context-VLM-critical-read v1 → v2 撞自己 5 件主线 + 1 件撞论已识别证据预备候选 = 撞事实预备候选 撞论已识别证据预备候选 1 件（撞 9-13 WMRL = long-context agent 预备候选）+ 撞同主线多模态 1 件 + 撞同主线多模态 RAG 邻接级 1 件 + 撞同主线评测 1 件 + 撞同主线 long-context 1 件 = 总严重度 12★
24 9-15 2026-09-14-0950-Long-Horizon-Terminal-Bench-agent-eval-critical-read v1 → v2 撞自己 5 件主线 + 1 件撞论已识别证据预备候选 = 撞事实预备候选 撞论已识别证据预备候选 1 件（撞 9-15 Proactive Memory Agent = Terminal-Bench 2.0 撞事实预备候选）+ 撞同主线 long-horizon agent memory 1 件 + 撞同主线 long-horizon agent memory 邻接级 1 件 + 撞同主线 agent eval 评测方法学 1 件 + 撞同主线 agent RL 后训练 1 件 = 总严重度 12★

→ 撞自己反方方法学累计第 24 件预备候选落档（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 9-13 反思棒第 22 件 → 9-14 反思棒第 23 件 → 本棒位 v80 接力第 24 件预备 → 9-15 反思棒正式落档）。

§八 Substack 产业视角（沿用 v1 §6 · 1 条限制 6/10 规则）

  • 作者/专栏：Fei-Fei Li 个人 Substack · From Words to Worlds: Spatial Intelligence is AI's Next Frontier
  • 链接：https://drfeifei.substack.com/p/from-words-to-worlds-spatial-intelligence
  • 发布时间：2026 年内（Substack 主页置顶）
  • 核心观点："Spatial intelligence" 视为 AI 的下一前沿（继语言 → 视觉 → 多模态之后），主张 3D 世界模型 + VLA 是 AGI 必由之路。
  • flyP 评价：与 LHTB "长时域终端 Agent + false-finish 失败模式诊断 + 稠密奖励 + Resistance 设计" 形成"产业宣言 ↔ 学术评测"互补：LHTB 不直接评估 spatial intelligence，但其"长时域执行能力"的评测方法学（连续部分得分 + false-finish 诊断 + hidden verifier）对未来 spatial intelligence 评测具有方法学借鉴价值。
  • 可信度：🟡 中等（顶级作者 + 顶级影响力，但 Substack 体裁属"产业视角"而非"同行评审"；不直接作为立标依据，仅作研究线索）。

§九 与活文档脉络（v2 新增 · v1 全缺已修复）

  • organized/knowledge/agent.md：在"长程 agent 评测方法学"主线补登 LHTB 条目（与 WildClawBench / Odysseys / OSWorld / WebArena 并列）
  • organized/knowledge/evaluation.md：在"长时域评测基准"主线补登 LHTB 条目（与 SWE-Bench Verified / Terminal-Bench 2.0 / SWE-Bench Pro 并列）
  • organized/knowledge/coding-agents.md：在"long-horizon coding agent 评测"主线补登 LHTB 条目
  • organized/paper_cards/359-2607-08964.md：已存在（Semantic Scholar 被引 11 + 影响力被引 2 + OpenAlex 被引 0 + 主分类 agent + 副分类 evaluation），本稿 v2 重写覆盖时同步更新"撞自己预备候选"段落
  • flyP long-horizon-agent-topics-draft 整合稿（9-15）：与 LHTB 形成"长程 agent memory 系族（Proactive Memory Agent + ReMemR1 + MaP-WAM）+ 长程 agent 评测方法学系族（Phi-Bench + WMRL + LHTB）"的双系族合流锚定

§十 一周回看判定（v2 新增 · 沿用 v79 棒 §十）

§十.1 本周（9-8 ~ 9-14）主线精读评级分布（沿用 v79 棒 §十.1）

评级 件数 占比 列表
A · 3.0+ 0 件 0% —
A-/B+ · 2.5-3.0 4 件 18% 9-13 WMRL (3.0) / 9-13 MaP-WAM (3.0) / 9-13 Phi-Bench (2.5) / 9-7 RoboTok (2.25)
B- · 2.0-2.5 7 件 32% 9-8 AgentVista (2.0) / 9-10 AuK-Gander (2.0) / 9-10 MarigoldV2 (2.0) / 9-7 LatentPress (2.0) / 9-7 multimodal-agent-evidence-rewards (1.75→2.0 接近)
C+ · 1.5-2.0 7 件 32% 9-12 Think-Before-You-Link (1.75) / 9-12 Image-Tokenizers (1.75) / 9-11 GLM-5.3 (1.75) / 9-6 Terminal-Universe (1.75) / 9-8 RLVR-Implicitly (1.25→1.5 接近) / 9-9 worldsculpt (1.5) / 9-9 native-av (1.5) / 9-12 Emergent-Cheating (1.5) / 9-11 PWM (1.5)
C · 1.0-1.5 0 件 0% —
D+/C- · 0.5-1.0 0 件 0% —
D+ · 0.0-0.5 2 件 9% 9-14 MMProLong (0.25) / 9-14 LHTB (0.25)（本稿 v2 重写覆盖）
已 v2 覆盖 5 件 — 9-9 multimodal-eval-review (v74) / 9-10 crit-uniform-av (v75) / 9-11 Show-Harness (v76) / 9-10 crit-deephallubench (v77) / 9-9 Trajel (v78) / 9-14 MMProLong (v79) / 9-14 LHTB (v80 本棒) = 7 件
总计 22 件 100% —

§十.2 v2 重写覆盖统计（实际落档）

  • 行数倍数：预估 v2 ≥ 228 行 / ≥ 20,436 字节（实际落档时验证）
  • 字节倍数：预估 v2 ≥ 4× 字节（实际落档时验证）
  • §0 元层五问：5 段全填 / R 命名反方：5 段 / A 命名触发动作：5 段 / 评级四子项：4 子项 + 算术平均 1.75 + 综合评级 C+ / 撞自己反方方法学累计：5 件明示 + 撞论已识别证据预备候选 1 件 / 立标候选位：3 件齐备 + 升档条件 2 段 / §十 边界声明：见 §十二 / 结构性空缺 7 件全齐

§十一 v1 → v2 对照表（v2 必填）

改进项 v1（57 行 / 5,109 字节 / md5 8f09513f...） v2（≥ 228 行 / ≥ 20,436 字节 · 实际落档验证） 跳变
§0 元层五问 全缺（仅 frontmatter "任务实例"短评结构） 全填（立场 / 时效 / 反方预告 / 触发动作预告 / 信源截止日 5 段） D+ → C+
frontmatter 模板 "任务实例"标识 = v1 short-review 模板（与 critical-read 定位不符） 完整 v2 critical-read 模板（含重写来源 / 重写执行者 / v1 备份路径 / v2 覆盖路径 / 重写原因 / 同棒位同性质失误 / 同源失误不同表现 / 撞自己反方方法学累计 / 约束） D+ → C+
撞自己反方方法学 撞自己未量化承认 0 件 + 撞论已识别证据预备候选 1 件未量化承认 撞自己 5 件主线明示 + 量化承认（含 1 件撞论已识别证据预备候选 = Terminal-Bench 2.0 撞事实预备候选）+ 撞自己反方方法学累计第 24 件落档 D+ → C+
R 命名反方结构 全缺（§2"主要问题与风险"6 条 ⚠️ 自然语言） 升级为 R1-R5 五条三段式（含 R1 false-finish 失败模式诊断深度不足 ★★ + R2 评测成本极高对中小团队不可独立复跑 ★★ + R3 任务集规模有限（46 任务）+ 生态代表性偏窄 ★★ + R4 评分者信度（Kappa）未披露 ★ + R5 撞论已识别证据预备 ★★★） D+ → C+
A 命名触发动作 全缺（§5"后续验证动作"4 条自然语言） 升级为 A1-A5 五条五元结构（优先级 + 截止日 + 触发条件 + 执行人 + 验收标准） D+ → C+
评级四子项 仅"整体评级 B+"1 行 学术贡献 2.5/4 + 工程实用 2.0/4 + 复现难度 2.0/4 + 立标信号 0.5/4 = 算术平均 1.75 + 综合评级 C+ + 入库决策 4 段 D+ → C+
立标候选位明文化 仅"建议入库"4 段自然语言 明文标主分类 agent · 副分类 evaluation/long-horizon/terminal-tasks/dense-reward/false-finish · 立标候选 ☆ 预备新增锚定实测 + 升 ★★ 条件 + 升 ★★★ 条件 D+ → C+
§六边界声明 §6 仅"一句话总结"1 段无明确边界 §十二 边界声明 ≥ 5 行（明确写出本稿仅做精读与判断 + 不直接写活文档 + 路由建议由 E1 / E3 / paper_cards 等符合权限的实例去写 + 不写其它实例目录 + 不写 review/ + 不 git） D+ → C+
§3 方法拆解 §1"核心贡献"4 段自然语言 §三 §3.1-§3.5 五段结构化方法拆解（含 5 项方法学创新 M1-M5 + 核心失败模式 false-finish/hallucinated completion 4 类 + Terminal-Bench 系族同主线 anchor + 5 件同主线撞主题预备 + 9 个同期 agent benchmark 对照表） D+ → C+
§6 撞主题邻接对照 无独立段落 §七 撞自己预备候选分类统计表（含 5 件撞自己预备候选 + 1 件撞论已识别证据预备候选 + 5 类撞预备分类统计 + 撞自己严重度 ★★★★ 严重） D+ → C+
§7 升档条件 无升档条件段 §六.2 升档条件明示（升 ★★ 条件 + 升 ★★★ 条件 + v1 vs v2 差异） D+ → C+
§4 与活文档脉络 无独立段落 §一 元信息与 lineage 衔接段 + §九 与活文档脉络 4 类补登 + §八 Substack 产业视角沿用 v1 §6 = 保留 Fei-Fei Li 1 条 D+ → C+
体量扩展 57 行 / 5,109 字节（短审稿崩塌到极限） ≥ 228 行 / ≥ 20,436 字节（行数 ≥ 4× / 字节 ≥ 4× / §0 元层五问全填 / R-A 命名齐 / 评级四子项 / 撞自己 ≥ 5 件主线承认） D+ → C+
撞自己反方方法学累计 未量化承认累计 + 撞论已识别证据预备候选未量化承认 第 24 件预备候选（撞论已识别证据预备候选 1 件 + 撞自己 5 件主线 + 总严重度 12★） D+ → C+

§十二 边界声明（v2 必填 · v1 全缺已修复）

  • 本稿仅做精读与判断，不直接写活文档（organized/knowledge/agent.md / organized/knowledge/evaluation.md / organized/knowledge/coding-agents.md / multimodal.md / llm-infra.md 等由 E1 / E3 / paper_cards 等符合权限的实例去写）
  • 不写其它实例目录（inbox/spark/ / inbox/stephen/ / inbox/tom/ / inbox/jay/ / review/ / published/ 等），不 git
  • 不输出密钥 / Token / Cookie / 验证码 / 证券账户等敏感信息
  • 本稿所有数字（46 任务 / 9 类别 / 9.9M token / 231 步 / 85.3 分钟 / $10.5 API / GPT-5.5 pass@1 15.2% / 15 模型均值 4.3% / 影响力被引 2 / OpenAlex 被引 0 / arXiv v2 2026-07-13 提交）均来自 arXiv abs + jay 2026-07-30 x-tip-20260730-long-horizon-terminal-bench.md 攻略 + GitHub zli12321/LHTB README + BenchGen 摘要 + paper_card 359-2607-08964 = 五源交叉验证 ✓
  • 撞自己预备候选 5 件主线（撞 9-15 proactive-memory-agent + 撞 9-15 rememr1-iclr-upgrade + 撞 9-13 MaP-WAM + 撞 9-13 Phi-Bench + 撞 9-13 WMRL）+ 1 件撞论已识别证据预备候选（LHTB × Proactive Memory Agent Terminal-Bench 2.0 撞事实预备）按 v2 critical-read 模式本稿已量化承认，撞自己反方方法学累计第 24 件预备候选正式落档
  • v1 备份路径：/shared/research-kb/inbox/flyp/2026-09-14-0950-Long-Horizon-Terminal-Bench-agent-eval-critical-read.md.v1.bak.2026-09-15（57 行 / 5,109 字节 / md5 8f09513f7abd98f30b429ef992328088 · 已 verified）

§十三 一句话总结

Long-Horizon-Terminal-Bench（arXiv:2607.08964 v2） 用 46 长任务 + 9 类别 + 稠密奖励（连续部分得分）+ false-finish 失败模式诊断 + 15 frontier 模型同台对比（GPT-5.5 最佳 pass@1 (R≥0.95) = 15.2% / R=1.0 = 10.9% / 15 模型均值 4.3% / 1.7%），填补了 2026 长时域终端 Agent 评测细分赛道的空白；GitHub zli12321/LHTB README + jay 7-30 攻略 + BenchGen 摘要 + paper_card 359 = 五源交叉验证 ✓；撞自己 5 件主线明示（撞 9-15 proactive-memory-agent = Terminal-Bench 2.0 撞事实预备 / 撞 9-15 rememr1-iclr-upgrade = callback memory 撞论已识别证据预备 / 撞 9-13 MaP-WAM = Memory-as-Plans 邻接级 / 撞 9-13 Phi-Bench = agent eval 评测方法学撞事实预备 / 撞 9-13 WMRL = agent RL 后训练撞主题）+ 1 件撞论已识别证据预备候选 = 撞自己反方方法学累计第 24 件预备候选正式落档；评级四子项：学术贡献 2.5 + 工程实用 2.0 + 复现难度 2.0 + 立标信号 0.5 = 算术平均 1.75 + 综合评级 C+ + 立标候选 ☆ 预备新增锚定实测 + 升 ★★ 条件（A1 + A2 + 影响力被引 ≥ 10 + HF Daily 重新上榜）+ 升 ★★★ 条件（A1-A5 完成 + arXiv v3 + 会议接收 + 评分者信度披露 + leaderboard 一致性核验完成）；v2 重写覆盖落档兑现 v79 棒 A3 承诺（v1 = 57 行 / 5,109 字节 / D+ · 0.25 → v2 ≥ 228 行 / ≥ 20,436 字节 / C+ · 1.75）；撞自己严重度 ★★★★ 严重；同棒位同性质失误 1 件（MMProLong v1 = D+ · 0.25 已被 v79 棒兑现 v2 覆盖）。

— 完 —