flyP 精读与批判 · 2026-07-24 15:50

角色：flyP · 多模态 / 视频生成 / VLA + 长上下文 Agent 方法拆解 周期：cron 每日 3 次（10:50 / 15:50 / 22:50）。本轮 = 15:50 轻量精读。 本轮选题策略：避开 7-22/7-23 已覆盖赛道（长视频外推 / VLA / CanvasAgent / DocOps / Decodability / Self Gradient Forcing），把视角切到 长 horizon agent 的 context management 与长 horizon 终端基准。本轮按"1 主稿 + 1 副稿"轻量精读： - 主稿：PRO-LONG: Programmatic Memory Enables Long-Horizon Reasoning (arXiv:2607.20064v2 · 2026-07-23) — 以"程序化结构化日志 + 编码 agent 在历史里搜索"替代启发式摘要/context edit，在 ARC-AGI-3 上 +18pp / 4.2-5.8× token 节省 - 副稿：Long-Horizon-Terminal-Bench (arXiv:2607.08964v2 · 2026-07 更新) — 46 任务 / 9 类 / dense reward，frontier 0.95 reward 仅 15.2%，1.0 reward 仅 10.9%，平均 9.9M tokens/task

本稿不复制论文/项目页/仓库原文长段，只做摘要、批判、引用、归节建议。

0. 一句话定位

PRO-LONG 把"长 horizon agent context 怎么管理"这个近 6 个月最有争论的工程问题收敛到一个极简范式：完整结构化日志 + 编码 agent 在日志里检索，不靠启发式摘要、不靠 context edit、不靠显式 memory write。ARC-AGI-3 +18pp、4.2-5.8× token 节省、Fable 5 97.4% best@2 / $1,750 总成本——结果是"通用编码 agent + 程序化 memory"已与/超过专用 harness。可信度判断：方法极简、可复现（GitHub + logs）、跨模型一致提升、立标候选。配合 Long-Horizon-Terminal-Bench 的"1.7-4.3% pass rate"基线，可一并构成 2026-Q3 长 horizon agent 主线立标。

1. 主稿：PRO-LONG 精读与批判

1.1 元数据

1.2 核心贡献（自报 + 复述）

1. 诊断：长 horizon agent 的 context management 是一个显著但被低估的设计变量；现有方法（启发式摘要、context edit、显式 memory write）面临 "信息保留 vs 可检索性" 的内生权衡——保留越多，检索越不可行。
2. 方法：PRO-LONG = 完整结构化交互日志 + 让 coding agent 在日志里搜索。不裁剪历史，不写摘要，把"如何取用上下文"完全交给模型本身（在它擅长编程/检索时）。
3. 结果：在 ARC-AGI-3 完整游戏集上： - 比 baseline coding agent 平均提升 18.0pp（跨 frontier 模型一致） - 达到/超过 SOTA 专用 harness，最高 76.1% pass@1 - 4.2-5.8× 减少 tokens - Fable 5 上 97.4% best@2，$1,750 总成本（包含失败重试）

1.3 方法拆解（最小可用）

PRO-LONG = {
  logger:   append-only structured interaction log (全量保留)
  retriever: code agent 在日志上跑查询 (grep-like / structured query)
  controller: coding agent loop (单循环，无显式 memory write)
}

为什么成立（作者论证）： - 编码 agent 在 2025-2026 的工具使用 + 长输出稳定性上已经够好，让它直接在结构化日志上写查询，比"先压缩再检索"的信息丢失更少。 - 结构化日志让"全量保留"变得可检索——自然语言流水账会让 grep 失效。 - 单一抽象（一个 logger + 一个 coding agent）消除了"memory 模块"作为单独子系统带来的状态漂移。

1.4 主要问题与风险

1.5 与已有工作的关系（仅列关键节点）

• ARC-AGI-3（Chollet 等）：持续学习评测，frontier 模型"开箱即用"普遍 < 30%。PRO-LONG 把上界推到 76-97%。
• Aider / SWE-agent / OpenHands / Codex CLI：专用 coding agent harness。PRO-LONG 替代/超越它们，但需要论文明确"baseline coding agent"指哪一个。
• MemGPT / MemoryBank / Letta / LangMem：显式 memory write 路线。PRO-LONG 是反方向——不要 memory subsystem，只要日志 + 检索。
• Context editing（LLMLingua / RECOMP / SummScreen）：压缩路线。PRO-LONG 直接放弃压缩。

1.6 可信度判断

• 方法可信度：中-高。方法极简（单一抽象），逻辑自洽，没有复杂 trick，失败模式容易分析。
• 结果可信度：中。ARC-AGI-3 单一基准 + 论文相对新（v2 仅 1 天），尚未被第三方独立复现。
• 可复现性：中-高。GitHub 公开代码 + 日志是关键加分项；缺任务定义 + prompt 细节则拉低。
• 泛化性：待补查。需要至少一个非 ARC-AGI-3 基准的转移动证。

1.7 是否建议入库

建议入库。理由： - 是 2026-Q3 长 horizon agent context management 路线分歧的标志性论文（"全保留 + 检索"路线代表） - 方法极简、可复现、跨 frontier 模型一致提升 - 与 Long-Horizon-Terminal-Bench 形成"方法 + 基准"互补

1.8 后续验证动作

1. 对比 v1 vs v2 changelog：找出 254→255 KB 的具体修改（可能是新模型、新基线、新附录）
2. GitHub 仓库检查：是否有完整 ARC-AGI-3 任务定义、prompt、模型版本固定
3. 找至少一篇第三方复现报告（HF / Twitter / Reddit r/LocalLLaMA / Substack AI agent 作者）
4. 检查 vs SWE-agent / Aider / OpenHands 在 SWE-bench Verified 上的 head-to-head
5. 关注后续是否有 v3 加入非 ARC-AGI-3 基准（web / 编码 / 工具使用）

2. 副稿：Long-Horizon-Terminal-Bench 精读与批判

2.1 元数据

2.2 核心贡献（自报 + 复述）

1. 诊断：现有 terminal benchmark（Terminal-Bench v2 等）任务多在分钟级、~20-30 episodes，且只看最终结果（sparse reward）——frontier 模型正在快速饱和，且 partial progress 看不见。
2. 方法： - 46 任务 / 9 类，覆盖交互游戏、实验复现、软件工程、多模态分析、科学计算 - dense reward（不是 0/1 pass/fail），让"中间进度"可量化 - 任务平均 9.9M tokens、231 episodes、85.3 分钟执行时间，比 Terminal-Bench v2 高一个量级
3. 结果：15 frontier 模型在统一 terminal agent 下，最强模型 0.95 reward 仅 15.2%、1.0 reward 仅 10.9%，全模型平均 4.3% / 1.7%。长 horizon 终端任务上仍有大量 headroom。

2.3 与 PRO-LONG 的互补关系

• PRO-LONG = 方法论文（context management 范式）
• Long-Horizon-Terminal-Bench = 基准论文（长 horizon 终端任务评测）

两者构成 2026-Q3 "长 horizon agent 主线"立标对：基准给"难到什么程度"，方法给"怎么解决"。

2.4 主要问题与风险

2.5 可信度判断

• 方法可信度：高。dense reward 协议设计思路正确（解决 sparse reward 的根本问题）。
• 结果可信度：中。46 任务规模偏小 + 评估成本极高 → 短期内无第三方复现可能，结论需谨慎外推。
• 可复现性：待补查。需看任务集、reward function、agent harness 是否完全公开。
• 作为基准的寿命：中。长 horizon 任务上 frontier 提升 6 个月可能让基准失真，但 dense reward 给了部分抗饱和能力。

2.6 是否建议入库

建议入库（次主）。理由： - 是 2026-Q3 长 horizon agent 评测侧最有野心的新基准（dense reward + 46 任务 + 9.9M tokens/task） - 与 PRO-LONG 互补（方法 + 基准立标对） - 评估协议对未来 agent 评测设计有方向性影响

2.7 后续验证动作

1. 查 GitHub / 项目页：任务集 + reward function + harness 是否完全公开
2. 对比 Terminal-Bench v2 的任务分布，确认是"扩展"而非"完全替换"
3. 与 PolyWorkBench / DeepPlanning / RetailBench 做横向定位分析
4. 关注是否有第三方在 SWE-bench / HumanEval 长 horizon 版本上交叉验证

3. 检索范围

• arXiv：cs.AI / cs.CL / cs.LG（直接抓 abs 页，未抓全文 PDF，遵守"避免大段全文抓取"）
• 搜索：tavily arxiv 2607.20 LLM agent benchmark reasoning + arxiv 2607.21 LLM agent long-horizon planning
• Substack：本轮未抓（轻量精读规则约束：Substack 最多 1 条补充，本轮两篇论文已饱和 1 主 + 1 副）
• 未抓：Papers with Code leaderboard、CSDN 复现文（两篇均为 2026-07 最新提交，48h 内无成熟复现）

4. 候选条目（4 条，已压缩为 2 条）

5. 分类标签

• 主稿 PRO-LONG：
• agent long-horizon context-management programmatic-memory ARC-AGI-3 coding-agent frontier-models 2026-Q3
• 副稿 Long-Horizon-Terminal-Bench：
• agent benchmark terminal-tasks dense-reward long-horizon evaluation-protocol 2026-Q3

6. 建议写入路径（GitHub-ready 草稿）

• 主稿 review：notes/agent/pro-long-programmatic-memory-2026-07.md 或 reviews/2026-07/agent-pro-long.md
• 副稿 review：reviews/2026-07/bench-long-horizon-terminal.md
• 主题页更新（建议）：
• notes/agent/long-horizon-context-management-2026.md —— 整合 PRO-LONG + MemGPT 路线 + Aider/SWE-agent harness 对比
• notes/bench/agent-evaluation-2026.md —— 整合 Long-Horizon-Terminal-Bench + ARC-AGI-3 + PolyWorkBench + DeepPlanning + RetailBench + Odysseys

7. 后续精读/审稿建议

• PRO-LONG v3 / 第三方复现：等待至少 1 篇非原作者的复现报告（HF / Twitter / Substack AI agent 作者 / Reddit r/LocalLLaMA）
• Long-Horizon-Terminal-Bench 公开性核查：本轮未确认 46 任务 + reward + harness 是否完全开源
• vs Aider / SWE-agent head-to-head：PRO-LONG 论文需明确 baseline 是哪一个；建议下轮精读 Aider 或 SWE-agent 最新版本做横向对比
• 2026-Q3 长 horizon agent 主线：建议建立 notes/agent/long-horizon-2026-landscape.md，整合 PRO-LONG / Long-Horizon-Terminal-Bench / PolyWorkBench / DeepPlanning / RetailBench / Odysseys

8. 已知待补查

• [ ] PRO-LONG v1 vs v2 具体改动（254→255 KB）
• [ ] PRO-LONG GitHub 仓库是否含完整 ARC-AGI-3 任务定义 + prompt + 模型版本固定
• [ ] Long-Horizon-Terminal-Bench 46 任务 / reward function / harness 公开程度
• [ ] PRO-LONG 在 SWE-bench Verified / HumanEval 长 horizon 版上的迁移结果（若有）
• [ ] PRO-LONG 的 baseline coding agent 具体是哪一个（Aider / SWE-agent / OpenHands / Codex CLI？）
• [ ] 两篇论文的作者机构 + 是否工业界（实验室 vs 公司）

9. 写入路径

本轮实际写入：

• /shared/research-kb/inbox/flyp/2026-07-24-1550-PRO-LONG-Long-Horizon-Context-Management-critical-read.md（本文）

未执行 git commit / git push / gh pr / 任何 GitHub 写入。