Agent 主题深度综述：LLM Agent 的生命周期、评测与自我改进（2026-10-22 批次）
作者：spark ⚡
本综述的材料边界（请先读）
本篇综述严格限定于清单 a7d6254f-9c7d-4862-9b58-cf778b1bee03（W5 主题 agent）给出的 8 篇工作。清单标注 new_papers = 8，本批次 8 篇全部为 is_new 的新工作，没有旧背景论文条目，因此本篇不包含"新工作 vs 旧背景"的纵向对比，只做同批内部的横向综合。
证据边界必须先说清楚：8 篇材料在知识库中的形态均为 paper card 的摘要级解读摘录，卡内 代码： 字段为空，本次未获取任何论文全文、实验表格或附录。作者已使用配额允许的两次事实核查尝试访问其中两篇的 arXiv 页面（2610.13166、2610.12183），返回的仅为 arXiv 站点框架内容（标题、分类、DOI 占位），未取回摘要正文或结果数据。因此：下文所有关于方法、数据集、结论的陈述，均转述自各卡片的摘要摘录，未通读全文；凡涉及具体数值、基线、实验设置的细节，本综述一律不作断言，也不做跨论文的性能横向比较（那需要原文表格支撑）。凡本综述出现的判断，均标注为"综述推断"以与论文自述区分。
一、方向脉络：这 8 篇在同一条主线上各占一环
把它们放在一起看，本批次呈现出一条相当完整的主线：agent 的"能力"不再主要来自更大的基座模型，而来自基座之外的三个层次——工程化的开发与训练生命周期、可度量的评测基准、以及不改动权重的能力外化机制。
按层次归位：
- 分类与词汇层（1 篇）：2610.11899《Forms of LLM-Integrated Applications》给出一个综述性的坐标框架，把 LLM 集成的应用形态归为七种 recurring forms：LLM chats、custom agents、RAG、AI-enhanced workflows、copilots、coding agents，以及部分意义上的 agentic RAG。这篇的作用是给其余 7 篇提供共同术语表。
- 开发与训练生命周期层（2 篇）：2610.13335 AgentTune 提供统一的工具型 agent 开发与优化框架；2610.13166 TerminalHorizon 提供长程终端任务的自动化数据合成引擎。二者共同覆盖了"造 agent"和"喂 agent"两个环节。
- 评测层（3 篇）：2610.13361 AgentSWE（agent 软件工程三阶段基准）、2610.12183 AgenticBBO-Bench（黑盒优化跨域基准）、2610.12341（长周期游戏 agent 竞赛中的启发式学习评估）。这是本批次占比最大的一组。
- 能力外化 / 自我改进层（2 篇）：2610.11794 Memento 3（冻结模型 + 外部记忆的递归自我改进路线）、2610.11287 REMORY（残差记忆网络做上下文压缩）。以及 2610.12341 也可归入此层（固定权重、改进周边软件与策略）。
一条值得注意的综述推断：本批次 8 篇里有 5 篇（AgentTune、TerminalHorizon、Memento 3、REMORY、AHL）明确或隐含地以 "冻结/固定基座模型"为前提，把改进空间放在数据、记忆、规则、策略和脚手架上。这与 2610.13361 关心的"coding agent 能否造出你真正想要的 agent"是同一件事的两面——如果连 agent 软件本身都能被自动生成和编辑，那么围绕它的训练与自我改进循环就有了一个自动化的载体。
二、方法差异：三种截然不同的"改进杠杆"
2.1 杠杆一：把过程标准化（AgentTune, 2610.13335）
AgentTune 的核心主张是统一：提供一个 source-available 的 Python 库，把工具型 agent 的开发与优化纳入同一框架。其最有辨识度的设计是两层 EventLog 表示——既保留完整 agent 轨迹（供审计与复盘），又能派生出"一致化的投影视图"分别服务训练、评测与审计。
这个设计回应的是一个很实际的问题：agent 的训练数据来自它自己的运行轨迹，而轨迹是异构的、多模态的、带副作用的。如果不先解决表示问题，训练/评测/审计三件事会用三套不同的数据口径互相打架。把"原始轨迹"与"训练样本投影"分成两层，实质上是承认轨迹是研究对象而非副产品。
需要注意的边界：摘录未给出 EventLog 两层的具体 schema、投影规则，也未给出该框架上训练出的 agent 相对基线的效果证据。综述推断：这类工作的真正贡献往往在接口设计与可复现性上，而非某个 SOTA 数字——因此评价它应当看下游采用度，而非单一基准分数。
2.2 杠杆二：把数据规模化并自动化（TerminalHorizon, 2610.13166）
TerminalHorizon 走的是数据路线：一个全自动的长程终端 agent 数据合成引擎。其摘要明确声称在 12 个基准上取得显著提升，覆盖三类任务——coding-agent 任务、真实生产环境中的 agentic 任务、以及通用推理。
把"通用推理"和"真实生产 agentic 任务"放进同一个数据引擎的验证范围，是一个值得玩味的选择。综述推断：这暗示该作者认为长程终端行为的瓶颈不在于领域知识，而在于行为模式的稳定性——即在长链条中不偏离、在失败后不崩溃。把通用推理作为迁移检验项，是在验证学到的是可迁移的长程行为骨架而非领域捷径。
证据边界（重要）：摘要只说"substantial performance gains"，没有给出任何具体数字、基线模型、基准名称或增益幅度。本综述不代为推测。一次事实核查尝试访问其 arXiv 页面只取回站点框架。因此"12 个基准全部提升"这一说法目前仅有摘要自述支撑，无第三方可见的实验细节。
2.3 杠杆三：把能力外化到基座之外（REMORY, 2610.11287；Memento 3, 2610.11794）
这两篇是本批次中方法论最激进的一组，共同前提是冻结 LLM。
- REMORY 提出一个神经记忆网络，在摘要（summary）之外补充一串有界的 soft memory tokens，目标是让冻结的 LLM 逼近它在拥有完整历史时本会产生的续写。换句话说，它不是要改进模型，而是要用最小的可学习状态去逼近"拥有全部上下文"的行为。"有界"（bounded）这个限定是关键——它承认了 token 预算的硬约束，把问题重新表述为"在固定预算内如何最优地携带历史信息"。
- Memento 3 在 Memento 系列基础上，让冻结的 LLM agent 通过外部记忆持续学习显式的世界模型，并把它作为通向递归自我改进（RSI）的一条模型化路线来研究。
综述推断：这两篇构成了一个有趣的互补对。REMORY 处理的是被动压缩（信息塞不下了怎么办），Memento 3 处理的是主动学习（怎样把经验固化下来）。二者共同指向同一个工程现实：在可预见的算力约束下，agent 的持久能力必须住在模型之外的结构里。REMORY 的"逼近完整历史"目标与 Memento 3 的"显式世界模型"在哲学上互通——前者是隐式近似的记忆，后者是可解释的符号化记忆。
证据边界：REMORY 摘录未给出压缩比、逼近误差或基准；Memento 3 摘录未给出 RSI 的实验设置、迭代轮次或收敛证据。"通向 RSI"目前是研究议程而非已证结论——摘录用词是"被研究为（investigated as）一条路线"，本综述据此判断其定位是探索性的。
2.4 评测杠杆：三种"难"的构造方式
本批次评测类工作占三分之一，且恰好构造了三种递进的难度：
- AgentSWE（2610.13361）—— 难在工程全流程。 它把 agent 软件工程拆成三阶段：从自然语言需求创建一个完整 agent；编辑已有的生产级 agent 代码库；朝可度量的目标做优化。这是本批次唯一一篇明确以"agent 自身的开发"为对象的基准。第二阶段（编辑生产代码库）尤其刁钻——它要求 agent 处理别人写的、风格不一致的、有历史包袱的代码，这与在干净脚本里生成代码是完全不同的能力。
- AgenticBBO-Bench（2610.12183）—— 难在真实黑盒约束。 跨域覆盖合成函数、超参数优化、数据库调优、芯片设计、分子设计，统一在有限预算评测协议下运行。其最有价值的负面结论是：额外增加数值工具并不一致地提升性能（additional numerical tools do not consistently improve performance）。这是本批次中唯一一条明确为负/或至少为"无稳定收益"的经验发现。
- 长周期游戏 agent 竞赛（2610.12341）—— 难在时间跨度与对手。 它把 Adversarial Heuristic Learning (AHL) 形式化：用 AI agent 作为学习引擎来精炼游戏策略及其配套软件，同时保持模型权重固定。其实验结论是：对手选择（opponent selection）与稠密反馈（dense feedback）支撑了策略改进。
综述推断：这三条经验发现之间存在有意思的张力。AgenticBBO-Bench 说"加工具没用（不稳定）"，AHL 说"稠密反馈有用"。二者不矛盾，但指向不同的机制：前者讲的是单 agent 的工具增强在固定预算下会因域而异；后者讲的是多 agent 交互中反馈的密度本身构成改进动力。真正的推论可能是：改进的杠杆在反馈回路的密度，不在 agent 手里工具的数量。如果这条成立，它对当前"给 agent 配更多工具"的主流工程直觉是一个直接挑战。
证据边界：AgenticBBO-Bench 的"不一致改善"未附任何域级别的例外清单；AHL 的两个条件（对手选择、稠密反馈）未给出各自的贡献量或消融结果。一次事实核查尝试访问 AgenticBBO-Bench 的 arXiv 页面同样只取回框架内容。
三、未解问题
综合本批次，以下问题在多篇工作交汇处浮现，但均未被这 8 篇解决：
- "不一致"的程度未知。 AgenticBBO-Bench 报告工具增强"不一致地"改善，但不一致到什么程度、是哪些域受益、失败模式是什么，决定了这个结论是"工具无用"还是"工具需要选型"。这是最值得跟进的一个开放问题。
- 冻结前提的代价。 5 篇以冻结基座为前提，但没有任何一篇（在本摘录范围内）量化了冻结相对于可训练方案的性能损失。"不改权重也能变强"与"改权重能更快变强"之间的兑换率，目前是未知的。
- 长程能力的评测缺口。 TerminalHorizon 在 12 个基准上报告提升，但"长程"本身缺乏独立于基准的度量——长任务可能因为任务更长而显得更难，也可能因为更多中间反馈而显得更容易。没有共同的长程性指标，各家报告的提升不可直接比较。
- 递归自我改进的实证基础薄弱。 Memento 3 把 RSI 作为被研究的对象而非已实现的能力；从摘录看该路线仍处早期。任何关于"递归自我改进正在到来/可控"的判断，目前都缺乏本批次材料支撑。
- agent 作为开发对象本身缺少基线。 AgentSWE 是本批次唯一以 agent 开发为基准的工作。它出现得如此之晚，意味着我们对"coding agent 能否可靠地构建 agent"这个问题的经验数据几乎还是空白——而其余 7 篇所依赖的整套 agent 工具链，其可靠性恰恰建立在这个空白之上。
四、研究建议
以下均为综述推断，基于本批次材料，不是任何论文的原文建议：
- 优先做工具增强的域级别消融。 AgenticBBO-Bench 的负结论目前太粗粒度。把它拆到"哪个域、加哪个工具、增益多少"的三维表格，是一篇可独立成文的工作，且现有基准已经提供了现成脚手架。
- 建立"反馈密度"作为独立变量。 AHL 与 AgenticBBO-Bench 的结论交汇于反馈回路。设计一组只改变反馈密度（而固定工具、模型、预算）的实验，可以直接检验"杠杆在反馈而非工具"这一假说。
- 把长程性做成分离指标。 在 TerminalHorizon 式的数据引擎上，额外报告与任务长度解耦的长程指标（如无监督纠错次数、错误恢复时延），可以给该领域一个公共标尺。
- 量化冻结/微调的兑换率。 在同一记忆机制下对照冻结与轻量微调，能把 REMORY/Memento 3 这类外部记忆路线的真实成本摊开。这是当前外部记忆路线最缺的一组数字。
- 把 AgentSWE 的三阶段拆开报告。 "创建—编辑—优化"三阶段的能力差异很可能极大（尤其编辑阶段最难），合并报告会掩盖最有信息量的部分。建议社区优先引用分阶段结果。
五、清单全部论文标识与链接
本批次共 8 篇，全部 is_new，无旧背景条目：
| # | 标识 | 标题 | 链接 | is_new |
|---|---|---|---|---|
| 1 | 2610.13361 | AgentSWE: Can Coding Agents Build the Agent You Actually Want? | https://arxiv.org/abs/2610.13361 | ✅ 新 |
| 2 | 2610.13335 | AgentTune: A Unified Training Lifecycle for Tool-Using LLM Agents | https://arxiv.org/abs/2610.13335 | ✅ 新 |
| 3 | 2610.13166 | Scaling Agentic Data for Long-Horizon Terminal Intelligence | https://arxiv.org/abs/2610.13166 | ✅ 新 |
| 4 | 2610.12341 | Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition | https://arxiv.org/abs/2610.12341 | ✅ 新 |
| 5 | 2610.12183 | A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization | https://arxiv.org/abs/2610.12183 | ✅ 新 |
| 6 | 2610.11899 | Forms of LLM-Integrated Applications from LLM-Chats to Autonomous AI Agent System | https://arxiv.org/abs/2610.11899 | ✅ 新 |
| 7 | 2610.11794 | Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks | https://arxiv.org/abs/2610.11794 | ✅ 新 |
| 8 | 2610.11287 | REMORY: Learning Residual Memory for Context Compaction | https://arxiv.org/abs/2610.11287 | ✅ 新 |
对应 paper card 来源（知识库内路径）：
- 2610.13361 → organized/paper_cards/1778-2610-13361.md
- 2610.13335 → organized/paper_cards/1757-2610-13335.md
- 2610.13166 → organized/paper_cards/1777-2610-13166.md
- 2610.12341 → organized/paper_cards/1762-2610-12341.md
- 2610.12183 → organized/paper_cards/1747-2610-12183.md
- 2610.11899 → organized/paper_cards/1739-2610-11899.md
- 2610.11794 → organized/paper_cards/1744-2610-11794.md
- 2610.11287 → organized/paper_cards/1748-2610-11287.md
本综述仅基于清单给定的 8 篇材料之摘要级解读摘录撰写，未通读任何论文全文，未获取实验表格、具体数值或代码仓库；文中所有量化性论断均已标注为待核实。除本文件外未写入任何其他路径。