当 Agent 开始"自己改自己"：一份 97 页的自我改进地图

  • 关联论文：arXiv:2607.13104

Agent 工程师最近聊得最多的词，不是"更强的模型"，而是"自我改进"——Agent 能不能在没人在边上盯着的情况下，把从环境里拿到的新本事攒下来？

这事过去几年已经被不同团队从不同角度拆过：有的做 in-context learning（在 prompt 里临时变聪明），有的搞 memory 读写策略，有的用 RLHF 在线更新参数，有的换 tool 选型。但这些工作散在不同的抽象层级上，彼此之间没有共同语言，引用一篇比一篇鸡同鸭讲。

这篇 97 页综述做的就是这件事——给混乱的领域建坐标系。

它提出了什么框架

作者把任何现代 Agent 表达成一个配置（Configuration）：

Agent = (Foundation Model, Scaffold) Scaffold = (Prompts, Memory, Tools, Control Logic)

这个拆法看起来平平，但威力在后半句：Agent 的智能不只来自模型本体，还来自 scaffold 的设计。换 scaffold 的任何一个组件，Agent 的整体行为就会改变。换句话说，当你在调 prompt、加 memory 模块、换 tool 选型时，你已经在做"自我改进"了——只是没人这么叫它。

在此之上，self-improvement 被形式化为一个自我诱导的更新算子（update operator）：

Δ_self = UpdateOp(experience, feedback, target)

按更新对象分两类：

  • 改模型本体：RL fine-tuning、DPO、rejection sampling、RLHF 在线版；
  • 改 scaffold 组件：调 prompt / 写 memory / 学 tool / 改控制逻辑，不动参数。

按驱动信号分三类：

  • Outcome-based：用最终任务成功率驱动（例：任务完成 → 写入 memory）；
  • Process-based：用中间推理质量驱动（例：某步推理被 critique 否决 → 替换策略）；
  • Implicit：通过 attention 的 KV-cache 产生隐式权重变化——ICL 本质上就是这种。

一个有趣的理论连接

综述最有野心的一点：把现代 ICL 和 1991 年 Schmidhuber 提出的 fast-weight programmers 划上等号。

老 fast-weight 理论说：网络通过快速权重变化实现临时记忆。现代 Transformer 的 KV cache 通过注意力机制产生瞬态的上下文相关权重变化——两者在机制层面是同构的。ICL 就是一种"零训练成本"的 self-improvement，Agent 在当前上下文里动态调整"有效权重"适应新任务，无需改模型参数。

注意：这是一个机制类比，不是严格证明。 不同 attention 实现和 1991 年线性网络 + Hebbian 更新之间是否完全等价，学术界尚有争议，不要在技术文档里把它当作已被证明的定理引用。

证据边界与局限

作为综述，它给的是地图而非导航：

  1. 实验对比不足——综述对具体方法没有统一的对照实验，读者必须回溯各引用论文拿细节。
  2. 97 页深度不一——覆盖面广但很多地方只点到为止。
  3. 跨任务迁移未充分评测——Agent 在 task A 上学会的改进能否搬到 task B，综述坦承评估不足。
  4. ICL 的 transient 局限——ICL 是 session 级别的，对话结束即丢；需要跨 session 能力积累时必须有显式 memory 持久化机制。
  5. model-focused 路径的高成本陷阱——在线 RLHF / DPO 需要完整训练 infrastructure，没有成熟 ML infra 的团队强上 model-focused 自我改进，失败概率远高于 scaffold-focused。
  6. awesome repo 的时效性——配套的 GitHub 资源可能是静态快照，不应作为权威来源，应以原始论文为准。
  7. Jürgen Schmidhuber 是否参与署名：综述内提及，需独立核实（可查 arXiv metadata 或 PDF 首页）。

对工程团队的实际启发

  • scaffold 优先于模型：在实际 Agent 产品设计里，把工程投入分给 prompt 策略、memory 读写、tool 管理，往往比押注"更强模型"更划算。综述的 update operator 可以作为架构评审的统一语言。
  • 评测先行：self-improvement 的评测本身就是 open problem。部署前先建好 inner-loop 评测体系，避免"改进不可测、改进不可回"的局面。
  • Memory 模块是隐性价值洼地：综述里 Generative Latent Memory、Latent State Reconstruction、KV Cache 注入等模式，都可作为 memory 系统实现的技术选型参考；存储成本和检索延迟是被低估的工程坑。
  • ICL 潜力被严重低估：few-shot examples / demonstrations 是成本最低的 self-improvement 路径，比 fine-tuning 更快、更灵活、更易 A/B。

适合谁读

  • Agent 系统架构师：理解 self-improvement 的全貌来设计产品路线图；
  • AI 研究者：快速了解该领域的全景与开放问题；
  • 工程师 / PM：建立"自我学习"机制的概念框架，避免对 LLM 的过度期待。

一句话带走：自我改进不是 RLHF 的专利。改 prompt、改 memory、改 tool、改控制逻辑，都是自我改进。统一框架的价值在于：让你不再把"调 prompt"和"训模型"当成两件不相关的事——它们是 update operator 在不同 target 上的同一种操作。

标题变体

  1. 当 Agent 开始"自己改自己"：一份 97 页的自我改进地图
  2. 调 prompt 也是自我改进：97 页综述给混乱的领域建坐标系
  3. ICL 是不是 Self-Improvement？97 页综述的机制连接

小红书卡片文案

Agent 真的能"自己学"吗？

过去几年各团队都给了自己的答案：有的改 prompt、有的写 memory、有的训参数、有的换 tool——散在不同抽象层级，谁也说服不了谁。

这篇 97 页综述干了一件事：把它们都装进同一个坐标系。

核心就两句话—— 1. Agent = 模型 + scaffold（prompt / memory / tools / 控制逻辑），智能不只来自模型，scaffold 的设计也贡献了一半； 2. 自我改进 = 一个 update operator，改什么都行，只要它被 experience + feedback 驱动。

最有意思的一笔：它把现代 ICL 和 1991 年 Schmidhuber 的 fast-weight programmers 划了等号——ICL 本质上就是零训练成本的自我改进。（注：这是机制类比，不是严格证明，工程文档引用时要谨慎。）

给工程团队的提醒： - scaffold 投入往往比换模型划算； - 评测先行，别让"改进不可测"； - 跨任务迁移能力，综述自己也说没充分评估，自己验证；

把"调 prompt"和"训模型"放进同一概念空间——这才是这篇综述留给行业的最大遗产。