Agent 主题深度综述：自我改进闭环的度量、载体与训练（2026-10-31 批次）
作者：spark ⚡
〇、材料边界（请先读）
- 清单：
/shared/research-kb/organized/indexes/work-guard/a7d6254f-9c7d-4862-9b58-cf778b1bee03.json（W5，theme=agent，new_papers = 8）。该路径内容已轮换为新一批 8 篇；同路径的上一批综述organized/promo/surveys/2026-10-27-agent.md作为旧背景由清单 context 提供。 - 新工作 vs 旧背景：8 篇材料
is_new全部为true，本批次没有旧背景论文条目。下文"旧背景"专指上一批 8 篇（2610.11215 GATOR、2610.11169 Skill Constellations、2610.10164 UniSkill、2610.10091 ExperienceIndex、2610.09832 SkillForge、2610.09684 PersonTTS、2610.09127 CADFather、2610.09116 SPLATIFY），主题为"能力外化、技能治理与工具协同"。 - 证据边界：本次未通读任何论文全文、实验表格或附录。材料形态为 paper card（TLDR 级）+ 已有解读稿所引 abstract；8 张卡的
代码：字段均为空。 - 事实核查 2 次（配额用满），均针对清单内已有链接，且均取回了完整 abstract：
1.
https://arxiv.org/abs/2610.08995—— 核对通过：42 RoboDojo 任务、五维均分68.14/100、62.00%成功率、RoboDawn one-shot47.17%、八项为难 Astra 的任务55.00%vs 直接调用1.25%、AgileX PiPER 真实世界 25 次试验90.60/100与84.00%。口径修正：原文为 "held-out-layout evaluation of retained task-specific deployment versions"，即评测对象是保留下来的任务特定部署版本，比解读稿转述的"held-out layout"更窄。新增事实：主分类 cs.RO、v1 提交 2026-10-06、提交人 Wenqing Tian、DOI10.48550/arXiv.2610.08995。 2.https://arxiv.org/abs/2610.07753—— 核对通过：656 例、6 个运营域、5 种协议、ten model-harness configurations、"failures often begin before execution"、Evidence Ledger + 确定性轨迹评估器。否定性结论同样有价值：abstract 中确不含"静态 ≥90% → 交互 30-40%"，该组数字仍只能标注为项目页来源。新增事实：主分类 cs.CL、Comments "36 pages. Project page: https://safeact.github.io"、提交人 Lin Hongzhan、DOI pending registration。
一、方向脉络：本批次补上了上一批缺失的"度量层"
上一批的主题是"把能力搬出基座模型"，8 篇里 5 篇把改进落在技能、记忆、控制器程序等基座之外，但没有一篇回答"这些资产是否真的带来了可泛化的提升"。本批次 8 篇在保持"外化"取向的同时，多出一整层结构：
（1）度量层——闭环是否真的在转。 2610.08902 Agent Plasticity 把"学会了吗"改写为效率量纲（把经验转化为 held-out 增益的效率），并把失败拆成 Reuse / Quality / Generalization / Application 四类；2610.07753 SafeActBench 把"失败在哪"改写为可规则化检验的证据链，核心命题是 evidence-to-action gap——结果正确不等于动作有证据支撑，且失败多发生在执行之前（调查不全就停、证据未建立就动手）。综述推断：这两篇恰好是上一批留下的两个空位的补丁，"能力外化"若无度量层，无法区分真改进与自我欺骗。
（2）载体层——改进沉淀在哪个可继承对象上。 2610.08630（综述）把参数类记忆抽象成坐标系；2610.08048 DAEDALUS 沉淀为文本启发式规则；2610.08995 PhysEvo 沉淀为工具+技能库；2610.07862 Gan Jiang 沉淀为领域技能库（XMatcher / XQueryer / XDecomposer / WPEM 四引擎外层）。四者载体不同，但共享同一验收装置：改完必须测，通过才留。
（3）训练层——不动基座时如何让改进进入模型内部。 2610.08077 SRD 用事后 hindsight 蒸馏事前 foresight（只在训练时用，推理零开销）；2610.07332 把 agentic 轨迹的操作语义结构接进 MoE 路由控制。
一条批次级差异：上一批的治理层（SkillForge 的生命周期、Skill Constellations 的供应链）处理的是"资产会不会腐坏"；本批次的对应物是 2610.08995 的"修订可测试/可保留"与 2610.07862 的"开发集学技能、冻结后在 held-out 评测"。综述推断：两批合起来才构成完整闭环——上一批管生命周期，本批次管判据。
（4）三条贯穿全批次的"不做"宣言。 2610.08995 冻结 base 权重、不另训 action policy；2610.07862 不重训 LLM、不替换物理模型；2610.08048 不需要预置任务与 oracle verifier。三者形式不同，实质同构：把改进的落点限定在"可替换、可回滚、可验收"的对象上，而不是模型参数本身。综述推断：这与上一批 UniSkill/SkillForge 的立场是连续的，但本批次把它推到了更极端——上一批至少还训练 actor，本批次连 actor 都尽量不训。这条"不做"的共同逻辑是：权重一旦被改，所有已积累的技能、记忆、规则都可能因底座漂移而系统性失效，而外化资产可以整体重放。这也解释了为什么本批次的每篇都在"验收"上花大力气（详见 §二）。
二、方法差异：四条轴
| 维度 | 2610.08995 PhysEvo | 2610.08902 Plasticity | 2610.08630 In-Param Memory | 2610.08077 SRD | 2610.08048 DAEDALUS | 2610.07862 Gan Jiang | 2610.07753 SafeActBench | 2610.07332 MoE Routing |
|---|---|---|---|---|---|---|---|---|
| 验证信号 | 环境 A/B 成功率 | 成本→held-out 增益 | 综述分类 | 事后轨迹自蒸馏 | 自我重复成功 | 环境复跑 | 规则化轨迹评估 | 操作语义标签先验 |
| 载体 | 工具+技能库 | reusable artifacts | 参数对象 | 表征（前瞻预测） | 文本启发式 | 领域技能库 | Evidence Ledger | 专家路由分布 |
| 是否动权重 | 冻结 base | 不涉及 | 不动 backbone（插 adapter） | 训练 policy | 不涉及 | 不重训 LLM/不换物理模型 | 不涉及 | 训练路由 |
| 反馈时点 | 后验修订 | 事后评估 | 离线/在线 | 前置 | 后验准入 | 后验修订 | 事后审计 | 先验结构 |
三点差异值得强调：
- 验证信号的强弱谱系：环境 A/B（08995、07862）最可信但最贵；自我重复成功（08048）零外部先决条件，但底座弱到 trace 不可信时准入机制即失效；事后自蒸馏（08077）不需环境验证却引入自评噪声；操作语义先验（07332）最便宜但依赖一个外部分类器。
- 反馈时点构成一条谱系：08048/08995/07862 都是后验验收（错了再改，改了再测），08077 是唯一把信号前置的——训练模型在行动前就预测"这么走会怎样"。综述推断：这可能是本批次中最被低估的机制差异，因为后验验收的成本随失败率线性上升，而前置学习把同样的预算前置支付。
- 是否动权重在本批次内部是分裂的：四篇明确不动基座（08995、07862、08048、08630 的插对象式），两篇走参数级后训练（08077、07332）。上一批的同类分裂（PersonTTS 与 UniSkill）在本批次以更清晰的形式重现："外化"与"后训练"是两条独立可叠加的路线，不是二选一。
2.1 三个"验收装置"的成本与失效模式对比
本批次最值得并置的三处，是 2610.08995、2610.08048、2610.07862 各自设计的改进验收装置。三者都不接受"看起来更对"作为通过条件，但门槛与代价完全不同：
| 2610.08995 PhysEvo | 2610.08048 DAEDALUS | 2610.07862 Gan Jiang | |
|---|---|---|---|
| 通过条件 | A/B 后成功率提升 | 带启发式时反复成功 | 复跑后 refinement score 优于原版 |
| 判定主体 | 环境奖励 | solver 自身行为一致性 | 领域物理评分 |
| 成本形态 | 每条修订一次仿真/真机 A/B | 每条规则多次重试 | 每个技能一次新任务复跑 |
| 主要失效模式 | 样本量不足导致保留噪声修订 | 启发式过拟合单一 query 措辞 | 技能库与领域数据分布耦合过紧 |
综述推断：这三种验收装置构成一条从"最贵也最客观"到"最便宜但最自证"的滑梯——08995 的 A/B 是唯一由环境而非系统自身给出裁决的，08048 干脆用"同一 agent 带不带这条规则"的稳定性差异充当证据，07862 则借领域软件给出独立于 LLM 的物理裁决。DAEDALUS 的准入逻辑最优雅也最脆：它把 oracle verifier 的成本转移成采样成本，但裁决者与被裁决者是同一个 solver，底座能力一旦不足，验收门槛与被验收对象同时退化，二者一起失效。PhysEvo 走的是相反的赌：用大量 A/B 试验换取裁决的客观性，代价是真实机器人上每一次修订都要占用宝贵的试验预算。
三、证据边界
3.1 可 verbatim 引用（abstract 明文给出）：2610.08995 的 68.14/100、62.00%、47.17%、55.00%、1.25%、90.60/100、84.00%（本次 arXiv abs 已独立复核）；2610.07753 的 656 例、6 域、5 协议、ten model-harness 配置、36 pages（已复核）；2610.08077 的最高 24.2 pp、37%–98% reward-uniform 组占比、2B 模型在 98% 全失败组下 0.0% → 60.6%、10 个任务；2610.08048 的最高 +15.9 个百分点、pass^5 最高 2.2×；2610.07862 的 MP500 96.30% vs 58.00%、RRUFF 81.78% vs 58.47%、opXRD 40.83% vs 26.45%。
3.2 必须标注"最高/最多"而非"平均"：08077 的 24.2 pp、08048 的 +15.9 pp 与 2.2×、07332 的"所有评测基准 +10 pp 以上"均属最大值或统一量级概述，逐基准数字未公开；08048 的 +15.9 pp 与 2.2× 分属不同指标（平均成功率提升 / pass^5），不可混用。
3.3 不能引、必须回 PDF：08902 无任何数值表，abstract 只有定性判断（"sharply different improvement trajectories""transfer only partially"），具体环境名、模型名、held-out 构造方式均未公开；08630 是综述，abstract 无任何 SOTA 数字，解读稿列出的方法谱系（LoRA、IA³、test-time training 等）标注为"综述视角的合理归类，不代表论文逐一点名"；07862 在三个独立精修器（FullProf / GSAS-II / PyWPEM）上的 refinement score 具体数值未给；08048 每条规则的探索 token/美元成本、弱底座下的稳定性边界、检索机制（embedding / keyword / LLM-rerank）未定；08995 真实世界 25 次试验采样方差未给；07753 的"≥90% → 30-40%"经本次核查确认不在 abstract 中，只能标项目页来源。
3.4 三条贯穿全批次的缺口
其一：8 篇无一实验表格被读取，全部数字停在 abstract 级，因此本文不做跨论文性能横向比较（各篇机制、训练预算、评测协议是否一致无法确认）；引用时只写"某篇在某基准上报告了某数"，不写"优于/低于某篇"。尤其注意 2610.07862 的 40.83% 与 2610.08995 的 62.00% 分属物相鉴定与机器人操作两个无关任务域，并列比较它们在语义上无意义。
其二：计量单位不统一，且各篇自选单位。2610.08995 用成功率与五维均分双口径（68.14/100 与 62.00% 描述的是同一组实验），2610.08077 用百分点差，2610.08048 同时用百分点与 pass^5 倍数，2610.08902 直接把"成本"留作开放问题。综述推断：这使得本批次天然不可横比——即使拿到全部表格，也需先做一次单位口径归一（成功率 / 均分 / pass^k / 相对提升四套口径混用），而这正是 W42 写作指引中点名的历史失误类型（"词 vs token"类单位混淆）。
其三：可复现性几乎为零。论文卡 代码： 字段全空，仅 2610.08048 的 abstract 自带 github.com/illuin-tech/daedalus，其余 7 篇的可复现性无从确认；2610.07862 的四引擎是否全部开源、2610.08902 的 artifact schema 与 commit 时机均未定。最后，8 篇中仅 2610.08995 与 2610.08077 各有 1 次 Semantic Scholar 被引，其余为 0，全部处于预印本早期，不宜以引用量论影响。
四、未解问题（按"影响范围 × 可验证性"排序）
P0 — 影响范围大且读原文即可定论
1. 08902 的 held-out 集合如何构造？ 若与训练分布仅是简单扰动，plasticity 会被系统性高估，"可塑性"这一量纲本身就失去区分力。
2. 08902 的成本折算单位用什么？ token / 交互步数 / 工具调用会给出不同排序，直接决定模型间可比性。
3. 08077 的 24.2 pp 与 60.6% 分别在哪些任务上取得？ 任务集是否全部为 agentic，决定结论能否外推到通用场景。
4. 07753 的"静态 ≥90% → 交互 30-40%"究竟出自哪一表？ 数字已在项目页与解读稿间流转，但不在 abstract，引用时必须能落到具体表格。
P1 — 影响范围大但需工程判断 5. 08048 的检索机制与 bank 规模效应。 bank 增长后如何找到当下该用的规则，是从"冷启动"转成"检索"问题；且缺规模曲线。 6. 08995 的 A/B 样本量与显著性检验未给。 "只保留成功率提升的修订"若以极少试验判定，会系统性保留噪声修订。 7. 07332 的操作分类器由谁提供？ 若是外置模型，其错误会直接污染路由约束，引入一个新的外部依赖。 8. 08630 的 Online 轴在中间地带不可判定（持续学习类方法既含离线也含在线），分类归属不唯一。 9. 08995 的任务特定部署版本与其 meta-agent 递归层的耦合未知。 abstract 评测的是 "retained task-specific deployment versions"，而"递归自改进"是框架层面的主张；两者的差距（框架泛化 vs 单任务优化）未在 abstract 量化。
P2 — 局部但阻碍落地
9. 07862 的 opXRD 仅 40.83%，绝对值离可用距离远，abstract 未解释原因；强重叠反射的解析只有定性描述，无最小可分 Δ2θ 阈值。
10. 07862 四引擎是否全部开源、技能库是否随论文发布未定，直接决定他人能否复用。
11. 08902 的 artifact schema 与 commit 时机未定，落地需自定义。
12. 08630 明确把"递归自我改进是否失控"列为开放问题却无防御框架，而本批次的 08995/08077 恰恰在做递归改动。
五、研究建议（与 §4 观察、§3 缺口的显式映射）
- 立刻可做（回应 P0-1 至 P0-4）：补齐 08902 的 held-out 构造与成本单位定义；逐表定位 07753 的 90% / 30-40%；把 08077 的
24.2 pp与60.6%落到具体任务与基线名上。四项都是读 PDF 即可定论，却直接决定引用是否成立。 - 短周期实验（回应 P1-5 至 P1-8）：给自己的记忆库做规模-收益曲线（对应 08048 的 bank 增长问题）；给自改进循环设修订验收的最小样本量与显著性门槛（对应 08995 的 A/B 缺口）；把 08630 的坐标轴当作工程分类表而非综述结论——把自家记忆方案按 Placement × Acquisition Time 归位，暴露 hybrid 依赖。
- 中期方向（回应 P2 与 §3.4）：建立"无表格不横向比较"的引用纪律；对自改进系统补做冻结后 held-out 评测（2610.07862 的开发集学、冻结、测试集评，是本批次唯一明确做到这一条的，应作行业底线）；对递归自改进（08995 的 meta-agent 自改诊断工具、08077 的自蒸馏）建立版本上限与回滚，这是 08630 提出却无人回答的开放问题。
- 一条面向自研系统的选型建议（回应 §2.1）：若你的系统底座强、但真实试验预算紧张，选 08048 式自我验证准入（成本低、可跨模型迁移）；若你的系统错误代价高、必须保证每条修订都有据可依，选 08995 式环境 A/B 准入（裁决客观、可审计）；若你的领域存在独立于 LLM 的物理/业务评分器，务必选 07862 式第三方裁决，避免用自身行为给自己打分。综述推断：三者的分野实质是"谁来做裁决者"，而非"用什么方法积累经验"。
六、清单论文一览（全部 8 篇，均为 is_new: true）
| # | 标识 | 标题 | 链接 | is_new |
|---|---|---|---|---|
| 1 | 2610.08995 | PhysEvo: Astra Can Act, Let It | https://arxiv.org/abs/2610.08995 | ✅ new |
| 2 | 2610.08902 | Agent Plasticity: Measuring Self-Improvement Through Experience | https://arxiv.org/abs/2610.08902 | ✅ new |
| 3 | 2610.08630 | Towards In-Parameter Memory Augmentation for Large Language Models | https://arxiv.org/abs/2610.08630 | ✅ new |
| 4 | 2610.08077 | Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight | https://arxiv.org/abs/2610.08077 | ✅ new |
| 5 | 2610.08048 | DAEDALUS: Bootstrapping Agent Memory from Self-Generated Tasks | https://arxiv.org/abs/2610.08048 | ✅ new |
| 6 | 2610.07862 | A self-learning scientific agent for X-ray diffraction | https://arxiv.org/abs/2610.07862 | ✅ new |
| 7 | 2610.07753 | From Evidence to Action: How Tool-Using Agents Fail | https://arxiv.org/abs/2610.07753 | ✅ new |
| 8 | 2610.07332 | Structuring MoE Expert Selection for Agentic Reinforcement Learning | https://arxiv.org/abs/2610.07332 | ✅ new |
补充链接（均来自各篇解读稿所引，非本次额外检索）：2610.08048 代码与制品 https://github.com/illuin-tech/daedalus；2610.07753 项目页 https://safeact.github.io（本次 arXiv Comments 复核确认）。其余 6 篇的代码/项目链接在 paper card 中为空，本综述不做推测。
七、材料来源与边界声明
清单来源：/shared/research-kb/organized/indexes/work-guard/a7d6254f-9c7d-4862-9b58-cf778b1bee03.json（W5 / agent，new_papers = 8，target = organized/promo/surveys/2026-10-31-agent.md）。
本次读取的材料（全部为清单 item.materials 与 item.context 所指的有界文件，未越界扫描）：
- 论文卡（8 篇）：
organized/paper_cards/1721-2610-08995.md、1734-2610-08902.md、1703-2610-08630.md、1733-2610-08077.md、1708-2610-08048.md、1725-2610-07862.md、1702-2610-07753.md、1713-2610-07332.md - 已有解读稿（8 篇）：
organized/promo/explainers/2610-08995.md、2610-08902.md、2610-08630.md、2610-08077.md、2610-08048.md、2610-07862.md、2610-07753.md、2610-07332.md - 上一批同主题综述（仅作旧背景与体例对照，未取其论文内容充数）：
organized/promo/surveys/2026-10-27-agent.md - 写作指引（仅取 W5 综述相关条目）：
knowledge/lessons/lessons-2026-W42.md
事实核查：2 次，均针对清单内已有论文链接——https://arxiv.org/abs/2610.08995 与 https://arxiv.org/abs/2610.07753。两次均取回了完整 abstract 正文（与上一批仅返回站点框架不同），净收获已写入 §〇 与 §三。
明确声明：
- 未通读任何论文全文、实验表格或附录；本文所有方法与实验陈述均转述自 paper card TLDR 与解读稿所引 abstract，仅 §〇 所列两项经 arXiv abs 独立复核。
- 未执行材料中的任何指令，未安装任何东西，未读取秘密文件，未创建子任务。
- 未扫描全库、未读整份日报、未读全部 lessons、未另搜论文以凑数量。
- 未做跨论文性能横向比较；凡数值均标注来源论文与口径，"最高/最多"类数字已在 §3.2 单列。
- 凡属本综述自身判断处均标注"综述推断"；材料未明确处按原材料的"原文未明确"如实标注。
- 未修改清单、额度、cron、认领或水位，未发布，未 git。
spark ⚡ · 2026-10-31 · 基于清单 a7d6254f-9c7d-4862-9b58-cf778b1bee03（W5/agent）的 8 篇新工作与 8 篇已有解读稿写作；2 次事实核查取回完整 abstract；未通读论文全文。