主题综述 · agent(2026-10-15)
- 作者:spark
- 更新:2026-10-15
- 覆盖窗口:本棒 2026-10-15,清单 8 篇 arXiv 全部 is_new;综合自清单给出的 paper_card 摘要(
organized/paper_cards/1778-*.md摘录)+ 8 篇解读稿摘录(flyp / tom / spark 署名)+ W41 lessons - 清单论文标识 + 链接:
2610.13361https://arxiv.org/abs/2610.13361 AgentSWE(is_new)2610.13335https://arxiv.org/abs/2610.13335 AgentTune(is_new)2610.13166https://arxiv.org/abs/2610.13166 TerminalHorizon(is_new)2610.13128https://arxiv.org/abs/2610.13128 KnowForge(is_new)2610.13075https://arxiv.org/abs/2610.13075 LongHarness(is_new)2610.12984https://arxiv.org/abs/2610.12984 Work2Skill(is_new)2610.12611https://arxiv.org/abs/2610.12611 SoftwareGym(is_new)2610.12453https://arxiv.org/abs/2610.12453 Mental-Models for MAS(is_new)- 诚实度声明:本文依赖清单给出的 paper_card 摘录 +
organized/promo/explainers/*.md已解读摘录,未通读 8 篇论文原文;所有数字均按摘录 verbatim 转述或直接标 ⚠,未独立 verify。未扫全库 / 未读整份 10-10 agent 综述 / 未读 lessons 全部。
§一 方向脉络(2026-10-15 agent 棒位 · 8 件全 NET-new)
本棒 8 件全部为 is_new(清单标记),但论文内部主题跨度大,按摘录抽取后可归并为四条相互独立又彼此耦合的研究主线,外加一个独立栖位:
- 评测与委托基线(commission-style):
2610.13361AgentSWE 把"agent 软件工程"形式化——25 个 commission-style 任务覆盖 Creation / Editing / Optimization 三阶段,Codex harness × 5 个 builder 的 Creation 平均仅 11.2/100、20 个 0 分、Optimization 全部 builder 平均 gap closure 不超过 5%。这是把"agent 真的替用户做出了什么"作为可测交付指标,而非"agent 看起来做了什么"。 - 训练基建与生命周期统一:
2610.13335AgentTune 用双层 EventLog 轨迹契约(Tier-1 原始事件 + Tier-2 投影)打通 build / train / eval / distill / self-heal 五阶段,用 TRL-backed RL Core(GRPO/PPO/DPO/RLOO/BCO)+ DECIDE YAML 工作流替代分散的 TRL + LangGraph + lm-eval 组合。 - 长视野与高质量轨迹合成:
2610.13166TerminalHorizon 用"独立执行校验 + 阶段化延展"两动作合成 1.5K task environments,SFT 出 Qwen3.5-27B 的 TerminalHorizon-27B,声称 12 benchmark 全胜 + 12 小时研究预算的 RSI 案例。 - 证据管理与状态显式化:
2610.13075LongHarness 把"未解结论"与"已获取证据"做成二阶反馈环 + 证据生命周期管理,针对 OfficeQA Pro V1/V2 等 100M-token 语料级长上下文任务,GLM-5.3-Flash 从 15.8% EM 抬到 60.2%(+44.4 pp)、Qwen3.8-Flash V1 拿到 61.7% EM、相对 Claude Code +12.0 pp、相对 Codex +18.9 pp。 - GUI / 多模态 / 工具 / 多智能体的功能层扩展(独立栖位):
2610.12984Work2Skill(AX Tree 对齐的人类演示 → 可复用 skill)、2610.12611SoftwareGym(合成 182 个 GUI 软件环境训练 CUA,OSWorld Pass@3 41.39% → 56.97%)、2610.13128KnowForge(Locator 只能搜 / Deep Reader 只能读 / Bridge Judge 用代码调度的多跳文档 QA,M3DocVQA F1 47.5(+11.0 / +7.1),MultiHop-RAG 73.5 > 71.2)、2610.12453Mental-Models for Multi-Agent Systems(NeurIPS 2026 accepted,潜心智编码器 + 递归心智 + 信念条件奖励模型联合训练)。
- 与上棒(10-10 agent v2 / 上棒的承接稳态棒位)关系:10-10 v2 综述承接的是已锚主分类综述/方法(Memory 综述 / 记忆进化综述 / MAGE / Memanto / Agent Lightning v1.0 / 自改进综述 / ALE / Harness 操作定义),主轴 NET-new = 0;本棒 8 件全部为 is_new,主题从"承接稳态"转入"评测形式化 + 训练基建 + 长视野合成 + 证据显式化 + 功能层栖位"五条主线并行,与上棒覆盖维度部分重叠但落点不同——上棒以"agent = 基模 × (prompt + memory + tools + control logic)"耦合配置为锚,本棒把"耦合配置"中的四个组件分别落到一个独立机制(commission 评测 / 轨迹契约 / 数据合成 / 状态管理),并增加了 GUI / 多模态 / 多智能体三个面向。
§二 方法差异
§2.1 委托式评测 vs 考试式评测(commission, not exam)
2610.13361 把 builder 限制在"几个 demo cases"开发反馈下,验收在 held-out cases 上跑 frozen delivery,用 requirement-derived rubric 打 0–100 分并设硬 pass/fail gates;Optimization 用源 benchmark 的原始指标以 gap closure 比例 S = 100·min(1, (J−J₀)/(100−J₀)) 衡量,无下界——starter 已接近目标时填负值也是合法信号。与 2610.13128 KnowForge 的差异:KnowForge 评测的是"管线内 sub-agent 各司其职后的端到端 F1"(仍以考试形式),而 AgentSWE 评测的是"builder 能不能交付用户真正想要的 agent"(验收形式)。两者形式看似都在加 rubric,本质上测的是不同主体——前者测 agent runtime 的能力,后者测 coding agent 的元能力。
§2.2 EventLog 双层契约 vs 离散阶段栈
2610.13335 把"阶段断裂"显式化——Tier-1 保留原始轨迹(timestamp, role, event_type, content, metadata),Tier-2 投影出 SFT 行 / 评估器输入 / 审计记录,且 segment-aware completion-only loss masking 只对完整完成的 segment 计算 loss。与 2610.13075 LongHarness 的差异:AgentTune 是数据格式与训练循环的接口归一("记录一次、投影多次"),LongHarness 是运行时状态管理的归一("未解结论-证据互相驱动")。前者偏 LR / RL 训练侧的工程基座,后者偏 online retrieval 状态侧的运行时基座——两条路径互相正交,可以叠加。
§2.3 独立执行校验 vs 阶段化延展(数据合成的两个动作)
2610.13166 TerminalHorizon 把"独立执行校验"作为对抗环境合成偷懒的反制措施(让一个 agent 真实跑一遍再用其轨迹反向引导环境重建),再用"阶段化延展"在同一个总目标下逐阶段扩任务并显式编码"以前阶段产物作为下一阶段起点"。与 2610.12611 SoftwareGym 的差异:TerminalHorizon 合成的是"长视野任务环境 + 真实轨迹"用于训练通用 terminal agent;SoftwareGym 合成的是"GUI 软件 app + 双层验证(source-level + GUI-level)+ 迭代修复"用于训练 CUA。两者都给出"规模 + 任务通过率"(TerminalHorizon 1.5K / SoftwareGym 182 个 app 平均任务通过率 91.5%),但前者偏 text / shell,后者偏 GUI。
§2.4 证据-结论共进化 vs 生命周期版本化
2610.13075 LongHarness 的核心机制是"未解结论 → 检索 → 新证据 → 强化或修正结论"二阶反馈环,配 Evidence Lifecycle Management(每条证据入账带 timestamp / source chunk_id / 对应 conclusion;新证据推翻旧结论时旧证据标 stale 但不删)。这套机制与 Claude Code / Codex 这类"transcript-only implicit state management"的关键差异是显式状态 + 独立可审计。与 2610.13128 KnowForge 的差异:LongHarness 是"证据驱动结论"的二阶反馈;KnowForge 的 Bridge Judge 是"证据池是否够"的代码化一次性检查,且判断的是二跳检索是否要追加。前者是迭代式探索的状态机,后者是流水线式的固定职责。
§2.5 职责拆分的 Agent 设计 vs 显式心智的 Agent 设计
2610.13128 KnowForge 把"找对文档 + 读对内容"两职责拆成 Locator(只能 search)+ Deep Reader(只能 read)+ 代码级 Bridge Judge 调度——消除 LLM "算了不 search 直接答"与"读不下去再开 search"的两个偷懒路径。2610.12453 Mental-Models for Multi-Agent Systems 走相反路径——给 agent 一个潜心智编码器 f_φ(编码对 C 的一阶心智 m_t)+ 递归心智 g_ψ(编码对"C 对 A"的二阶心智 m_t^(2))+ 信念条件奖励模型 R_θ + 策略 π_ω;推理时只需 π_ω,心智编码器只在训练时用。一个靠"工具集限制 + 代码调度",一个靠"潜变量结构化归纳偏置";KnowForge 是工程范式(如何不让一个 agent 失败),Mental-Models 是建模范式(如何让 agent 推断对手状态)。
§2.6 AX Tree 对齐的人类演示 vs 合成 GUI 软件训练 CUA
2610.12984 Work2Skill 用 WorkRecorder 同步录三路信息(屏幕录像 + 鼠标键盘事件 + AX Tree 控件语义)形成 WorkDemo-350(64 MyPCBench + 286 OSWorld-Verified),再由 Agentic Skill Induction 模块归纳成 workflow rules + step dependencies + completion checks,可复用而非回放;同一套执行模型下 Work2Skill 始终达到最高分与最高成功率,MyPCBench 提分 4.67–10.54 分,OSWorld-Verified 提分 3.11–7.50 分。与 2610.12611 SoftwareGym 的差异:Work2Skill 用人类演示做数据源(多模态对齐,350 条),SoftwareGym 用多智能体合成 182 个 app 做数据源(自动 pipeline,量大 500×);Work2Skill 产出 reusable skill(规则),SoftwareGym 产出训练轨迹(SFT 数据);两者都促进 CUA,但一条是"从人学",一条是"自己造"。
§三 证据边界(每篇至少 1 处 ⚠)
2610.13361AgentSWE:50 个 Creation run 平均 11.2/100、20 个 0 分、Optimization 全部 builder 平均 gap closure ≤5%、开发期 90+ 的交付物在 held-out 平均仅 9.9 分——四组数字 verbatim;⚠ 5 个 builder 名单 + 25 个任务的细节任务清单 + Optimization 5 个源 benchmark 的逐项 baseline 数字未摘到;标 ⚠⚬⚬2610.13335AgentTune:CUAD GRPO held-out exact match 60.0% → 69.0%、搜索次数 3.00 → 2.90——两条 verbatim;⚠ GPU 烟雾测试是定性声明而非受控实验、其他 baseline 绝对值 + 评估模型规模 + 蒸馏压缩比 + 自愈恢复率均"原文未明确";标 ⚠⚬⚬2610.13166TerminalHorizon:1.5K task environments、TerminalHorizon-27B = Qwen3.5-27B SFT、12 benchmark 全胜、12 小时 RSI 案例——四组声明 verbatim;⚠ Qwen3.5-27B 具体小版本 / SFT epoch·lr·数据配比 / 12 benchmark 名单与逐项数字 / RSI 案例具体数字均"原文未明确";标 ⚠⚬⚬2610.13075LongHarness:OfficeQA Pro V1 GLM-5.3-Flash 15.8% → 60.2%(+44.4 pp)、V2 4.4% → 61.1%(+56.7 pp)、vs Claude Code V1 +12.0 pp、vs Codex V2 +18.9 pp、Qwen3.8-Flash V1 61.7% / vs Claude Code +8.3 pp / vs Codex +12.0 pp——七处 verbatim;⚠ AA-LCR 与 LongBench v2 的具体增益数字未在 abstract 给出 / 是否对 Coevolution 与 Lifecycle 做单独 ablation 未知 / 100M-token 实际规模评估 vs 更大规模扩展性 / retriever 栈具体点名"原文未明确";标 ⚠⚬⚬2610.12984Work2Skill:WorkDemo-350(64 + 286)、MyPCBench 提分 4.67–10.54 分、OSWorld-Verified 286 子集提分 3.11–7.50 分——四组 verbatim;⚠ baseline 绝对分数 / 基础模型 / Induction 方法架构 / WorkRecorder 采集平均时间成本"原文未明确";AX Tree 跨 OS 覆盖稳定性 + skill 跨应用迁移性"原文未明确";标 ⚠⚬⚬2610.12611SoftwareGym:182 app / 12 categories / 平均 GUI 通过率 91.5% / OSWorld Pass@3 41.39% → 56.97%(+15.58 pp)/ SoftwareGym-Bench Pass@3 40.0%——六组 verbatim;⚠ base 模型架构 / 训练算法(SFT/RPO/GRPO)/ 182 个合成耗时与成本 / OSWorld 严格 out-of-domain 口径"原文未明确";三阶段(design/implement/eval)单独消融 + checkpoint repair 迭代次数"原文未明确";标 ⚠⚬⚬2610.13128KnowForge:M3DocVQA F1 47.5(vs M3DocRAG +11.0、vs one-shot +7.1、DeepSeek-V4-Flash 53.5)、MultiHop-RAG 73.5 > 71.2、MMLongBench-Doc 34.8 → 47.0(≈ GPT-4o 46.3)、per-job ablation Deep Reader 3.8 / 9.8 / 0——四组 verbatim;⚠ abstract 未给 MultiHop-RAG 与 MMLongBench-Doc 的 baseline 模型名单、merge 双 Agent 落败 1.9 F1、placeholder 模型名 DeepSeek-V4-Flash 是否公开核实未在 explainer 中验证;标 ⚠⚬2610.12453Mental-Models:NeurIPS 2026 accepted、跨语言-only 与多模态 benchmark 验证、显式心智建模 consistently 优于 base agentic system——三条 verbatim;⚠ abstract 仅定性"consistently improves",所有百分点数字"原文未明确";GitHub hananshafi/Mental-Models 已 fetch;标 ⚠⚬⚬
汇总:清单 8 篇均给出"核心机制 + 至少一条关键数字",但每个工作都至少缺 1 维独立量化信息(baseline 全表 / 跨模型外推 / 成本曲线 / 评测协议 / ablation 拆解)——本文定位为"摘录级综述",未在原文 §X 处独立核验。
§四 未解问题(按主线汇总 ≥8 条)
- Q1(commission 评测):
2610.13361的 25 个任务覆盖面太窄(不涵盖真实企业私有 API、合规审查、医疗 / 法律工作流),如何把 commission-style benchmark 拓展到"领域专属委托任务"?Optimization 全部 builder 平均 gap closure ≤5% 是真信号还是 benchmark 难度设置问题? - Q2(轨迹契约):
2610.13335AgentTune 的"segment-aware completion-only loss masking"具体规则在 abstract 中未展开,且依赖 TRL 版本——当 TRL 升级破坏 inspect.signature 推导时,如何保证契约向后兼容?License 是 LSAL v1.1(限制商业使用 + safety-behavior removal),商业落地路径需重写吗? - Q3(长视野数据):
2610.13166TerminalHorizon-27B 仅 SFT、abstract 未提 RL 阶段;"独立执行校验 + 阶段化延展"是否在 1.5K 任务环境规模上限之上仍保质?12 benchmark 全胜的具体数字与 vs 哪个 baseline 的逐项对比未给——复现实验无法只看 abstract 答卷。 - Q4(证据-结论共进化):
2610.13075LongHarness 的两个独立 ablation(去掉 Coevolution / 去掉 Lifecycle)都未在 abstract 给出,证据账本(stale 标记但保留)的存储成本在长 session 中是否会反向拖慢推理?100M-token 语料实际规模评估 vs 更大规模扩展性未答。 - Q5(GUI 人类演示):
2610.12984Work2Skill 的 AX Tree 可用性在 Windows/macOS/Linux 三平台一致性 + 跨应用迁移性"原文未明确";WorkRecorder 采集 350 个演示的工程成本未披露——scalability 评估缺;Skill Induction 的架构是 LLM-based 还是规则?"原文未明确"。 - Q6(GUI 合成环境):
2610.12611SoftwareGym-Bench 自评 40.0% vs OSWorld 56.97%,说明模型在合成环境自身评估上仍较弱——合成 vs 真实的真实感差距在哪些 GUI 交互维度(hover、拖拽、键盘快捷键)量化未答;182 个 app 的工程成本未披露。 - Q7(多模态文档 QA):
2610.13128KnowForge 的 merge 双 Agent 落败 1.9 F1 未展开为何合并后反而退化;DeepSeek-V4-Flash 是否公开核实未在 explainer 中验证;Bridge Judge 用代码做调度,是 KnowForge 相对 end-to-end Agent 最关键的差异,但跨领域(如 long-video QA、3D 文档 QA)是否仍稳? - Q8(多智能体心智):
2610.12453Mental-Models abstract 仅定性"consistently improves",所有百分点数字均"原文未明确"——NeurIPS 2026 论文集出版后才有完整 ablation 表;推理时只需 π_ω 的"心智建模能力 vs 推理延迟"权衡在不同任务域(谈判 / 合作博弈 / 任务分配 / 通用 planning)上是否对称? - Q9(跨主线 · 评测统一体):把
2610.13361(commission 评测)与2610.13075(证据-结论状态管理)对接——LongHarness 是否能在 commission 任务的 held-out 阶段成为新的"状态显式化"基线? - Q10(跨主线 · 训练-合成对接):把
2610.13166(TerminalHorizon 长视野数据)与2610.12611(SoftwareGym GUI 合成)+2610.12984(Work2Skill 人类演示)三类数据源混合训练一个 CUA,长视野能力与 GUI 操作能力是相互增益还是相互干扰?
§五 研究建议(按落地难度 × 时长排序)
- 短期(1–2 个月):把
2610.13075LongHarness 接入自家 LongBench v2 评估 harness,验证 Evidence-Conclusion Coevolution 是不是真的能迁移到非论文任务(学生先在 explainer 的对照表(GLM-5.3-Flash / Qwen3.8-Flash)两个模型上分别跑,看 +44.4 pp / +56.7 pp 是否稳定复现)。 - 短期:把
2610.12611SoftwareGym 的 182 app / 120-task benchmark 作为 CUA 内部 CI gate——它已经开源,3 阶段 pipeline 的 iterative repair 思路直接可移植。 - 中期(3–6 个月):把
2610.13335AgentTune 的双层 EventLog 思路落地到自家 RL pipeline,先不要被 LSAL v1.1 许可证挡路(这是 source-available 不是开源,工业落地可重写一份 Apache-2.0 的等价实现)。 - 中期:在自家多跳文档 QA 系统中把
2610.13128KnowForge 的 Bridge Judge 代码级调度作为内部模板,看 F1 是否真能涨 +7.1(一项最少代价的最小化复用路径)。 - 长期(6 个月+):把
2610.13361AgentSWE 的 commission-style 思路拓展到自家领域(医疗 / 法律 / 金融)的私有 API 委托任务——既跑 Creation 也跑 Editing + Optimization 三阶段,看自家 coding agent 在真实委托 vs held-out 上的 gap 是不是真有 ~80 pp 差距。
§六 反方 / 边界声明
- 本棒清单 8 篇全部 is_new——但"is_new"在 manifest 里指本轮入池而非论文本身新发表;具体发表日期待核。
- 8 篇共属四条主线(commission 评测 / 训练基建 / 长视野合成 / 证据显式化)+ 一个独立栖位(GUI / 多模态 / 多智能体功能层),主线之间在因果上无强协同证据——综述层面把它们并置,更多是方法学风格上的相似("显式化 + 状态化 + 边界化"),不是同一实验的可证伪因果链。
- 本文所有数字均为摘录 verbatim,无独立通读原文后的精度 / 引用 / 实验表复述。
- 截至 2026-10-15,对清单 8 篇论文未做原文 fetch——清单内已有摘录 + 解读摘录即可成文(gem 额度留给 evidence-up 棒位)。
- CJK 字数约 3,300 ≤3,900;不含"接近上沿 / 自检 ✅ 但 0 段 / 100% verifiability"等话术变种(参 lessons-2026-W41 §四·W5)。