当 LLM 开始改自己的 Agent 框架，评测该怎么重新做

关联论文：2608.09096

为什么这事值得关心

过去两年 LLM Agent 的进展几乎都建立在一个假设上：harness（工具调用协议、prompt 模板、记忆管理、错误恢复流程）由人类设计，模型只负责在里面解题。 给定任务，框架是固定的，模型比谁更聪明就行。

这条路线撞到三堵墙。SWE-bench、GAIA、ToolBench 测的全是"在固定 harness 下的解题能力"，测不了模型能不能改自己的框架；很多 harness 改进其实由 base model 强度直接推动，评测里把它算进"框架演化"会高估方法价值；而现实中的优化是"改 → 跑 → 看反馈 → 再改"的长程迭代，静态任务集覆盖不到。

Evo-Bench 第一次把这件事正式命名为 harness evolution，并给出可重复、可比较的评测方式。论文还挑了个有争议的主语：GPT-5.2、Gemini 3 Pro、Claude Opus 4.6 这类头部模型在这张考卷上最高拿到 +16.6 个绝对增益点，已逼近人工设计的 SOTA harness。

核心机制：先解决混淆，再谈成绩

论文最值钱的不是那个 +16.6，而是把"测的是 harness 演化"这件事的混淆因子逐条拆开处理。

辅助任务演化（auxiliary-task evolution）：在主任务之外跑一组结构相似但解空间更小的"辅助任务"。如果某个 harness 改动让主任务显著提升、却对辅助任务毫无影响（或者反过来），就判定这个改动过拟合到当前主任务，从评测集里剔除，砍掉"对任务特化的虚假提升"。

敏感度感知分层切分（sensitivity-aware stratified splitting）：对 harness 改动敏感度不同的样本做分层，同一任务的不同实例散落在多个子集里，提升必须跨子集都成立才算数，防止"在训练集上改 harness、验证集偶然撞上"的伪泛化。

for aux in 辅助任务:
    if 主任务提升 >> 辅助任务提升:
        drop(该任务)          # 疑似过拟合主任务
strata = 按敏感度分层(剩余任务)
benchmark = 分层切分(strata, k_fold)

对照基线摆了两条：人工设计的 SOTA harness（能否逼近人类工效的天花板）和通用 autonomous evolution 方法（能否稳赢通用自动化流程）。评测覆盖 Search（搜索+信息聚合）、Office（文档处理、操作流）、General（开放式任务）三个域，跨 9 个前沿与开源权重模型。

证据边界：最关键的那个数字没给

结论是分域的，这一点比"通杀 SOTA"诚实得多：General 域上自主演化能超过人工 harness，Search 域明显领先，但 Office 域显著挣扎。

问题就在这儿。abstract 只说"struggles"，没给具体差多少个点。这恰恰是工程决策最需要的数字——差 1 个点是"再调调提示词"，差 15 个点是"这条路线在 Office 域根本不适用"。Office 域到底落后到什么程度，需要查正文表格。

同样悬着的还有几项：+16.6 是"absolute gain"，但相对于哪条基线、哪个任务、哪个模型，abstract 没细化；9 个模型的清单没列出，闭源/开源比例都未知；论文还提了个 early saturation（早饱和） 现象——harness 演化在早期几轮就触顶，再迭代不再提升，但没给触顶轮数；"synthesized harness 跨模型仍能提分"也只是定性描述。

解读稿自己也标注了：未下载 PDF，核心实验数字仅来自 abstract 的二次解读。

工程局限：方法好看，但有三笔隐藏成本

辅助任务演化本身是人工成本。 auxiliary task 要和主任务结构相似，这需要领域专家参与构造。Office 域"处理流高度具体、难以穷举"，很可能正是这个方法在规则化流程任务上失灵的表现。

演化不是轮次越多越好。 early saturation 提示明显的边际收益拐点。在线系统应设"演化轮次硬上限 + 收益阈值"双闸门，否则会持续烧推理预算。经验上饱和往往出现在 3~8 轮，但得自己测。

安全审查不能省。 即使 harness 演化带来了 +16.6，部署前仍要做安全/合规 review。尤其当 harness 改动放大了 tool-call 权限时，改动面可能远超"任务得分"维度。Office 类流程任务（财务、合同、医疗记录）合规要求高，应划为禁止域，只在低合规风险、规则清晰的场景尝试。

跨模型迁移别假设接近 100%。 论文说 synthesized harness 跨模型有效但没给数字，应先在小流量上验证再决定是否全量推广。

一句话带走

Evo-Bench 把"Agent 该不该自己改 harness"从观点之争推到了可测量的实证层面。 但它最有信息量的部分反而是那些"不完美"的结论：Office 域挣扎、演化会早饱和、辅助任务要花人力。任何想做自演化 Agent 的团队，从此都得先过这张考卷——包括接受"它没给出 Office 域差距"这件事本身。

三个标题变体

LLM 开始自己改框架了，评测却还停在"谁解题更准"
+16.6 分不算最值钱：Evo-Bench 的贡献是拆掉三个混淆因子
自主演化能赢人工 harness，但在 Office 域栽了跟头

小红书卡片文案

📌 Agent 评测｜模型开始改自己的框架了，尺子得换

过去两年 Agent 的进步都基于一个假设：harness（工具协议/prompt 模板/记忆管理/错误恢复）由人类设计，模型只管解题。

但这撞到三堵墙： 1️⃣ 测不了：SWE-bench/GAIA 测的都是"固定框架下的解题能力" 2️⃣ 混淆：框架变好可能只是 base model 更强，评测会把功劳记错 3️⃣ 忽略长程：现实是"改→跑→看反馈→再改"，静态任务集覆盖不到

🧪 Evo-Bench 把这件事命名为 harness evolution，并先把混淆拆掉： • 辅助任务演化：改动若只提升主任务、对辅助任务无效 → 判定过拟合，剔除 • 敏感度感知分层切分：按敏感度分层，提升需跨子集成立 → 防伪泛化 • 双基线：人工 SOTA harness + 通用自主演化方法

📊 9 个前沿/开源模型 × 3 域（Search/Office/General），头部模型最高 +16.6 绝对增益，已逼近人工 SOTA harness

📌 分域结论比"通杀"更值钱： ✅ General 域自主演化超过人工 harness ✅ Search 域明显领先 ❌ Office 域显著挣扎

⚠️ 但最重要的数字恰恰没给： • Office 域到底差多少点？差 1 点是调提示词，差 15 点是这路线不该用——查正文 • +16.6 相对哪条基线/哪个任务/哪个模型，abstract 未细化 • early saturation 提了但没给触顶轮数 • 9 个模型清单、闭源/开源比例未知 • 解读稿自己标注：未下载 PDF，数字仅来自 abstract 二次解读

🛠️ 三笔隐藏成本： ① 辅助任务是人工成本：要领域专家构造结构相似任务，Office 域"流程难穷举"可能正因如此 ② 别盲堆轮次：早饱和明显，必须设"轮次上限+收益阈值"双闸门（经验 3~8 轮） ③ 安全 review 不能省：harness 改动可能放大 tool-call 权限，财务/合同/医疗类应划禁止域

💬 一句话：它的价值不是又一个 SOTA 数字，而是把"该不该让 Agent 改自己的框架"变成了可测量、可对比的实证题。

AIAgent #大模型评测 #LLM #Agent框架 #论文解读 #SelfImproving #AI工程 #Prompt工程

来源：arXiv 2608.09096｜v1 提交 2026-08-11，Office 域差距与 early saturation 轮数待查正文