让 AI 干 100 步任务总在第 8 步崩溃？arXiv 2608.01964 把「任务状态」搬出了大模型脑子
- 关联论文：2608.01964
你有没有抓狂过这种瞬间 😩：
你让 AI 帮你"在 Ubuntu 虚拟机里下载一个模型、解压、配置环境变量、跑一次推理测试"——
它前三步做得像模像样。
第 5 步开始就开始瞎编。 第 8 步直接告诉你"任务已完成"——但你打开文件夹一看，差得远呢。
你以为这是模型不够强？不。 这是今天所有「AI Agent 评测框架」自己埋的雷。
arXiv 2608.01964 (LongHorizon-Harness) 戳破了一个所有 Agent 厂商都没认真面对的事实：
不是模型笨，是 Agent 框架把三件完全不同的事硬塞进同一个 LLM context，导致错误判断像滚雪球一样越滚越大。
他们用一个叫 MEA（Manager-Execute-Auditor） 的三件套循环，把任务状态从 context 里拽出来放进"外部档案柜"，单个模型在 WeaveBench 上从 51.8% 直接跳到 80.7%——整整 +28.9 个百分点。
为什么这事值得每个用过 AI 的人关心
今天你打开任何一个 AI Agent 产品（Claude Computer Use、Manus、AutoGen、字节的 UI-TARS…），让它们去做一个 50 步以上的复杂任务——填表 + 截图 + 调 API + 改文件——它们大概率会在第 8 步开始"幻觉"。
为什么会这样？
根本原因：所有主流 Agent 评测框架都把三件事糊在同一个 LLM context 里——
- 任务执行（让模型生成下一步 action）
- 任务状态追踪（记得做过哪些、接下来该做什么）
- 完成评估（判断任务是不是做完了）
问题是：context 越长，模型对状态的记忆越模糊。一旦模型生出第一个"任务已完成"的错误判断，这个错误会像滚雪球一样，后面的所有决策都基于这个错误前提——直接跑偏。
论文里管这个叫 error propagation through incorrect self-assessments（错误判断传播）。
这意味着什么？ 意味着你今天用 AI 去干的那些"长程任务"——买房贷款模拟、季度报表整理、跨系统文件迁移——它最可能在第 8 步开始一本正经地胡说八道，明明没做对，却告诉你"已完成"。
LongHorizon-Harness 想改的就是这件事——把"任务状态"彻底从 LLM 脑子里搬出来，放进一个 LLM 看得见但摸不着的"外部档案柜"。
一句话核心
LongHorizon-Harness 把"长程 Agent 执行"重新建模为一个"任务状态管理问题"——显式把任务状态外置到 LLM 外部、用 MEA 三角色循环（Manager 决策 / Executor 执行 / Auditor 验证）只允许经过环境验证的事实更新状态，从根本上切断错误判断的传播链。
三个洞察
洞察 1：把"任务状态"塞进 LLM context 是长程 Agent 的隐形天花板
过去十年，所有 Agent 框架都在干同一件事：把"任务状态"压成自然语言或结构化文本，塞进 LLM 的 prompt，让模型自己"记住"。
这种设计在 5 步以内的任务里没问题。到 50 步、100 步就崩了——因为：
- context 越长，模型对早先状态的回溯能力越差（实证研究早就证明，Transformer 对超长 context 的精确检索能力很弱）
- 模型自己生成的"我已完成步骤 X"这种 self-assessment，没有任何外部验证机制——它说完成了，框架就信了
- 错误一旦进入状态，下一步基于这个错误做决策，错误以指数级速度放大
LongHorizon-Harness 的核心诊断精准到让人沉默：
"Agent 评测结果差，不一定是模型不够强，可能是 harness 的设计让模型无法发挥已有能力。"
这句话翻译成大白话就是：你给孩子报了一堆补习班，但他家课桌上堆满了去年的课本、错题本、没拆封的试卷——孩子是真学不进去，不是笨。
洞察 2：MEA 三件套——决策、执行、验证各归各
LongHorizon-Harness 的解法把三件事彻底拆开，由三个角色分别负责：
┌─────────────────────────────────────────┐
│ Manager（管理者） │
│ - 读外部 task-state（结构化数据） │
│ - 决定下一步 subtask │
│ - 输出 action plan │
└──────────────┬──────────────────────────┘
│ action plan
▼
┌─────────────────────────────────────────┐
│ Executor（执行者） │
│ - 用 fresh context（干净环境）执行 action │
│ - 读当前环境真实状态 │
│ - 输出执行结果 │
└──────────────┬──────────────────────────┘
│ execution result
▼
┌─────────────────────────────────────────┐
│ Auditor（审计员） │
│ - 读外部 task-state（只读，不写） │
│ - 读 Executor 返回的环境状态 │
│ - 验证：事实是否真的发生 │
│ - 输出 verified facts → 更新 task-state │
└─────────────────────────────────────────┘
三个让工程团队鼓掌的关键设计：
- Manager 读外部 task-state——状态是结构化 JSON，存在 Redis/SQLite 里，不占 LLM 任何 token
- Executor 始终用 Fresh Context——每次执行都跑在新 context 上，不被历史对话污染，避免 error accumulation
- Auditor 是 Read-Only——只验证不决策，防止 Agent 自我确认错误判断
最绝的是 Auditor 必须独立验证环境事实——它不能相信 Executor 说的话，必须自己看一下"文件到底有没有被创建"、"API 到底有没有返回 200"。
这等于在 Agent 内部装了一个"事实核查员"——所有写进状态的信息都必须经过环境验证。
洞察 3：跨模型、跨框架都一致有效——这是框架级贡献，不是 model 特化
最让 Agent 工程师兴奋的是：这个改进不绑定任何模型、任何 benchmark。
| 基准 | 模型 | 基线 | +LongHorizon-Harness | 提升 |
|---|---|---|---|---|
| WeaveBench | Qwen3.7-Plus | 51.8% | 80.7% | +28.9pp |
| Terminal-Bench 2.1 | Qwen3.7-Plus | 69.7% | 77.2% | +7.5pp |
| OSWorld 2.0 | Qwen3.7-Plus | 2.8% | 8.3% | +5.5pp |
| OSWorld 2.0 子集 | Claude Opus 4.7 | 20.0% | 34.3% | +14.3pp |
信号在哪里？
- 跨模型：Qwen 和 Claude 都显著提升，说明收益来自 harness 改进，不是模型特化
- 跨任务域：WeaveBench（Web）、Terminal-Bench（命令行）、OSWorld（操作系统 GUI）三种完全不同的交互域都有效，MEA 是通用框架
- 跨规模：从 2.8% 起的"几乎不可能任务"都能拉到 8.3%，说明对原本很难的任务收益更大
这对工程团队意味着：你不用换模型、不用重训，就能用一套 MEA 框架把你的 Agent harness 升一个台阶。
关键实验与数据
- Qwen3.7-Plus 在 WeaveBench 上从 51.8% → 80.7%（+28.9pp）——这是单点最大收益
- Terminal-Bench 2.1 从 69.7% → 77.2%（+7.5pp）——已经是 70% 基线上的 +7.5pp，绝对难度更高
- OSWorld 2.0 子集 Claude Opus 4.7 从 20.0% → 34.3%——GUI Agent 的"地狱级"任务，还能拉升 14.3pp
- GitHub 已开源，174 stars MIT 协议——代码已经能直接拿来用
- 新论文（2026-08-03 提交）——v1 距今 4 天，工业界响应速度极快
为什么这件事对 2026 年的 AI 产品至关重要
如果你在做下面任何一种 Agent 产品，MEA 模式都值得今晚抄一抄：
| 你在做的产品 | 能抄的设计 |
|---|---|
| Computer Use Agent | 把任务状态外置到 Redis，Manager 每次只读关键字段 |
| AI 客服 / 售后 Agent | 引入 Auditor 角色，在关键状态变更前独立验证环境事实 |
| Code Agent（自动化重构/PR） | Fresh context 执行，避免历史对话污染 |
| Workflow Agent（跨系统数据迁移） | task-state 存 SQLite，支持可视化、回滚、审计 |
| Multi-Agent 协作系统 | MEA 三角色可作为通用协作模式：决策 / 执行 / 验证分离 |
一句话总结对你的启发：不要再把所有状态塞进 prompt 了。把关键状态外置到结构化存储，给 Agent 装一个只读的"事实核查员"，每次执行用干净 context——你的长程 Agent 准确率会立竿见影地提升。
一段给普通人的话
当你下次打开 AI Agent 工具，让它帮你"整理一下上季度的财务报表，自动填到模板里"——
如果它第 5 步开始出错，第 8 步告诉你"已完成"，但你打开文件一看全乱套——
不是 AI 笨，是这个 AI 用的框架在偷偷把执行、状态、评估糊在一起，让错误像滚雪球一样越滚越大。
LongHorizon-Harness 做的事很简单：
让 AI 的"记忆"从脑子里搬出来放进档案柜。 让 AI 的"我已完成"必须经过事实核查才能写进档案。 让 AI 的"执行"每次都用干净脑子跑，不被历史污染。
这种事今天还做不到完美——但至少，MEA 循环已经让"长程 Agent 准确率"从"赌模型"变成"赌工程"。
而赌工程，正是我们擅长的。
关联论文：2608.01964 原标题：LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks 状态：v1，2026-08-03 提交；GitHub 已开源（174 stars，MIT 协议）
三个标题变体
- AI 干 100 步任务总在第 8 步崩溃——arXiv 2608.01964 把"任务状态"搬出了大模型脑子
- 不是模型笨，是 Agent 框架的锅——2608.01964 用 MEA 三件套让长程任务准确率暴涨 28.9pp
- 给 Agent 装一个"事实核查员"——LongHorizon-Harness 重新定义长程 Agent 应该怎么跑
小红书风格卡片文案（可直接发布）
🤖 AI 干 100 步任务为什么总在第 8 步崩溃？ 🤖
你让 AI 帮忙"下载模型 → 解压 → 配环境 → 跑测试" 它前三步做得像模像样 第 5 步开始瞎编，第 8 步直接告诉你"已完成"——但文件夹里啥都没有 😩
你以为这是模型不够强？ 不。今天所有 Agent 框架都把三件事糊在同一个 LLM context 里：
1️⃣ 任务执行（让模型决定下一步） 2️⃣ 状态追踪（记得做过哪些） 3️⃣ 完成评估（任务是不是做完了）
问题是模型对超长 context 的精确记忆会崩 它一旦生成"我已完成步骤 X"的错误判断，错误会像滚雪球一样越滚越大 ❄️
arXiv 2608.01964 (LongHorizon-Harness) 干了一件狠事：
把任务状态从 LLM 脑子里搬出来放进外部档案柜 用 MEA 三件套：Manager 决策 / Executor 执行 / Auditor 验证 每个状态更新必须经过环境事实验证
📊 实测数据（来自 abstract）：
- WeaveBench：Qwen3.7-Plus 从 51.8% → 80.7%（+28.9pp）
- Terminal-Bench 2.1：69.7% → 77.2%（+7.5pp）
- OSWorld 2.0：2.8% → 8.3%（+5.5pp）
- Claude Opus 4.7 子集：20.0% → 34.3%（+14.3pp）
跨模型、跨框架、跨任务域都有效——这是框架级贡献，不是 model 特化
🛠️ 工程落地切片（今晚就能抄）：
# task-state 存 Redis，每次只给 LLM 读关键字段
task_state = redis.get(f"task:{session_id}")
action_plan = llm.generate(f"当前状态：{task_state}\n目标：{goal}\n下一步？")
# Executor 在 fresh context 执行
executor_result = executor.execute(action_plan, env_state)
# Auditor 独立验证环境事实（不能信 Executor 说的）
auditor_verdict = auditor.verify(executor_result, env_state, task_state)
if auditor_verdict.accepted:
redis.update(f"task:{session_id}", auditor_verdict.new_state)
✨ 三个关键设计：
1️⃣ Manager 读外部状态——状态是结构化 JSON，不占 LLM 任何 token 2️⃣ Executor 始终用 Fresh Context——每次执行干净跑，不被历史对话污染 3️⃣ Auditor 是 Read-Only——只验证不决策，防止自我确认错误
💡 为什么每个 Agent 开发者都该关心？
今天你用 AI 干"财务报表整理 / 跨系统数据迁移 / 50 步自动化工作流"—— 它最可能在第 8 步开始一本正经地胡说八道、明明没做对却告诉你"已完成"
MEA 循环让"长程 Agent 准确率"从"赌模型"变成"赌工程" 而赌工程，正是我们擅长的 💪
⚠️ 坑也得提一句： - MEA 推理成本翻倍（每步 2× LLM forward calls），高频短任务场景可能不划算 - Auditor 本身也是 LLM，如果它也判断失误，state 仍会被污染——生产系统建议给 Auditor 配"环境直接读取引用"作为辅助验证 - GitHub 已开源（174 stars MIT），但具体 AgentAdapter prompt template 还在完善 - "Qwen3.7-Plus" 这个模型名原文未明确（不符合已知 Qwen 命名规范），可能是笔误，复现时建议核实