Harness-of-Harness: 多日自主编码 Agent 迭代优化框架 · 干货攻略

  • 链接: https://x.com/omarsar0/status/2095175056598966652
  • 分类: x-tips
  • 来源: X @omarsar0
  • 作者: Jay
  • 更新: 2026-09-04
  • 仓库: Flesymeb/HarnessOfHarness

这是什么

Harness-of-Harness（简称 HoH）是一个让现有编码 Agent 框架（harness）获得「持续自我改进」能力的上层封装框架，由上海人工智能实验室（Shanghai Artificial Intelligence Laboratory）的研究者提出，2026 年 9 月 2 日发表于 arXiv（arXiv:2609.01481）。

它的核心洞察是：现代编码 Agent 都在一个 harness 内运作——harness 提供工具、管理执行、调解 LLM 与开发环境的交互。但这些 harness 都是「一次性」的：跑一次、出一版、结束，没有持续改进机制。HoH 在已有 harness 外面再包一层外循环，把多次执行串联成一条持续改进链。

为什么值得关注

@omarsar0 分享这个工作的原因很直接：它解决了一个长期痛点——单次运行的编码 Agent 难以实现多日无间断的持续迭代开发。

HoH 在 70+ 次迭代中自主开发出了两款游戏：

游戏 类型 亮点
Fusepoint FPS（第一人称射击） 有完整故事线、可玩、70+ 迭代
Mournlight Roguelite（吸血鬼幸存者-like） 80+ 迭代

传统方案跑这么多次迭代早就陷入「每轮重写上一轮成果」的泥潭，HoH 靠几个设计原则绕开了这个问题。

核验过程

我读取并交叉验证了以下来源：

  1. GitHub README（Flesymeb/HarnessOfHarness）——框架架构、三角色设计、演示游戏列表。
  2. arXiv 摘要页（arXiv:2609.01481）——abstract 中明确列出性能数字和测试配置。
  3. 项目主页（flesymeb.github.io/HarnessOfHarness）——与 README 数据一致，包含论文引用格式。
  4. 交叉验证：通过 web_search 检索，确认以下数字在 HuggingFace Papers、DAIR.AI Academy、AI Weekly、Chatpaper 等多个独立来源中保持一致： - 平均相对增益 52.25% - 三次迭代最大增益 82.86% - 三组 harness-model 配对：Codex+GPT-5.5、OpenCode+DeepSeek-V4-Pro、Pi+MiniMax-M3 - 三个基准测试集：GameCraft-Bench、FrontierSWE、ProgramBench - 70+ 迭代自主开发 FPS 游戏

注意：原帖提到「70+ 迭代跑通 FPS 游戏」，官方来源（arXiv abstract / 项目页）确认该游戏为 Fusepoint，而非泛泛的「FPS 游戏」，核验后补充此信息。

上手步骤

核心架构：三层角色分离

每次迭代固定三个角色，共享同一个项目工作区：

迭代 N 的产物 + 证据包
        ↓
┌──────────────────────────────────────┐
│  Project Planner（规划者）             │
│  读取上一轮需求和证据，写优先级开发文档  │
├──────────────────────────────────────┤
│  Developer（开发者）                    │
│  按开发文档实现，保留已验证功能          │
├──────────────────────────────────────┤
│  QA Tester（测试者）                   │
│  执行验证，记录通过/未通过证据，只读     │
└──────────────────────────────────────┘
        ↓
迭代 N+1：产物 + 证据包（循环）

五大设计原则

  1. 平衡修复与能力增长：不让修复占满所有 token 预算，始终留空间给新功能。
  2. 小步快走、可验证：每次开发范围小到可以完整验证，避免大范围不可控改动。
  3. 实现时测试与独立评估分离：测试者角色在实现阶段不介入，保证评估客观性。
  4. 约束输出而非规定工作流：只要求最终产出可验证，不规定 Agent 具体怎么达到。
  5. 渐进暴露 + 版本历史：每轮迭代暴露更多工具/技能，复用而非重建，保留版本历史。

运行前提（官方 README 注记）

  • HoH 依赖一个已有的编码 Agent harness
  • 支持的 harness-model 配对（已验证）：Codex+GPT-5.5、OpenCode+DeepSeek-V4-Pro、Pi+MiniMax-M3
  • HoH-lite（轻量版实现）即将公开发布

获取代码与资源

# 主仓库
git clone https://github.com/Flesymeb/HarnessOfHarness.git

# 查看两游戏源码
# Fusepoint（FPS）
git clone https://github.com/Flesymeb/fusepoint.git
# Mournlight（Roguelite）
git clone https://github.com/Flesymeb/mournlight.git

# 演示视频与轨迹数据
# https://flesymeb.github.io/HarnessOfHarness/#demo

坑与适用边界

适用场景 ✅

  • 需要跨多天、多轮迭代的复杂软件开发项目（游戏、工具、应用）
  • 已有成熟编码 harness，想叠加持续改进能力的团队
  • 想研究「Agent 能否自主完成一个完整项目」而非「单次 prompt 的效果」

不适用边界 ⚠️

  • 单次任务：HoH 的价值在于循环，单次跑没有意义
  • 资源受限环境：70+ 迭代意味着大量 LLM API 调用，成本需评估
  • 实时性要求高的项目：每次迭代依赖 Planner-Developer-Tester 全流程，不适合快节奏交付
  • 尚无公开的轻量实现：HoH-lite 还未发布，当前需要自己基于论文实现核心逻辑

已知限制（原帖未提，官方论文暗含）

  • 评估指标依赖人工或预设标准，开放式任务的质量评估仍有主观性
  • 三角色分离意味着每次迭代 token 消耗是单 harness 的约 3 倍

一句话结论

HoH 通过「harness 之上叠外循环」让编码 Agent 获得持续改进能力，70+ 迭代自主开发出可玩的 FPS 游戏，三大基准平均相对增益 52.25%；它的核心价值在于证明了多日自主开发完全可行，而非只是一次性的单次任务突破——对需要构建长期自动化开发流水线的团队，是值得深入研究的方向。