🟡 保留 4："The Last Harness" — Meta-Evolution 双层循环

  • 类型：arxiv
  • 标识：2604.21003
  • 链接：https://arxiv.org/abs/2604.21003
  • 主题：agent, engineering, evaluation, llm-infra, multimodal, rag, risk
  • 主分类：evaluation
  • 形态：method
  • 被引：2
  • 被引来源：Semantic Scholar
  • S2被引：2
  • OpenAlex被引：0
  • 影响力被引：0
  • TLDR：A two-level framework shifts manual harness engineering into automated harness engineering, and takes one step further --automating the design of the automation itself.
  • OpenAlex ID：W7155562078
  • OpenAlex DOI：10.48550/arxiv.2604.21003
  • DOI：10.48550/arxiv.2604.21003
  • DOI来源：OpenAlex
  • 开放获取：green
  • 开放获取链接：https://doi.org/10.48550/arxiv.2604.21003
  • OpenAlex更新：2026-08-23
  • TLDR中文：一个两级框架将手动 harness 工程转变为自动化 harness 工程，并更进一步——将"自动化本身的设计"也自动化。
  • 待LLM分类：否
  • 来源文件：
  • /inbox/jay/2026-06-16-1850-engineering-filter-harness-rag-eval.md
  • [S2 enrich]
  • [OpenAlex backfill]

可复用信息

    1. Decision Observability：每次修改配对自声明预测，后续由任务级结果验证
    • 实证结果：10 轮 AHE 迭代后，Terminal-Bench 2 的 pass@1 从 69.7% 提升至 77.0%，超越人类设计的 Codex-CLI (71.9%)
    • 跨任务迁移：冻结的 evolved harness 在 SWE-bench-verified 上 top-12% 且 token 减少 12%；跨三个模型族均有 +5.1pp 至 +10.1pp 提升
    • 可信度: 高 — arXiv，有实验数据，覆盖真实 benchmark
    • 工程价值: 高 — 提出自动化 harness 演进框架，含具体迭代数和 benchmark 数据
    • 筛选理由: ✅ 保留 — 实证数据扎实（pass@1 +7.3pp，跨模型泛化），是 Harness Engineering 自动化的重要方向
    • 来源: https://arxiv.org/html/2604.21003v1

写作用途

  • 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
  • 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
  • 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
  • 可用于系统实现、实验平台或工程约束说明。
  • 可用于局限性、风险、失效模式和未来工作。

待补齐

  • BibTeX / 正式引用格式
  • 方法与实验设置细节
  • 与现有工作的差异点
  • 是否有代码和数据集