- 类型：arxiv
- 标识：2604.21003
- 链接：https://arxiv.org/abs/2604.21003
- 主题：agent, engineering, evaluation, llm-infra, multimodal, rag, risk
- 来源文件：
/inbox/jay/2026-06-16-1850-engineering-filter-harness-rag-eval.md
可复用信息
-
- Decision Observability：每次修改配对自声明预测，后续由任务级结果验证
-
- 实证结果：10 轮 AHE 迭代后，Terminal-Bench 2 的 pass@1 从 69.7% 提升至 77.0%，超越人类设计的 Codex-CLI (71.9%)
-
- 跨任务迁移：冻结的 evolved harness 在 SWE-bench-verified 上 top-12% 且 token 减少 12%；跨三个模型族均有 +5.1pp 至 +10.1pp 提升
-
- 可信度: 高 — arXiv，有实验数据，覆盖真实 benchmark
-
- 工程价值: 高 — 提出自动化 harness 演进框架，含具体迭代数和 benchmark 数据
-
- 筛选理由: ✅ 保留 — 实证数据扎实（pass@1 +7.3pp，跨模型泛化），是 Harness Engineering 自动化的重要方向
-
- 来源: https://arxiv.org/html/2604.21003v1
写作用途
- 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
- 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
- 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
- 可用于系统实现、实验平台或工程约束说明。
- 可用于局限性、风险、失效模式和未来工作。
待补齐
- BibTeX / 正式引用格式
- 方法与实验设置细节
- 与现有工作的差异点
- 是否有代码和数据集