Rethinking the Evaluation of Harness Evolution for Agents

• 类型：arxiv
• 标识：2607.12227
• 链接：https://arxiv.org/abs/2607.12227
• 主分类：evaluation
• 形态：benchmark
• 被引：45
• 被引来源：Semantic Scholar
• S2被引：45
• OpenAlex被引：0
• 影响力被引：2
• TLDR：The evaluation of automatic harness evolution procedures is revisited and the need for matched-budget baselines and held-out evaluation to distinguish genuine harness improvements from benchmark-specific search and overfitting is highlighted.
• OpenAlex ID：W7168361355
• OpenAlex DOI：10.48550/arxiv.2607.12227
• DOI：10.48550/arxiv.2607.12227
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.12227
• OpenAlex更新：2026-07-19
• 副分类：agent
• 待LLM分类：否
• 标题中文：Rethinking the Evaluation of Harness Evolution for Agents（重新审视 Agent 的 Harness 演化评估）
• TLDR中文：重新审视自动 harness 演化流程的评估方法，强调需要采用匹配预算的基线（matched-budget baselines）和留出评估（held-out evaluation），以区分真正的 harness 改进与针对特定基准的搜索和过拟合。
• 来源文件：
• /inbox/tom/_candidates/2026-07-18-agent-rag-longcontext-candidates.json
• [S2 enrich]
• /inbox/tom/_candidates/2026-07-19-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• /inbox/tom/_candidates/2026-07-20-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-07-20-agent-memory-tool-use-candidates.json