HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?

• 类型：arxiv
• 标识：2609.01437
• 链接：https://arxiv.org/abs/2609.01437
• 主分类：evaluation
• 形态：benchmark
• 被引：12
• 被引来源：Semantic Scholar
• S2被引：12
• OpenAlex被引：0
• 影响力被引：1
• TLDR：It is found that generated harnesses remain substantially behind mature human-engineered references on code and on search and research, while matching or exceeding the selected references on writing and machine-learning experimentation, with large variation in execution cost.
• OpenAlex ID：W7206192636
• OpenAlex DOI：10.48550/arxiv.2609.01437
• DOI：10.48550/arxiv.2609.01437
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.01437
• OpenAlex更新：2026-09-05
• 副分类：agent
• 待LLM分类：否
• 标题中文：HarnessDev：LLM 能创建并演进自身的 Agent Harness 吗？
• TLDR中文：研究发现，生成的 harness 在代码与搜索/研究任务上仍显著落后于成熟的人工参考方案，而在写作与机器学习实验任务上达到或超过所选参考方案，且执行成本差异巨大。
• 来源文件：
• /inbox/tom/_candidates/2026-09-03-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]