SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

• 类型：arxiv
• 标识：2609.08149
• 链接：https://arxiv.org/abs/2609.08149
• 主分类：evaluation
• 形态：benchmark
• 被引：6
• 被引来源：Semantic Scholar
• S2被引：6
• OpenAlex被引：0
• 影响力被引：0
• TLDR：SWE-Bench Pro Verified offers a more trustworthy benchmark for assessing software engineering agents, which combines anti-hacking safeguards that eliminate major leakage channels without disrupting normal agent functionality, with task refinement that minimally corrects inconsistencies within flawed instances.
• OpenAlex ID：W7212059813
• OpenAlex DOI：10.48550/arxiv.2609.08149
• DOI：10.48550/arxiv.2609.08149
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.08149
• OpenAlex更新：2026-09-13
• 副分类：agent
• 待LLM分类：否
• 标题中文：SWE-Bench Pro Verified：面向软件工程 Agent 的可靠基准
• TLDR中文：SWE-Bench Pro Verified 提供了一个更可信的基准来评估软件工程 Agent，其结合了反作弊保护（消除主要泄漏渠道而不干扰正常 Agent 功能）和任务精修（最小限度地修正有缺陷实例中的不一致性）。
• 来源文件：
• /inbox/tom/_candidates/2026-09-10-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]