AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

• 类型：arxiv
• 标识：2607.06624
• 链接：https://arxiv.org/abs/2607.06624
• 主分类：agent
• 形态：benchmark
• 被引：2
• 被引来源：Semantic Scholar
• S2被引：2
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This work presents AgentLens, a production-assessed benchmark for interactive code agents that pairs formal verification, where an objective check exists, with LLM-written trajectory reviews and side-by-side comparisons, so that each run yields a readable explanation of why the score is what it is.
• OpenAlex ID：W7167816723
• OpenAlex DOI：10.48550/arxiv.2607.06624
• DOI：10.48550/arxiv.2607.06624
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.06624
• OpenAlex更新：2026-07-19
• 副分类：evaluation
• 待LLM分类：否
• 标题中文：AgentLens：面向编码 Agent 评估的生产级轨迹评审
• TLDR中文：提出 AgentLens，一个面向交互式代码 Agent 的生产级评估基准，将形式化验证（在存在客观检查时）与 LLM 编写的轨迹评审及并排比较相结合，使每次运行都能给出关于分数为何如此的可读解释。
• 来源文件：
• /inbox/tom/_candidates/2026-07-10-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]