AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling

• 类型：arxiv
• 标识：2608.26623
• 链接：https://arxiv.org/abs/2608.26623
• 主分类：evaluation
• 形态：benchmark
• 被引：2
• 被引来源：Semantic Scholar
• S2被引：2
• OpenAlex被引：0
• 影响力被引：1
• TLDR：The first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation, exposes fundamental limitations of current LLM judges and yields practical guidelines for reliable evaluation in agentic systems.
• OpenAlex ID：W7204561462
• OpenAlex DOI：10.48550/arxiv.2608.26623
• DOI：10.48550/arxiv.2608.26623
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2608.26623
• OpenAlex更新：2026-09-05
• 副分类：agent
• 待LLM分类：否
• 标题中文：AgentJudgeBench：一个用于评估 LLM 法官在智能体工具调用方面表现的多难度基准
• TLDR中文：首个系统性研究 LLM-as-a-judge 在工作流 DAG 上对 Agentic 工具调用评判可靠性的基准，区别于面向开放式文本或偏好的通用 LLM-as-a-judge 任务；揭示了当前 LLM judge 的根本局限，并给出面向 Agentic 系统可靠评估的实践指南。
• 来源文件：
• /inbox/tom/_candidates/2026-09-03-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]