QuoteBench: How Matched Scores Can Hide Command-Path Failures

• 类型：arxiv
• 标识：2608.13547
• 链接：https://arxiv.org/abs/2608.13547
• 主分类：agent
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Evaluations of command-issuing agents should report the model configuration, generation contract, execution path, operating point, and final-state validator rather than treat a matched score as an intrinsic model property.
• OpenAlex ID：W7203479664
• OpenAlex DOI：10.48550/arxiv.2608.13547
• DOI：10.48550/arxiv.2608.13547
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2608.13547
• OpenAlex更新：2026-08-31
• 待LLM分类：否
• 标题中文：QuoteBench：匹配得分如何掩盖命令路径失败
• TLDR中文：对指令下发 Agent 的评估应报告模型配置、生成契约、执行路径、工作点及终态校验器，而不应将匹配分数视为模型的内在属性。
• 来源文件：
• /inbox/tom/_candidates/2026-08-22-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-08-23-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]