ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals

• 类型：arxiv
• 标识：2609.16816
• 链接：https://arxiv.org/abs/2609.16816
• 主分类：evaluation
• 形态：benchmark
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• 影响力被引：0
• TLDR：ImpossibleRubrics is introduced, a benchmark of 169 impossible tasks spanning six impossibility categories, each paired with a verifiable oracle certificate specifying what an honest answer may and may not claim, together with 48 answerable controls.
• 待LLM分类：否
• 标题中文：ImpossibleRubrics:对生成式评分标准作为奖励信号的应激测试
• TLDR中文：论文提出了 ImpossibleRubrics，一个包含 169 个不可能任务的基准，覆盖六类不可能性类别，每项任务都配有可验证的 oracle 证书，规定诚实回答可以与不可以声明的内容，并附带 48 个可回答的对照样本。
• 来源文件：
• /inbox/tom/_candidates/2026-09-16-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-09-17-agent-rag-longcontext-candidates.json
• [S2 enrich]