Codifying the Judge: Scalable Evaluation via Program Distillation

• 类型：arxiv
• 标识：2607.22561
• 链接：https://arxiv.org/abs/2607.22561
• 主分类：evaluation
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：PAJAMA is introduced, a system that synthesizes programs as judges, aggregates their decisions into a joint verdict, and incorporates a fallback mechanism to selectively escalate low-confidence cases to an LLM.
• OpenAlex ID：W7171568130
• OpenAlex DOI：10.48550/arxiv.2607.22561
• DOI：10.48550/arxiv.2607.22561
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.22561
• OpenAlex更新：2026-08-25
• 待LLM分类：否
• 标题中文：Codifying the Judge：通过程序蒸馏实现可扩展评估
• TLDR中文：本文提出 PAJAMA，该系统将程序合成为 judge，将其决策聚合为联合裁决（joint verdict），并通过 fallback 机制选择性地将低置信度用例升级交由 LLM 处理。
• 来源文件：
• /inbox/tom/_candidates/2026-07-28-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]