What Does an Evaluation License? A Commit-Bound Census of Claim-Relative Inference in Inspect Evals

• 类型：arxiv
• 标识：2608.19269
• 链接：https://arxiv.org/abs/2608.19269
• 主分类：llm-infra
• 形态：position
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：A large evaluation collection is frozen and an attempt to replay its historical claims is made to make this otherwise implicit inference step explicit and executable.
• OpenAlex ID：W7203917122
• OpenAlex DOI：10.48550/arxiv.2608.19269
• DOI：10.48550/arxiv.2608.19269
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2608.19269
• OpenAlex更新：2026-09-02
• 副分类：evaluation
• 待LLM分类：否
• 标题中文：评估授权了什么？Inspect Evals 中声明相对推理的提交绑定普查
• TLDR中文：冻结一个大规模评测集合，并尝试对其历史断言进行 replay，以使这一原本隐式的推理步骤变得显式且可执行。
• 来源文件：
• /inbox/tom/_candidates/2026-08-29-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-08-30-agent-rag-longcontext-candidates.json
• [S2 enrich]
• /inbox/tom/_candidates/2026-08-31-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-08-31-agent-memory-tool-use-candidates.json
• [OpenAlex backfill]