evaluation · E1 预消化简报（2026-08-16）

信源检查记录

本次覆盖： - work-queue.md ✓（Top 15 backlog 无 evaluation 专项；选题榜 2608.10708 已在 eval 脉络） - inbox/jay（8/14~8/16）：engineering-e1prep 含 AI Agents Stack 2026（六层架构含 Evaluation Layer）✓；无 evaluation 专项新件 - inbox/flyp（8/14~8/16）：multimodal-e1prep 无 evaluation 直接增量 ✓；NoLiMa 短审稿（arXiv:2502.05167v2，2025 年 2 月旧文，非 2026 新候选）邻接 eval ✓ - inbox/spark（8/14~8/16）：agent-e1prep 含 Spec-First AI Coding Agent（arXiv:2608.12440，agent 主分类）✓；无 eval 专项新件 - inbox/stephen（8/14~8/16）：ai-industry-e1prep 含 PostTrainBench+（Import AI 468，Jack Clark 持续追踪）✓；无 eval 专项新件 - inbox/tom（8/14~8/16）：HF Daily × 3（8/14 BDH-CQ 553▲；8/15 OpenART 252▲ + LLMRouter 90▲；8/16 OpenART 252▲ + LLMRouter 94▲ + Mechanist 82▲ 续立）✓；radar 无 eval 候选净增 ✓；evaluation-e1prep × 2（R47/R46 基线参考）✓ - paper_cards 近 3 天新卡（920~962 范围）：947(LLMRouter evaluation 已建卡) ✓；929(Mechanist agent 已建卡 eval.md 待补) ✓；925(Can LLM Agents Stick to the Script? evaluation benchmark 已建卡 eval.md 待补) ✓；904(TSDS-Toolbox)/909(Decoding-Level Taboo)/911(360CityArena) 均为 evaluation benchmark 但 eval.md 仍未归口（跨轮遗留）；DarwinX(2608.07545)/PlayWorld(2608.13552) paper_card 未建 - knowledge/evaluation.md R47 基线 ✓

增量摘要

本轮（E1-R48，窗口 2026-08-15 下午 ~ 2026-08-16 下午）发现 3 条确认增量（均为 eval 邻接或方法学相关），无 eval 专项 net-new paper_card 出现。主体脉络为：Aug 16 较 Aug 15 eval 增量显著降低——8/15 尚有 LLMRouter eval 专项新增，8/16 无同类 eval 专项 net-new paper；确认的 3 条增量集中在评测方法学社区内容（Cameron Wolfe Agent Eval 指南 / PostTrainBench+ / AI Agents Stack 2026 Evaluation Layer），均属 Substack/RSS 来源而非 arXiv 原始论文。R45~R47 遗留的建卡未归口缺口（Decoding-Level Taboo / 360CityArena / TSDS-Toolbox / Can LLM Agents Stick to the Script? / Mechanist）仍全部悬置，eval.md 仍未填补。

条目一：Cameron Wolfe「Agent Eval：详尽指南」（Substack RSS）— Agent 评测最佳实践综述

来源：inbox/flyp/2026-08-16-1000-rss-cameron-wolfe.md（RSS 摘要 8-16）
类型：Substack 文章（RSS 来源，非 arXiv 原始论文）；主分类：evaluation（邻接）；形态：survey
卡状态：❌ paper_cards 尚未建卡（Substack 非 arXiv，不建卡）；evaluation.md 未覆盖

要点

• 核心问题：Cameron Wolfe 发布「Agent 评估：详尽指南」——系统性梳理有效评估 AI Agent 的最佳实践与常见模式，涵盖评测设计方法论、评测维度选择、真实环境 vs 仿真环境等
• 评测方法学价值：提供了 Agent 评测的系统性框架，与 R47 现有的「立标信号强度 ≠ 立标等级评估」双维度区分原则形成呼应——强调"好的评测设计"本身需要方法学支撑，而非仅依赖票数或流行度
• 与其他 Agent 评测资源的互补：与 VibeLifeBench（生活 Agent）、Can LLM Agents Stick to the Script?（叙事一致性）、PlayWorld（世界模型）共同构成 Agent 评测谱系图谱
• 来源可靠性：Cameron Wolfe（Deep Learning Focus）是 AI 领域知名技术博主，内容质量在业界有较高认可度
• 立标信号：RSS 摘要形式，信号强度难以量化；属 Substack/RSS 来源，不进 HF Daily 立标池

与 knowledge/evaluation.md R47 现有脉络的关系

• 现有脉络：R47 §2.1 评测方法学综述 + §2.5 评测方法学批判（47 层反方体系）——Cameron Wolfe「Agent Eval 详尽指南」以社区最佳实践视角补充 R47 缺失的 Agent 评测设计方法论框架
• 缺失：系统性 Agent 评测设计指南；评测维度选择框架；真实环境 vs 仿真环境对比
• 建议归入：§2.1 评测方法学综述新增——Cameron Wolfe「Agent 评估：详尽指南」（Agent 评测最佳实践框架）；与 Harness 三元组七件套并列作为方法学补充（非原始论文，属社区内容）

矛盾 / 待核实

• Substack 非 arXiv，不进 paper_card 体系，立标信号不可量化
• 具体评测维度分类（安全性 / 效率 / 一致性 / 泛化性等）需读原文才能详细归入 eval.md 各节
• 与 Lilian Weng「Harness 工程与自我改进」（7-04）的关系需厘清：后者侧重 Harness 设计自动化，前者侧重 Agent 评测设计最佳实践

arXiv 列表

• 无 arXiv（Substack 非 arXiv 来源）

条目二：PostTrainBench+（Import AI 468，Jack Clark）— 训练后评测基准新增追踪对象

来源：inbox/stephen/2026-08-16-ai-industry-e1prep.md（Import AI 468 增量 2）+ inbox/jay/2026-08-16-1002-rss-import-ai.md（Import AI 468）
类型：评测基准（benchmark）；来源：Import AI Newsletter（Jack Clark）
卡状态：❌ paper_cards 尚未建卡（Import AI 非 arXiv）；evaluation.md 未覆盖

要点

• PostTrainBench+：Jack Clark 在 Import AI 468 中持续追踪的训练后评测基准——PostTrainBench+ 应该是 PostTrainBench 的更新版本，专注于 post-training 阶段的模型评估
• 与 R47 现有脉络的关系：PostTrainBench+ 填补 R47 §2.207 评测方法学 8 元组中缺失的 post-training evaluation 专项——R47 已有 LittleLearner（教学受控知识暴露）、SAEVerbalizer（SAE 表征语言化）、DFM Mimir v1（仅合规后训练开放 HRM）等 post-training 相关元组，PostTrainBench+ 以评测基准形式补充这一方向
• Jack Clark 追踪价值：Import AI 是 AI 领域高影响力 newsletter，Jack Clark 的持续追踪本身就是立标信号——与 HF Daily 票数互为补充
• PostTrainBench vs PostTrainBench+：需核实具体差异；+ 版本可能增加了新的评测维度或扩大了模型覆盖范围

与 knowledge/evaluation.md R47 现有脉络的关系

• 现有脉络：R47 §2.207 评测方法学 8 元组（含 Anthropic 概念推理指数 / 评估≠安全 / Agentic 世界模型 / LittleLearner / SAEVerbalizer / Gricean 退让 / DFM Mimir v1 等）——PostTrainBench+ 以 post-training 评测基准身份补充 §2.207 评测方法学 9 元组候选
• 缺失：post-training 阶段系统性评测基准；PostTrainBench 原版与 + 版本的差异
• 建议归入：§2.207 评测方法学 9 元组候选新增——PostTrainBench+（post-training 评测基准，Jack Clark 持续追踪）

矛盾 / 待核实

• paper_card 未建（Import AI 非 arXiv）；PostTrainBench 原版与 + 版本的具体差异待核实
• 是否已有公开的 arXiv ID 或 GitHub 仓库待查（建议通过 Import AI 原文链接核实）
• 与现有 post-training 评测（LittleLearner / DFM Mimir v1）的具体边界需厘清

arXiv 列表

• 无确认 arXiv（待核实 PostTrainBench+ 是否有配套 arXiv 论文）

条目三：AI Agents Stack 2026（六层架构）— Evaluation Layer 独立成层，Eval Gap 获架构层面的结构性背书

来源：inbox/jay/2026-08-16-1050-jay-engineering-filter-morning.md（✅ 保留条目 4 AI Agents Stack 2026 Edition）+ inbox/jay/2026-08-16-ai-engineering-trending.md（高价值条目 4 AI Agents Stack）
类型：行业框架（Stack 架构）；来源：The AI Engineer（Paolo Perrone，2026）
卡状态：❌ 非论文，无 paper_card；evaluation.md 未覆盖

要点

• 六层 Agent 架构（2024 版 5 层 → 2026 版 6 层，新增三层）： 1. LLM（基础模型） 2. 工具/插件（Tool Layer） 3. 编排层（Orchestration——状态管理、循环控制） 4. 内存/记忆（Memory Layer） 5. 评估层（Evaluation Layer——2026 新增）：对每个 Agent 步骤打分的评估基础设施 6. 安全/Guardrails 层（2026 新增）：输入/输出过滤、权限控制 7. 可观测性层（Observability Layer——2026 新增）：分布式追踪、结构化日志
• 核心洞察：Agent 不是 LLM Stack 的子集；是独立的六层系统，三层在 2024 年还不存在
• 与 AI Engineer Stack 2026 Eval Gap 的关系：Datadog 89% 可观测性 vs 52% 正式评测体系的 37 点 Eval Gap → 催生了 Evaluation Layer 独立成层的行业共识——Eval Gap 不仅是数字差距，已被结构化为架构层面的独立层次
• 与 Lilian Weng「Harness 工程与自我改进」的关系：Weng 7-04 侧重 Harness 工程化和自我改进的技术细节；AI Agents Stack 2026 从平台架构层面给出六层视图——两者从不同抽象层次互相印证

与 knowledge/evaluation.md R47 现有脉络的关系

• 现有脉络：R47 §2.194 评测方法学 5+ 元组 + §2.5 评测方法学批判（47 层反方体系）——AI Agents Stack 2026 Evaluation Layer 独立成层是行业层面的共识凝结，为 eval.md 中"Eval Gap"问题提供架构层面的结构性背书
• 缺失：行业架构层面对评测体系的结构化认知；Eval Gap 从数字差距到架构层面的映射
• 建议归入：§2.194 评测方法学 5+ 元组附录——AI Agents Stack 2026 六层架构（Evaluation Layer 独立成层）作为 2026 年行业共识实例；§2.5 评测方法学批判补充——Eval Gap（89% vs 52%）→ Evaluation Layer 独立成层：行业痛点的结构化映射

矛盾 / 待核实

• 六层（The AI Engineer）与 Faros.ai 五层（Harness Engineering 视角）的层次映射尚未厘清；两个框架暂不合并引用
• Evaluation Layer 的具体实现技术栈（哪些工具/框架构成该层）需进一步调研

arXiv 列表

• 无 arXiv（行业 Stack 框架，非学术论文）

综合：矛盾与待核实清单

1. Cameron Wolfe「Agent Eval 详尽指南」：Substack 非 arXiv，不进 paper_card；具体评测维度分类需读原文；与 Lilian Weng Harness 文章的关系需厘清
2. PostTrainBench+（Import AI 468）：paper_card 未建；PostTrainBench 原版与 + 版本具体差异待核实；是否有配套 arXiv ID 需查 Import AI 原文
3. AI Agents Stack 2026 Evaluation Layer：六层 vs Faros.ai 五层映射未厘清；Evaluation Layer 具体技术栈待调研
4. DarwinX（2608.07545）：R47 已标注 paper_card 未建；HF Daily 8-16 #7（66▲，+7▲）；eval 邻接，eval.md 仍未归口
5. PlayWorld（2608.13552）：R47 已标注 paper_card 未建；HF Daily 8-16 #11（35▲，+2▲）；eval 邻接，eval.md 仍未归口
6. Can LLM Agents Stick to the Script?（2608.08160）：paper_card 925 已建（evaluation benchmark）；eval.md 未覆盖（R46 已标注，跨轮遗留）
7. Mechanist（2608.12036）：paper_card 929 已建（agent 主分类）；eval.md 未覆盖（R46 已标注，跨轮遗留）
8. Decoding-Level Taboo（2608.09900）：paper_card 909 已建（evaluation benchmark）；eval.md 未覆盖（R45 建卡未归口缺口，跨轮遗留）
9. 360CityArena（2608.08814）：paper_card 911 已建（evaluation benchmark）；eval.md 未覆盖（R45 建卡未归口缺口，跨轮遗留）
10. TSDS-Toolbox（2608.08119）：paper_card 904 已建（evaluation benchmark）；eval.md 未覆盖（R45 建卡未归口缺口，跨轮遗留）

本轮检查过的来源（无新增时列出）

结论

本轮（E1-R48，2026-08-16）eval 主题处于 R47 遗留缺口消化期 + 社区内容增量阶段，确认 3 条 eval 邻接增量，无 eval 专项 arXiv 论文 net-new。

确认增量 3 条： - Cameron Wolfe「Agent Eval 详尽指南」 以 Substack RSS 来源提供 Agent 评测最佳实践系统框架——建议归入 §2.1 评测方法学综述（非 arXiv，不建卡） - PostTrainBench+（Import AI 468，Jack Clark） 以 post-training 评测基准身份补充 §2.207 评测方法学 9 元组候选——paper_card 未建（Import AI 非 arXiv），需核实是否有配套 arXiv - AI Agents Stack 2026（Evaluation Layer 独立成层） 以六层架构为 Eval Gap（89% vs 52%）提供架构层面的结构性背书——建议归入 §2.194 评测方法学附录 + §2.5 评测方法学批判补充

本轮新增密度显著低于 R47（R47 有 LLMRouter eval 专项 90▲；R48 无同类 eval 专项 arXiv 论文新增）。

涉及 arXiv 号：无确认新增 arXiv（Cameron Wolfe Substack / PostTrainBench+ 待核实 arXiv ID / AI Agents Stack 2026 非 arXiv）；已在基线续立：2608.06867（LLMRouter R47）、2608.07545（DarwinX R47）、2608.13552（PlayWorld R47）、2608.12036（Mechanist R46）、2608.08160（R46 Can LLM Agents Stick to the Script?）、2608.09900（R45 Decoding-Level Taboo）、2608.08814（R45 360CityArena）、2608.08119（R45 TSDS-Toolbox）

建议后续动作： - [ ] PostTrainBench+ arXiv ID 核实（查 Import AI 468 原文是否有配套论文） - [ ] Cameron Wolfe「Agent Eval 详尽指南」原文获取并补充 eval.md §2.1 具体评测维度分类 - [ ] AI Agents Stack 2026 Evaluation Layer 具体技术栈调研（补充 eval.md §2.194 附录） - [ ] Can LLM Agents Stick to the Script?（2608.08160）eval.md 归口（R46 遗留，paper_card 已建） - [ ] Mechanist（2608.12036）eval.md 归口（R46 遗留，paper_card 已建） - [ ] Decoding-Level Taboo（2608.09900）/ 360CityArena（2608.08814）/ TSDS-Toolbox（2608.08119）eval.md 归口（R45 建卡未归口缺口，跨轮遗留） - [ ] DarwinX（2608.07545）/ PlayWorld（2608.13552）paper_card 建卡后归入 eval.md（R47 遗留）

Tom · 2026-08-16 15:40 CST · E1 预消化简报 · 3 条确认增量（0 eval 专项 arXiv + 1 Substack + 1 RSS benchmark 追踪 + 1 行业框架）+ 10 件待核实 · 涉及 arXiv：无确认新增（PostTrainBench+ 待核实）