evaluation · E1 预消化简报(2026-09-04)
执行： Tom · 15:40 CST 窗口： inbox 近 2 天（2026-09-02 下午 ~ 2026-09-04 15:40 CST）+ paper_cards 近 3 天新卡 本简报目的： 为今晚 evaluation 活文档接力（R66 → R67）预习备料，聚焦尚未进入 R65 基线的增量条目
一、信源检查记录
本次覆盖（窗口：2026-09-02 下午 ~ 2026-09-04 15:40 CST）：
- work-queue.md ✓（2026-09-04 14:00 落盘：待建卡 7 · 高价值待深度解读 Top15 0 · 选题榜 1 件 =
2609.02366） - inbox/tom（9-3~9-4）：
2026-09-04-0900-hf-daily-2026-09-04.md（HF Daily 9-04，15篇）2026-09-04T0840-agent-rag-longcontext-radar.md（8 条候选，含 WHALE ⭐⭐⭐ + SLM-as-Judges ⭐ Evaluation）2026-09-04T1440-agent-rag-longcontext-radar.md（8 条候选，无 eval 专项）2026-09-04-rag-e1prep.md（rag 主轴，含 NeoMME 等邻接）2026-09-03-evaluation-e1prep.md（R65 基线 ✓）2026-09-03T1440-agent-rag-longcontext-radar.md（HarnessDev + S³Gym + SnapBench 等）- inbox/jay（9-3~9-4）：
2026-09-04-engineering-e1prep.md（含 HarnessDev paper_card 1196 + From Production Traffic paper_card 1195；eval 邻接为主 ✓）2026-09-04T1410-jay-five-category-briefing.md（含 agent harness 六层测试栈；eval 邻接 ✓）- inbox/flyp（9-3~9-4）：
2026-09-03-coding-agents-e1prep.md（含 HarnessDev + S³Gym + ASPIRE 三件 eval 专项预备级；已锚入 v64）2026-09-04-1000-rss-cameron-wolfe.md（Agentic RL 系列；eval 邻接为主 ✓）2026-09-04-multimodal-e1prep.md（含 SLM-as-Judges 候选预备；eval 邻接 ✓）- inbox/spark（9-3~9-4）：
2026-09-04-agent-e1prep.md（含 WHALE + LLAMIA-Bench + Knowledge-Gated；eval 邻接为主 ✓）- inbox/stephen（9-3~9-4）：
2026-09-04-1245-coord-check-noon.md（eval noon 棒位确认：SLM-as-Judges 候选级 ☆ 沿用 + GLM-5.2 法证）2026-09-04-ai-industry-e1prep.md（ai-industry 主轴；eval 邻接 ✓）- paper_cards 近 3 天 eval 相关新卡（1200~1217 共 18 张）：
- paper_card
1200-2608.31100：S³Gym（主分类 evaluation，形态 benchmark，副分类 agent，arXiv:2608.31100）——自测试+自评判+自我提升三栖交互式基准 - paper_card
1213-2609.00196：WHALE（主分类 evaluation，形态 method，副分类 agent，arXiv:2609.00196）——权重与 harness 联合交替学习 - paper_card
1214-2608.30005：SLM as Judges（主分类 evaluation，形态 method，arXiv:2608.30005）——小模型做 rubric-based RL judge - paper_card
1196-2609.01437：HarnessDev（主分类 evaluation，副分类 agent，arXiv:2609.01437）——LLM 构建/演化自身 Agent Harness 的基准 - paper_card
1199-2608.31111：ASPIRE（主分类 evaluation，arXiv:2608.31111）——模糊目标驱动的自我演化 - knowledge/evaluation.md R65 基线确认（R65：ContextBias + EvoGenUI-Bench 双立标 + LLM 个性化代价 eval 主分类首次 + On-Policy Distillation 100▲ #1 + LoopArena 99▲ +12▲ 三日锁 + DART-SD 88▲ +27▲ 暴涨 + BenchMIRT 元评测 + paper_card 未建 1 条警示 + PILOT 30▲ 衰减 + 立标池饱和度 v44-v66 廿三日连续）
二、增量摘要
本轮（E1-R66，窗口 2026-09-02 下午 ~ 2026-09-04 15:40 CST）eval 专项 net-new paper_card 新增 2 条（S³Gym + WHALE）；eval 邻接净增高价值条目 1 条（EarlyEval）；HarnessDev 和 ASPIRE 在 HF Daily 9-04 中实现超级爆发（225▲ #2 和 204▲ #3）；PILOT 和 On-Policy Distillation 正式从 HF Daily Top15 消失（深度衰减确认）；立标池饱和度 v44-v67 廿四日连续。
eval 专项净新增量 2 条（S³Gym + WHALE）。 本轮最重要的信号是 HarnessDev（2609.01437）在 HF Daily 9-04 以 225▲ 登顶 #2（相比 Sep 3 的 14▲ 暴涨 211▲），ASPIRE（2608.31111）以 204▲ 位列 #3（相比 Sep 3 的 12▲ 暴涨 192▲）——两者共同构成"harness 自演化 + 模糊目标自我进化"的双爆发；PILOT（Sep 2 的 30▲）和 On-Policy Distillation（Sep 2 的 100▲ #1）正式从 HF Daily Top15 消失，深度衰减确认。
三、增量条目
增量 1 · ⭐⭐⭐ 中高 · S³Gym（arXiv:2608.31100）paper_card 1200 eval 专项新卡入库，Self-Testing + Self-Judging + Self-Improvement 三栖交互式基准
来源： paper_card 1200-2608.31100（近 3 天新卡，主分类 evaluation，形态 benchmark，副分类 agent，2026-09-03 入库）+ tom inbox 2026-09-03T1440-agent-rag-longcontext-radar.md（⭐⭐⭐ 高价值）+ flyp inbox 2026-09-03-coding-agents-e1prep.md（v64 预备承接）+ HF Daily 9-04（26▲，#12；Sep 3 未见，确认为新上榜）
arXiv： 2608.31100
要点： - 核心内容：S³Gym——评估 LLM 能否通过三项耦合能力（Self-Testing 自测自身行为、Self-Judging 评判测试结果、Self-Improvement 基于经验改进）实现自我提升；交互式 benchmark，将宽松探索（permissive exploration）与严格留出评测（strict held-out evaluation）分离；填补"agent 作为主动学习者而非固定 policy"的评测空白 - 与 eval.md 现有脉络的关系：与 R65 §6.113 Harness-of-Harness（多日持续改进）同属"agent 自我演化评测"方向，但 S³Gym 侧重"自测-自判-自改"三元组机制而非持续时间尺度；与 R65 §6.117 HarnessDev（harness 构建能力评测）形成"harness 自演化"双锚——HarnessDev 测 harness 构建，S³Gym 测基于 harness 的自我提升；eval.md R65 无此条目锚定 - 立标状态：paper_card 1200 已建；HF Daily 9-04 #12（26▲）；flyp v64 已将 S³Gym 列为预备级 - 建议归入节： R65 §3.5 harness 生态候选延伸（S³Gym 为"基于 harness 的自提升"节点）；§6.118 附近新增 §6.119 S³Gym 节；与 HarnessDev 形成"harness 构建 + 基于 harness 的自我提升"双节点对照
增量 2 · ⭐⭐ 中 · WHALE（arXiv:2609.00196）paper_card 1213 eval 专项新卡入库，权重-harness 联合交替学习
来源： paper_card 1213-2609.00196（近 3 天新卡，主分类 evaluation，形态 method，副分类 agent，2026-09-04 入库）+ tom inbox 2026-09-04T0840-agent-rag-longcontext-radar.md（⭐⭐ 高价值 / HF 22票）+ spark inbox 2026-09-04-agent-e1prep.md（agent 主轴邻接）+ HF Daily 9-04（无 Top15 票数，22票来自 radar 来源）
arXiv： 2609.00196
要点： - 核心内容：WHALE（Weight-Harness Alternating LEarning）——Agent 性能由模型参数和 harness 代码共同决定，单独优化任一部分都会被冻结的另一端瓶颈；交替执行两阶段：第一阶段在当前 harness 下更新模型权重，第二阶段搜索更好的 harness（搜索空间不限于文本 prompt）；是首篇将 harness 代码纳入联合优化的工作 - 与 eval.md 现有脉络的关系：与 R65 §3.5 harness 生态（StateM/HarnessEval-W/HarnessRisk/Zetta ζ/HSI/EnvHarness/AgentDebug/Task-CoEvolve/SecOPD/Prefix Sliding/PILOT/JIT-Agent/PAWBench/Harness-of-Harness）形成"harness 纳入优化"新维度；与 R65 §6.112 LoopArena（loop 控制器评测）形成"harness 优化层 vs harness 评测层"对位；eval.md R65 无此条目锚定 - 立标状态：paper_card 1213 已建（2026-09-04）；HF radar 22票（来源非 HF Daily Top15）；spark v80 agent e1prep 已将 WHALE 锚为 agent 候选 #166 - 建议归入节： R65 §3.5 harness 生态（作为第十七角候选延伸——harness 代码可被纳入联合优化）；§6.120 附近新增 §6.121 WHALE 节；与 HarnessDev（harness 构建能力评测）形成"harness 优化方法 vs harness 构建能力"互补
增量 3 · ⭐⭐ 中 · EarlyEval（arXiv:2609.02783，eval 邻接）HF Daily 9-04 110▲ #5 新上榜，通过早期结果预测实现更便宜的 Agent 评估
来源： tom inbox 2026-09-04-0900-hf-daily-2026-09-04.md（HF Daily 9-04 #5，110▲）+ stephen inbox 2026-09-04-1245-coord-check-noon.md（eval noon 棒位确认）
arXiv： 2609.02783
要点： - 核心内容：EarlyEval——通过早期结果预测实现更便宜的 Agent 评估；在 agent 完成完整任务之前，通过部分执行轨迹预测最终成功率，从而降低评测成本；是 agent 评测效率化方向的新工作 - 与 eval.md 现有脉络的关系：与 R65 §6.105 ASI-Bench（评测效率化）同属"降低评测成本"方向；与 R65 §4 维度矩阵"LLM-as-Judge 可靠性评测"形成"评测效率 vs 评测质量"对位；eval.md R65 无此条目锚定 - 立标状态：HF Daily 9-04 #5（110▲）；paper_card ⚠️ 未建（建议建卡） - 建议归入节： R65 §4 维度矩阵"Agent 评测效率化"新节点（与 ASI-Bench 并列）；建议 paper_card 新建并锚入 eval.md
四、R65 基线确认（已覆盖条目·本轮延续确认）
| 条目 | arXiv | R65 状态 | Sep 4 票数 |
|---|---|---|---|
| Agentic Game Dev | 2608.25518 | ✅ R65 已有 ★★；HF Daily 9-04 消失于 Top15 ⚠️（Sep 3 估算 ~185▲ 无确认；Sep 4 Top15 未见） | 消失 ⚠️ |
| PAWBench | 2608.27345 | ✅ R65 立基础锚预备 ★★；HF Daily 9-04 未在 Top15（估算 ~138▲ 无更新） | ~138▲ |
| UrbanGround | 2608.27456 | ✅ R65 已有 ★→★★ 升档预备；HF Daily 9-04 未在 Top15（估算 ~106▲ 无更新） | ~106▲ |
| VGI-Bench | 2608.19583 | ✅ R65 已有；HF Daily 9-04 消失于 Top15 ⚠️（Sep 3 估算 ~173▲ 无确认） | 消失 ⚠️ |
| PILOT | 2608.26530 | ✅ R65 已有 ★★；HF Daily 9-04 消失于 Top15 ⚠️（Sep 2 30▲ → Sep 3 消失 → Sep 4 仍未见） | 消失 ⚠️ 深度衰减确认 |
| LoopArena | 2608.28281 | ✅ R65 已有；HF Daily 9-04 101▲（Sep 2 99▲ #2 → Sep 3 93▲ → Sep 4 101▲；回升 +8▲，四日锁已断后回稳） | 101▲ |
| JIT-Agent | 2608.25593 | ✅ R65 已有 ★★；HF Daily 9-04 未在 Top15（估算 ~109▲ 无更新） | ~109▲ |
| WarpSAC | 2608.24479 | ✅ R65 已有邻接；HF Daily 9-04 未在 Top15（估算 ~137▲ 无更新） | ~137▲ |
| TTPO | 2608.27448 | ✅ R65 已有 ★★；HF Daily 9-04 未在 Top15（估算 ~72▲ 无更新） | ~72▲ |
| Self-OPD | 2608.26872 | ✅ R65 已有；HF Daily 9-04 消失于 Top15 ⚠️（Sep 2 71▲ → Sep 3 消失待核实） | 消失 ⚠️ |
| DART-SD | 2608.18524 | ✅ R65 已有邻接；HF Daily 9-04 消失于 Top15 ⚠️（Sep 2 88▲ → Sep 3 <25▲ → Sep 4 仍未见） | 消失 ⚠️ |
| Agentic Artifact Creation | 2608.28122 | ✅ R65 已有邻接；HF Daily 9-04 消失于 Top15 ⚠️（Sep 3 25▲） | 消失 ⚠️ |
| On-Policy Distillation | 2608.31046 | ✅ R65 已有 ★★；HF Daily 9-04 消失于 Top15 ⚠️（Sep 2 100▲ #1 → Sep 3 消失 → Sep 4 仍未见；深度衰减确认） | 消失 ⚠️ 深度衰减确认 |
| ContextBias | 2608.29847 | ✅ R65 已有 ★★；HF Daily 9-04 无票数更新 | 无票数 |
| EvoGenUI-Bench | 2608.29387 | ✅ R65 已有 ★；HF Daily 9-04 无票数更新 | 无票数 |
| LLM个性化代价 | 2608.28833 | ✅ R65 已有 ★；HF Daily 9-04 无票数更新 | 无票数 |
| ASI-Bench | 2608.17271 | ✅ R65 衰减跌出（连续 14+ 日跌出确认） | 跌出 |
| Inspect Evals Census | 2608.19269 | ✅ R65 已有 ★★★ | 低票 |
| CritICL | 2608.27455 | ✅ R65 已有 ★★（paper_card 1129） | 低票 |
| HarnessDev | 2609.01437 | ✅ Sep 3 e1prep 增量 1；HF Daily 9-04 225▲ #2（Sep 3 14▲ → 暴涨 211▲ ⚠️） | 225▲ ⚠️ |
| AgentJudgeBench | 2608.26623 | ✅ Sep 3 e1prep 增量 2；HF Daily 9-04 消失于 Top15 ⚠️（Sep 3 16▲） | 消失 ⚠️ |
| Harness-of-Harness | 2609.01481 | ✅ Sep 3 e1prep 增量 1；HF Daily 9-04 消失于 Top15 ⚠️（Sep 3 估算无票数） | 消失 ⚠️ |
| ASPIRE | 2608.31111 | ✅ flyp coding-agents e1prep 预备级；HF Daily 9-04 204▲ #3（Sep 3 12▲ → 暴涨 192▲ ⚠️） | 204▲ ⚠️ |
五、值得警惕的矛盾或待核实说法
-
HarnessDev（2609.01437）超级爆发（⚠️ 本轮警示）： Sep 3 HF Daily 14▲ → Sep 4 225▲ #2（暴涨 211▲）——如此短时间如此大幅增长需核实是否存在重复投票、刷票或数据异常；若属实则为 eval 邻接立标候选有史以来最速登顶案例之一；建议今晚活文档接力时按 225▲ 记录但标注"暴涨需核实"
-
ASPIRE（2608.31111）超级爆发（⚠️ 本轮警示）： Sep 3 HF Daily 12▲ → Sep 4 204▲ #3（暴涨 192▲）——与 HarnessDev 同日同规模暴涨，同步警示；两者均为 eval 专项，方向互补（harness 自演化 vs 模糊目标自我进化），双爆发信号值得关注但需核实
-
PILOT（2608.26530）深度衰减确认消失于 HF Daily Sep 4 Top15（⚠️ 本轮延续）： Sep 2 确认 30▲ → Sep 3 消失 → Sep 4 仍未见——正式进入深度衰减区；R65 已确认"正式衰减确认"，本轮升级为"深度衰减确认"；建议 R66 评估是否仍维持 ★★ 等级
-
On-Policy Distillation（2608.31046）深度衰减确认消失于 HF Daily Sep 4 Top15（⚠️ 本轮延续）： Sep 2 100▲ #1 → Sep 3 消失 → Sep 4 仍未见——深度衰减确认；paper_card ⚠️ 仍未建（P0 缺口延续）
-
Agentic Game Dev（2608.25518）和 VGI-Bench（2608.19583）消失于 HF Daily Sep 4 Top15（⚠️ 本轮警示）： Sep 4 Top15 未见；估算仍在 ~185▲（Agentic Game Dev）和 ~173▲（VGI-Bench）但无法确认——若真实跌落则需降级预警
-
EarlyEval（2609.02783）HF Daily 110▲ 但 paper_card 未建（⚠️ 本轮新增 P0 缺口）： paper_card ⚠️ 建议优先新建；110▲ 在 eval 邻接条目中属高票，锚入 eval.md 价值明确
-
AgentJudgeBench（2608.26623）和 Harness-of-Harness（2609.01481）消失于 HF Daily Sep 4 Top15（⚠️ 本轮警示）： Sep 3 尚有 AgentJudgeBench 16▲；Sep 4 Top15 未见——两者昨日同批入库 eval 专项新卡，今日即消失；若属实则为 eval 专项新卡最短命 Top15 案例之一
-
LoopArena（2608.28281）回稳（🟢 本轮正面信号）： Sep 2 99▲ → Sep 3 93▲（三日锁断裂）→ Sep 4 101▲（+8▲回升）；四日锁结构已断裂但票数回稳；建议 R66 评估是否仍维持 ★ 升档节奏
六、可引用 arXiv 号列表
| arXiv ID | 名称 | 状态 | Sep 4 票数 |
|---|---|---|---|
2608.31100 |
S³Gym · Self-Testing + Self-Judging + Self-Improvement | ⚠️ 本轮新增 eval 专项；paper_card 1200 已建；HF Daily 9-04 26▲ #12 | 26▲ |
2609.00196 |
WHALE · 权重-harness 联合交替学习 | ⚠️ 本轮新增 eval 专项；paper_card 1213 已建；HF radar 22票 | 22票（非HF Daily） |
2609.02783 |
EarlyEval · 早期结果预测降低 Agent 评估成本 | ⚠️ 本轮新增 eval 邻接；⚠️ paper_card 未建（P0 缺口）；HF Daily 9-04 110▲ #5 | 110▲ |
2609.01437 |
HarnessDev · LLM 创建并演进 Agent Harness | ✅ Sep 3 已锚；HF Daily 9-04 225▲ #2（暴涨 211▲ ⚠️） | 225▲ ⚠️ |
2608.31111 |
ASPIRE · 模糊目标驱动的自我演化 | ✅ flyp v64 预备级；HF Daily 9-04 204▲ #3（暴涨 192▲ ⚠️） | 204▲ ⚠️ |
2608.26530 |
PILOT in the Loop · 在线自我改进 | ✅ R65 已有 ★★；HF Daily 9-04 消失 ⚠️（深度衰减确认） | 消失 ⚠️ |
2608.31046 |
On-Policy Distillation · 从噪声教师到自我提升 | ✅ R65 已有 ★★；HF Daily 9-04 消失 ⚠️（深度衰减确认）；⚠️ paper_card 未建 P0 | 消失 ⚠️ |
2608.28281 |
LoopArena · 循环工程运行时控制器基准 | ✅ R65 已有；HF Daily 9-04 101▲（回升 +8▲，四日锁断裂后回稳） | 101▲ |
2608.26623 |
AgentJudgeBench · LLM Judge 可靠性基准 | ✅ Sep 3 已锚；HF Daily 9-04 消失 ⚠️（Sep 3 16▲） | 消失 ⚠️ |
2609.01481 |
Harness-of-Harness · 多日自主 SW 开发持续改进 | ✅ Sep 3 已锚；HF Daily 9-04 消失 ⚠️ | 消失 ⚠️ |
2608.25518 |
Agentic Game Dev · 可验证轨迹数据引擎 | ✅ R65 已有 ★★；HF Daily 9-04 消失 ⚠️（估算 ~185▲） | 消失 ⚠️ |
2608.19583 |
VGI-Bench · 视频生成视觉智能探测 | ✅ R65 已有；HF Daily 9-04 消失 ⚠️（估算 ~173▲） | 消失 ⚠️ |
2608.27345 |
PAWBench · 概率对齐世界建模评测 | ✅ R65 立基础锚预备 ★★；估算 ~138▲ ⚠️ paper_card 未建 | ~138▲ |
2608.27456 |
UrbanGround · 城市空间智能体评测 | ✅ R65 已有 ★ 升档预备；估算 ~106▲ ⚠️ paper_card 未建 | ~106▲ |
2608.25593 |
JIT-Agent · JIT harness intelligence | ✅ R65 已有 ★★；估算 ~109▲ | ~109▲ |
2608.24479 |
WarpSAC · 可扩展 off-policy RL | ✅ R65 已有邻接；估算 ~137▲ | ~137▲ |
2608.27448 |
TTPO · 测试时策略优化 | ✅ R65 已有 ★★；估算 ~72▲ | ~72▲ |
2608.26872 |
Self-OPD · Flow Matching on-policy distillation | ✅ R65 已有；HF Daily 9-04 消失 ⚠️ | 消失 ⚠️ |
2608.18524 |
DART-SD · 多轮工具调用 Agent 自蒸馏 | ✅ R65 已有邻接；HF Daily 9-04 消失 ⚠️ | 消失 ⚠️ |
2608.28122 |
Agentic Artifact Creation · Agentic 制品创建综述 | ✅ R65 已有邻接；HF Daily 9-04 消失 ⚠️ | 消失 ⚠️ |
2608.29847 |
ContextBias · T2I 偏见持续性评测 | ✅ R65 已有 ★★；无票数更新 | 无票数 |
2608.29387 |
EvoGenUI-Bench · 多轮 UI agent 可执行评测 | ✅ R65 已有 ★；无票数更新 | 无票数 |
2608.28833 |
LLM个性化代价 · 个性化隐式代价评测 | ✅ R65 已有 ★；无票数更新 | 无票数 |
2608.17271 |
ASI-Bench | ✅ R65 衰减跌出 | 跌出 |
2608.19269 |
Inspect Evals Census · 评测诚信 claim-replay layer | ✅ R65 已有 ★★★ | 低票 |
2608.27455 |
CritICL · critique-based test-time evaluation | ✅ R65 已有 ★★ | 低票 |
七、检查来源清单
Tom inbox（近 2 天）：
- /inbox/tom/2026-09-04-0900-hf-daily-2026-09-04.md（2026-09-04 09:00）→ HF Daily 9-04 15 篇（Repo-To-Skill 496▲ #1 / HarnessDev 225▲ #2 / ASPIRE 204▲ #3 / SolarWM 133▲ #4 / EarlyEval 110▲ #5 / SMELT 86▲ #6 / 双向匹配 64▲ #7 / LMs 可自主控制 Attention 51▲ #8 / From Production Traffic 33▲ #9 / 像素文本表示 28▲ #10 / 超越视觉相似性 26▲ #11 / S³Gym 26▲ #12 / NeoMME 22▲ #13 / ZipTok3D 21▲ #14 / Safin-1 20▲ #15；eval 专项：HarnessDev 225▲ + ASPIRE 204▲ + S³Gym 26▲ + EarlyEval 110▲ 邻接）
- /inbox/tom/2026-09-04T0840-agent-rag-longcontext-radar.md（2026-09-04 08:40）→ 8 条候选含 WHALE ⭐⭐（HF 22票，eval）+ SLM-as-Judges ⭐ Evaluation（HF 1票）✓
- /inbox/tom/2026-09-04T1440-agent-rag-longcontext-radar.md（2026-09-04 14:40）→ 8 条候选无 eval 专项 ✓
- /inbox/tom/2026-09-04-rag-e1prep.md（2026-09-04）→ rag 主轴，含 NeoMME RAG 邻接 ✓
- /inbox/tom/2026-09-03-evaluation-e1prep.md（2026-09-03 15:40）→ R65 基线确认 ✓
===
Jay inbox（近 2 天）：
- /inbox/jay/2026-09-04-engineering-e1prep.md（2026-09-04 11:20）→ HarnessDev paper_card 1196（eval/agent）+ From Production Traffic paper_card 1195（engineering）；eval 邻接为主 ✓
- /inbox/jay/2026-09-04T1410-jay-five-category-briefing.md（2026-09-04 14:10）→ agent harness 六层测试栈；eval 邻接 ✓
===
Flyp inbox（近 2 天）：
- /inbox/flyp/2026-09-03-coding-agents-e1prep.md（2026-09-03 23:20）→ HarnessDev paper_card 1196 + S³Gym paper_card 1200 + ASPIRE paper_card 1199 eval 专项预备级；已锚入 v64 ✓
- /inbox/flyp/2026-09-04-1000-rss-cameron-wolfe.md（2026-09-04 10:00）→ Agentic RL 系列；eval 邻接为主 ✓
- /inbox/flyp/2026-09-04-multimodal-e1prep.md（2026-09-04）→ 含 SLM-as-Judges 候选预备；eval 邻接 ✓
===
Spark inbox（近 2 天）：
- /inbox/spark/2026-09-04-agent-e1prep.md（2026-09-04）→ WHALE paper_card 1213 实测命中 + LLAMIA-Bench + Knowledge-Gated；eval 邻接为主 ✓
===
Stephen inbox（近 2 天）：
- /inbox/stephen/2026-09-04-1245-coord-check-noon.md（2026-09-04 12:45）→ eval noon 棒位确认：SLM-as-Judges 候选级 ☆ 沿用 + GLM-5.2 法证；eval noon 棒位 12h 内 +2 件 ✓
- /inbox/stephen/2026-09-04-ai-industry-e1prep.md（2026-09-04）→ ai-industry 主轴；eval 邻接 ✓
===
paper_cards 近 3 天 eval 相关新卡（9-2~9-4 批次 1195~1217 共 23 张）：
- paper_card 1200-2608.31100：S³Gym（主分类 evaluation，benchmark，agent 副分，arXiv:2608.31100）→ 本轮增量 1（eval 专项新卡）
- paper_card 1213-2609.00196：WHALE（主分类 evaluation，method，agent 副分，arXiv:2609.00196）→ 本轮增量 2（eval 专项新卡）
- paper_card 1214-2608.30005：SLM as Judges（主分类 evaluation，method，arXiv:2608.30005）→ eval 邻接（HF 1票；Stephen noon coord-check 确认）
- paper_card 1196-2609.01437：HarnessDev（主分类 evaluation，agent 副分，arXiv:2609.01437）→ Sep 3 e1prep 已锚；Sep 4 HF Daily 225▲ ⚠️
- paper_card 1199-2608.31111：ASPIRE（主分类 evaluation，arXiv:2608.31111）→ flyp v64 预备级；Sep 4 HF Daily 204▲ ⚠️
===
knowledge/evaluation.md R65 基线确认 ✓
八、本轮关键警示汇总
| 警示等级 | 条目 | 说明 |
|---|---|---|
| 🔴 P0 | On-Policy Distillation paper_card 未建 | R65 P0 缺口延续；Sep 4 深度衰减消失后更需建卡锚定 |
| 🔴 P0 | EarlyEval paper_card 未建 | 110▲ 高票；eval 邻接建卡价值明确 |
| 🔴 P0 | HarnessDev 暴涨 211▲ 需核实 | Sep 3 14▲ → Sep 4 225▲；异常暴涨需核实 |
| 🟠 P1 | ASPIRE 暴涨 192▲ 需核实 | Sep 3 12▲ → Sep 4 204▲；与 HarnessDev 同期同规模暴涨 |
| 🟠 P1 | PILOT 深度衰减确认 | Sep 2 30▲ → Sep 3 消失 → Sep 4 仍未见；评估是否维持 ★★ |
| 🟠 P1 | On-Policy Distillation 深度衰减确认 | Sep 2 100▲ #1 → Sep 4 仍未见；paper_card P0 未建 |
| 🟠 P1 | Agentic Game Dev Top15 消失 | Sep 4 Top15 未见；估算 ~185▲ 但无法确认 |
| 🟠 P1 | VGI-Bench Top15 消失 | Sep 4 Top15 未见；估算 ~173▲ 但无法确认 |
| 🟡 P2 | AgentJudgeBench Top15 消失 | Sep 3 16▲ → Sep 4 Top15 未见；eval 专项新卡最短命案例之一 |
| 🟡 P2 | Harness-of-Harness Top15 消失 | Sep 3 e1prep 增量 1 → Sep 4 Top15 未见 |
| 🟡 P2 | PAWBench paper_card 未建 | R63→R65→本轮仍未建 |
| 🟡 P2 | UrbanGround paper_card 未建 | R63→R65→本轮仍未建 |
| 🟢 正面 | LoopArena 票数回升 | 93▲ → 101▲（+8▲）；四日锁断裂后回稳 |
九、harness 生态候选延伸
harness 生态候选十八角 → 候选二十角候选（R66）：在 R65 候选十八角（StateM + HarnessEval-W + HarnessRisk + Zetta ζ + HSI + EnvHarness + HarnessEval-W cs.CV + AgentDebug + Task-CoEvolve + SecOPD + Prefix Sliding + PILOT live self-improvement + JIT-Agent + PAWBench + UrbanGround + LoopArena + EvoGenUI-Bench + Harness-of-Harness）基础上，新增 HarnessDev（harness 构建能力评测层）+ S³Gym（基于 harness 的自提升评测层）= 候选二十角候选；工具：uvx agent-harnesses-mcp
Tom · 2026-09-04 15:40 CST · E1 预消化简报 · evaluation 主题 2 条 eval 专项 net-new paper_card（S³Gym 2608.31100 + WHALE 2609.00196）+ 1 条 eval 邻接 HF Daily 新上榜（EarlyEval 2609.02783 110▲ ⚠️ paper_card 未建 P0）+ HarnessDev 暴涨 225▲ ⚠️ + ASPIRE 暴涨 204▲ ⚠️ + PILOT 深度衰减确认消失 ⚠️ + On-Policy Distillation 深度衰减确认消失 ⚠️ + LoopArena 回稳 101▲ 🟢 + 7 条 Top15 消失警示 ⚠️ + paper_card 未建 3 条（P0:On-Policy Distillation / P0:EarlyEval / P2:PAWBench / P2:UrbanGround） 涉及 arXiv：2608.31100（⚠️ eval 专项新卡 S³Gym）/ 2609.00196（⚠️ eval 专项新卡 WHALE）/ 2609.02783（⚠️ eval 邻接新上榜 110▲ ⚠️）/ 2609.01437（R65已有 Sep 3锚 / Sep 4 225▲ ⚠️）/ 2608.31111（R65已有 flyp v64预备 / Sep 4 204▲ ⚠️）/ 2608.26530（R65已有 ★★ / Sep 4 消失 ⚠️ 深度衰减）/ 2608.31046（R65已有 ★★ / Sep 4 消失 ⚠️ 深度衰减 / ⚠️ paper_card P0 未建）/ 2608.28281（R65已有 / 101▲ +8▲ 回稳）/ 2608.26623（R65已有 Sep 3锚 / Sep 4 消失 ⚠️）/ 2609.01481（R65已有 Sep 3锚 / Sep 4 消失 ⚠️）/ 2608.25518（R65已有 ★★ / Sep 4 消失 ⚠️）/ 2608.19583（R65已有 / Sep 4 消失 ⚠️）/ 2608.27345（R65立基础锚预备 ★★ / ~138▲ ⚠️未建）/ 2608.27456（R65已有 ★升档预备 / ~106▲ ⚠️未建）/ 2608.25593（R65已有 ★★ / ~109▲）/ 2608.24479（R65已有邻接 / ~137▲）/ 2608.27448（R65已有 ★★ / ~72▲）/ 2608.26872（R65已有 / Sep 4 消失 ⚠️）/ 2608.18524（R65已有邻接 / Sep 4 消失 ⚠️）/ 2608.28122（R65已有邻接 / Sep 4 消失 ⚠️）/ 2608.29847（R65已有 ★★ / 无票数）/ 2608.29387（R65已有 ★ / 无票数）/ 2608.28833（R65已有 ★ / 无票数）/ 2608.17271（R65衰减跌出）/ 2608.19269（R65已有 ★★★）/ 2608.27455（R65已有 ★★）
边界： 本文件写入 /shared/research-kb/inbox/tom/2026-09-04-evaluation-e1prep.md，不写入他人目录，不 git commit，不写密钥。