evaluation · E1 预消化简报(2026-10-01)

执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 2026-10-01 15:40 CST 窗口定义：2026-09-30 15:40 ~ 2026-10-01 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R90 基线 · 2026-09-30 16:50）+ inbox 近 2 天各 agent eval 相关产出 + paper_cards Sep 30 - Oct 1 新入库条目 诚实度声明：本轮 eval 主题净增量密度"中"— eval 主分类 paper_card NET-new 净增 0 件（Sep 30 - Oct 1 批次内无新增 eval 主分类 paper_card）；本次 5 条增量均为 eval 强邻接/副分类 eval 条目，可锚入 R90 既有脉络。增量来自 Tom Oct 1 雷达高价值邻接（3 条）+ flyp Sep 30 晚棒 KV Cache Reuse Boxoffice 深度短审稿（1 条）+ Oct 1 HF Daily APM-Bench 新入库（1 条）。无硬凑字数。

状态摘要

• 增量条数：5 条（落在 3-8 目标区间内）
• 核心新增：① APM-Bench（2609.37559 · 副分类 evaluation · 多会话持久记忆基准，549 sessions × 104 trajectories × 2719 candidates）② LibraryDesignBench（2609.36730 · 副分类 evaluation · Agent 为 Agent 设计类库评测，242 专家验证案例）③ False Frontiers（2609.39102 · 直接 eval 信号 · 自进化搜索 Agent 共舞弊问题诊断）④ OSWorld-Science（2609.39903 · eval 邻接 · VLM Agent 操作科学软件，12 VLMs × 146 任务，基于 artifact 评估）⑤ Mid-Harness（2609.39982 · eval 邻接 · Agent 工具执行可靠性，模型-harness 边界问题）
• 澄清：以上 5 条均 eval 强邻接/副分类 eval；0 件 NET-new eval 主分类 paper_card
• 涉及 arXiv 号：本次新增 5 个（2609.37559 · 2609.36730 · 2609.39102 · 2609.39903 · 2609.39982）；续用锚定 280+ 个（R90 沿用）

〇、检查过的来源清单

一、增量条目

增量 1：APM-Bench — 多会话持久记忆基准（2609.37559）— 副分类 evaluation（⭐⭐⭐⭐）

来源：organized/paper_cards/1587-2609-37559.md（副分类 evaluation · multimodal 主分类 · benchmark 形态 · Sep 30 入库）· inbox/tom/2026-10-01-0900-hf-daily-2026-10-01.md（HF Daily Oct 1 · 29票 #10）· inbox/flyp/2026-10-01-0950-flyP-critical-read-VoxMem-CLM.md（flyp Oct 1 早棒已提及 APM-Bench vs VoxMem 互补）

URL：https://arxiv.org/abs/2609.37559

TLDR（原文）：To serve as real-world personal assistants, streaming video models need persistent memory that retains past experiences for later use. Yet existing streaming benchmarks and methods often focus on individual continuous videos or short clips, overlooking that real-world interactions are often intermittent and require memory to persist across interruptions. APM-Bench reformulates real-world streaming interaction as multi-session life trajectories. It contains 549 sessions, 104 trajectories, and 2,719 candidates, spanning both objective and open-ended questions.

要点：

• 核心问题：现有流式视频模型 benchmark 只关注单条连续视频，忽略真实场景的间歇性和跨会话记忆持续需求——APM-Bench 将此建模为"多会话人生轨迹"
• 规模：549 sessions × 104 trajectories × 2,719 candidates，涵盖客观题和开放式问题
• 评估视角：cross-session persistent memory——这是 eval 领域的一个相对较新的评测维度，与"长程 Agent 评测"高度相关
• 与 R90 Groupwise Agentic Grading 的关系：GAG 关注"代码生成 RL 中评分质量差异"，APM-Bench 关注"跨会话记忆持续性"——两者都是长程 Agent eval 的不同切面

与活文档 evaluation.md 现有脉络的关系： - 邻接 R90 §1.3 长程/多 Agent 评测基准（SAGE + AgentWorld）——APM-Bench 的多会话轨迹评测是该节的自然扩展，但主分类是 multimodal，因此是邻接而非直接 - 邻接 R90 §3 维度化指标体系——跨会话持久记忆可作为一个独立评测维度，与现有语义理解/推理维度互补 - 建议归入章节：§1.3 长程/多 Agent 评测基准（新增邻接 · APM-Bench 2609.37559 · 副分类 eval · 多会话持久记忆 benchmark · 549 sessions × 104 trajectories × 2719 candidates）

增量 2：LibraryDesignBench — Agent 为 Agent 设计类库评测基准（2609.36730）— 副分类 evaluation（⭐⭐⭐⭐）

来源：organized/paper_cards/1593-2609-36730.md（副分类 evaluation · agent 主分类 · benchmark 形态 · Oct 1 入库）· inbox/tom/2026-10-01-0900-hf-daily-2026-10-01.md（HF Daily Oct 1 · 该 ID 未在当日 HF 出现，属入库晚于 HF 截止）

URL：https://arxiv.org/abs/2609.36730

TLDR（原文）：Agents increasingly build on code written by other agents, and they reimplement rather than reuse, growing the codebases later agents must work in. LibraryDesignBench introduces a two-phase benchmark: an agent implements a full-featured library from a specification that defines required capabilities without prescribing the design; the library is then evaluated through the correctness and simplicity of programs written by three user agents from different model families. The benchmark spans 242 expert-validated cases.

要点：

• 核心问题：Agent 越来越多基于其他 Agent 代码构建，却倾向于重实现而非复用，导致代码库不断膨胀——需要衡量 Agent 是否具备"为后续 Agent 设计可复用类库"的能力
• 两阶段评测设计：① Agent 从规范说明实现完整类库（不规定设计细节）② 通过三个不同模型家族的 user agent 编写程序的正确性和简洁性来评估类库质量
• 规模：242 专家验证案例
• 评测创新：以生成代码质量反向评估设计者能力——这是 eval 方法论的一个新视角：不是直接测 Agent 能力，而是通过"下游消费者"的代码质量间接评估
• ⚠️ 待核实：paper_card 刚入库，具体实验数据、三个 user agent 家族名称、量化评估结果均未知——需原文精读

与活文档 evaluation.md 现有脉络的关系： - 邻接 R90 §1.3 长程/多 Agent 评测基准——LibraryDesignBench 是多 Agent 协作评测的另一种形式，但侧重"设计能力"而非"任务执行能力" - 邻接 R90 §2.2 评测平台与 CI Gate——两阶段 benchmark 设计与 IndicBankBench 四阶段设计在结构上有相似性，但 LibraryDesignBench 评估的是"设计质量"而非"安全合规" - 建议归入章节：§1.3 长程/多 Agent 评测基准（新增邻接 · LibraryDesignBench 2609.36730 · 副分类 eval · Agent 设计能力两阶段 benchmark · 242 专家验证案例 · ⚠️ 需原文精读）

增量 3：False Frontiers — 自进化搜索 Agent 的共舞弊问题（2609.39102）— 直接 eval 信号（⭐⭐⭐⭐⭐）

来源：inbox/tom/2026-10-01T1440-agent-rag-longcontext-radar.md（Tom Oct 1 14:40 radar · 高价值条目 #3 · HF 票 12）· 原始来源：arXiv:2609.39102（2026-09-30/10-01 发布窗口期）

URL：https://arxiv.org/abs/2609.39102

TLDR（来源摘要）：自进化搜索 Agent 联合优化提案者（生成问题）和求解者（回答问题），引入了一种名为"共舞弊"的失败模式：双方在共享错误上越来越一致，内部奖励改善但外部正确率停滞或下降。

要点：

• 核心问题：自进化搜索 Agent 中，提案者（生成问题）和求解者（回答问题）联合优化会导致"共舞弊"（co-cheating）：内部奖励改善但外部正确率停滞或下降——这是一个 eval 方法论层面的问题，直接影响评测结果的可信度
• 核心启示：对 RAG 检索质量评估同样有警示意义——检索器和生成器若联合优化也可能出现类似的反馈回路偏差，导致内部指标改善但外部任务性能停滞
• HF 12票——票数相对不高，但 eval 启示意义强
• 缓解方案：在训练前验证提案（pre-training proposal verification）——这为 Agent 自进化系统的评测提供了一个方法论改进方向

与活文档 evaluation.md 现有脉络的关系： - 直接邻接 R90 §1.1 评测诚信从 harness 层延伸到指标层——False Frontiers 揭示的"共舞弊"问题是评测诚信的又一个新维度：不是 harness 本身的问题，而是"被测系统与评测系统联合优化"导致的指标失真 - 邻接 R90 §6.175.4 SAGE（符号闭包分析 SCA）——SAGE 处理"探索偏置+累积偏置"导致的评测失真，False Frontiers 处理"联合优化"导致的评测失真；两者构成"不同类型 eval 失真"的互补 - 邻接 R90 §6.175.3 ARGUS（11 维审计框架 73% vs 18%）——ARGUS 的结构化 rubric 与 False Frontiers 的"pre-training 提案验证"都关注评测方法本身的可靠性 - 建议归入章节：§1.1 评测诚信（新增邻接 · False Frontiers 2609.39102 · 直接 eval 信号 · 共舞弊问题揭示 · Agent 自进化系统评测失真新维度 · HF 12票）

增量 4：OSWorld-Science — VLM Agent 操作科学软件评测（2609.39903）— eval 邻接（⭐⭐⭐⭐）

来源：inbox/tom/2026-10-01T1440-agent-rag-longcontext-radar.md（Tom Oct 1 14:40 radar · 高价值条目 #6 · arXiv 来源）· 原始来源：arXiv:2609.39903

URL：https://arxiv.org/abs/2609.39903

TLDR（来源摘要）：12 个 VLM × 146 个高质量任务，覆盖分子绘图、数据分析、可视化等科研 workflow，基于结果的 artifact 评估而非过程追踪。

要点：

• 核心贡献：VLM Agent 操作科学软件评测——这是 eval 邻接，因为它是专用领域评测框架设计的案例
• 规模：12 VLMs × 146 高质量任务
• 评测方法创新：基于结果的 artifact 评估（result-based artifact evaluation）而非过程追踪——这是一种更可靠的评测方式，避免了过程追踪的"评分主观性"问题
• 与 R90 KV Cache Reuse Eval 的互补：KV Cache Reuse Eval 关注"评测方法本身的可信度"，OSWorld-Science 关注"专用领域评测框架如何平衡任务复杂度与自动化评估可行性"
• ⚠️ 边界：arXiv ID 2609.39903，发布于 Sep 30 - Oct 1 窗口期，具体实验数据和 artifact 评估细节未知

与活文档 evaluation.md 现有脉络的关系： - 邻接 R90 §2.2 评测平台与 CI Gate（IndicBankBench 四阶段 + CLEAR 五维）——OSWorld-Science 的两阶段 eval 设计（任务执行 + artifact 评估）与 IndicBankBench 有结构性相似 - 邻接 R90 §1.1 评测诚信——artifact 评估 vs 过程追踪的方法论对比是该节的有力佐证 - 建议归入章节：§2.2 评测平台与 CI Gate（新增邻接 · OSWorld-Science 2609.39903 · 12 VLMs × 146 任务 · artifact 评估方法 · ⚠️ 需原文精读获取具体数据）

增量 5：Mid-Harness — Agent 工具执行可靠性的模型-框架边界问题（2609.39982）— eval 邻接（⭐⭐⭐⭐）

来源：inbox/tom/2026-10-01T1440-agent-rag-longcontext-radar.md（Tom Oct 1 14:40 radar · 高价值条目 #2 · HF 票 22）· 原始来源：arXiv:2609.39982

URL：https://arxiv.org/abs/2609.39982

TLDR（来源摘要）：终端 Agent 生成动作后执行可靠性不足：错误的命令会改变环境，拖累后续轨迹，即使模型本可生成更好的替代方案。本文在模型-harness 边界引入 test-time compute：采样+验证候选动作，确认安全后再执行。

要点：

• 核心问题：Agent 动作执行可靠性问题——模型生成的动作在 harness 层执行时可能出错，导致环境状态被破坏，进而影响后续轨迹
• 解决方案：test-time compute（采样+验证候选动作，确认安全后再执行）
• 与 R90 评测诚信维度的关系：Mid-Harness 揭示的"模型-harness 边界可靠性"问题是评测诚信的一个新维度——harness 层本身可能导致 eval 失真（因为环境被破坏）
• HF 22票——中等票数但在 agent systems 领域值得关注
• ⚠️ 待核实：arXiv 2609.39983 = OSWorld-Science，Mid-Harness 是 2609.39982（不同的 ID）

与活文档 evaluation.md 现有脉络的关系： - 邻接 R90 §1.1 评测诚信从 harness 层延伸到指标层——Mid-Harness 与 KV Cache Reuse Eval 共同揭示"harness 层"的两类失真：① KV Cache Reuse Eval 揭示的"指标失真" ② Mid-Harness 揭示的"环境状态破坏导致的轨迹失真" - 邻接 R90 §6.175.4 SAGE——SAGE 的"累积偏置"与 Mid-Harness 的"环境破坏累积效应"方向相关 - 建议归入章节：§1.1 评测诚信（新增邻接 · Mid-Harness 2609.39982 · 模型-harness 边界可靠性 · 环境状态破坏导致轨迹失真 · HF 22票）

二、R90 追踪更新

R90 待核事项状态

三、矛盾与警示

⚠️ 数据可靠性警示 1：False Frontiers TLDR 极简

问题：arXiv 2609.39102 TLDR 仅"自进化搜索 Agent 共舞弊问题"简述。具体实验规模、评测数据集、缓解方案有效性数据均未知。在原文精读前，不得将具体数字锚入评测维度体系。

⚠️ 数据可靠性警示 2：OSWorld-Science 和 Mid-Harness 均属 arXiv 新发布

问题：2609.39903 和 2609.39982 均发布于 Sep 30 - Oct 1 窗口期，paper_card 未建立（Oct 1 Tom radar 基于元数据捕获）。具体任务规模、artifact 评估细节、test-time compute 实现细节均未知，需原文精读。

⚠️ 趋势警示：RRSI 和物体永久性 HF 跌出加速

问题：RRSI 154▲ 连续第 8+ 日跌出 HF 榜单；物体永久性 198▲ 从 Sep 30 跌出第 6 日加速到 Oct 1 跌出第 7 日——立标极显著 → 跌出 信号连续 7 日。这可能影响 R90 §6.174.4 的"立标持续性检验"结论。

四、本轮 eval 主题无新增主分类 paper_card 的邻接领域（R90 追踪延续）

以下邻接领域在 Sep 30 - Oct 1 窗口内无 eval 主分类 NET-new，eval 主题增量主要来自邻接/副分类 eval：

• KV Cache Reuse Eval Boxoffice 工具：flyp Sep 30 晚棒已做深度短审稿（⭐⭐⭐⭐可信度），Boxoffice 代码可获得性仍待核（P0）
• Groupwise Agentic Grading（2609.32577）：Sep 30 HF #1，108票，但 work-queue Oct 1 未见该 ID 出现在已建卡状态；建议主动建卡
• SAGE + ASCT 互补链：Sep 30 ASCT（副分类 eval）维持待核；SAGE 无新进展；两者"归因+缓解"互补关系待原文核实
• IndicBankBench 四阶段设计：Sep 30 - Oct 1 无新跟进信号
• ARGUS 跨领域印证：Sep 30 Alignment Illusion（NeurIPS 2026）无 Oct 1 新进展

五、可引用 arXiv 号列表

六、下游建议

1. Groupwise Agentic Grading 建卡（高优先级）：2609.32577 是 Sep 30 HF #1，108票，但 work-queue Oct 1 未见 paper_card 已建状态；建议主动建卡，锚入 §1.3 长程/多 Agent 评测基准

2. False Frontiers 原文精读（高优先级）：2609.39102 直接 eval 信号，揭示"共舞弊"评测失真新维度；需原文精读获取具体实验数据和缓解方案有效性

3. Boxoffice 工具代码核验（高优先级）：R90 P0 行动项，flyp Sep 30 晚棒已做短审稿但代码可获得性未确认；需核验 GitHub/HF 是否已开源

4. OSWorld-Science 和 Mid-Harness 建卡（中优先级）：2609.39903 和 2609.39982 均属窗口期新发布 arXiv，建议建卡并标注待精读状态

5. RRSI 和物体永久性跌出信号归档（低优先级）：RRSI 连续第 8+ 日跌出，物体永久性跌出第 7 日；建议在 §6.174.4 标注信号衰减趋势

七、边界声明

• ✅ 本稿仅写入 /shared/research-kb/inbox/tom/2026-10-01-evaluation-e1prep.md（整篇覆盖）
• ✅ 不写 organized/knowledge/、organized/reflection/、organized/paper_cards/（由其他实例/棒位承接）
• ✅ 不写 inbox/{jay,tom,spark,stephen}/ 目录
• ✅ 不写 review/
• ✅ 不 git commit / git push / gh pr
• ✅ 不输出密钥 / Token / Cookie / 验证码 / 证券账户
• ✅ 仅基于已读 inbox + paper_cards 元数据 + work-queue + evaluation.md R90 基线做轻量综合

Tom · evaluation · E1 · 2026-10-01 15:40 CST · 增量 5 条 · 15 个 arXiv 号（含续用）· 下游建议 5 条