evaluation · E1 预消化简报(2026-10-27)

• 作者：Tom ｜ 时间：2026-10-27 15:40 (Asia/Shanghai) ｜ 轮次：evaluation · E1 日间预消化
• 输入范围：宿主机增量清单 work-guard 4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7（1 item / 8 件材料），全部为清单 item.materials 指向的 source
• 参照脉络：organized/knowledge/evaluation.md（R110 现状，2026-10-24 更新）+ organized/queue/work-queue.md（2026-10-27 14:00）
• 证据纪律：仅基于各材料原文（卡片 / 笔记摘要层）判断，未通读论文全文，未核实任何实验数值；本轮零 web_search、零全库扫描
• 状态：材料充分，可支撑今晚主题活文档（R111）接力

一、本批 8 件材料清点

二、今日最重要的增量（7 条）

增量 1｜检索评测的"标注覆盖度"被正式形式化 —— arXiv:2610.31606

• 来源：inbox/tom/2026-10-27T0910-rag-lite.md · How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a RAG System for Breast Lesions
• 要点：检索分数依赖标注覆盖度；其做法是让相关性定义锚定证据片段并映射到所有包含该片段的分块，从而正确处理分块重叠；配合稠密向量 + BM25 + 交叉编码器重排的组合，并对分块 128–1024 token、重叠 0–20% 做系统扫描，给出一套可复用的评测协议。属于评测方法论而非新模型。
• 与活文档脉络的关系：直接命中 R110 刚确立的 §1.11.3「知识侧 vs 记忆侧」二分与 R105 锚 224–227 的 IR/retrieval 方法学群。R110 §1.11.2 主张"授权须在检索层确定性执行"，本条则给出"相关性在检索层如何被正确度量"的对偶面——两者共同说明检索层是当前评测最薄、也最该补的一层。另与 R103 锚 213（eval-to-use distribution shift）呼应：分数口径若与标注方式绑定，跨系统比较即失效。
• 建议归入：§1 评测设计方法学（新增「检索相关性口径」子段，紧邻 §1.11.3 RAG 知识/记忆二分）；锚记录待定，倾向锚预备级（语料仅 18 篇文档 / 18 条查询，绝对数值不可外推，宜作协议模板而非效果证据）。
• ⚠️ 标注：摘要未覆盖基线模型与语料构建细节；临床单域结论不可迁移通用 RAG。

增量 2｜"检索前的语义对齐"成为独立可评测对象 —— arXiv:2610.33768 / 2610.30843 / 2610.14465

• 来源：同上笔记三篇。
• SkillQR（2610.33768）：正面处理"冗长含糊 + 需多步推理"的查询对稠密检索的干扰，主张按查询特性自举发现改写技能，而非对所有查询施加统一改写模板；并把既有路线三条约束摆明（依赖昂贵闭源模型 / 大量训练数据 / 迭代式检索改写）。
• Lean Finder V2（2610.30843）：数学家与编码智能体实际只给短属性、符号、别名，隐含大量数学前提，现有 Mathlib 搜索引擎"假设查询上下文充足"不现实；方法上用模型级对抗训练 + 输入级查询改写双管齐下以缓解训练数据稀缺。
• CoRE（2610.14465）：把"用哪条规则检索"从人工预定义改为与检索器联合学习的路由决策，路由智能体选规则、检索器在该规则约束下取证，形式上闭环。
• 与活文档脉络的关系：这是本批与 R110 §1.11.3 最直接的一处呼应——R110 判定"多数 RAG 失败瓶颈在检索质量而非向量库本身"，本批三篇把"检索质量"进一步拆成查询侧消歧 / 改写 / 路由三个可分别度量的环节，等于给 R110 的结论补上了可评测的接口。CoRE 的"学习型路由"与 R110 §1.11.2"授权须在检索层确定性执行"构成一组方法张力：学习到的路由策略不可给出确定性保证，与权限合规要求的确定性执行直接冲突。
• 建议归入：§1 评测设计方法学（"检索前置侧语义对齐"子段）；同时在 §7.2 争议区新增一条争议："学习型检索路由能否与确定性权限校验共存"。三篇均倾向锚预备级，不升正式锚。
• ⚠️ 标注：三者摘要均未披露评测方式与基线对比口径；SkillQR"自举"是否带来额外推理开销不明；Lean Finder V2 域窄（形式化数学库），向开放域迁移无证据。

增量 3｜评测对象从"任务成功率"下沉到"失败类型细分" —— arXiv:2608.23035 MobilePA-Bench

• 来源：organized/paper_cards/1069-2608-23035.md（TLDR + 标题中文）＋ 该卡的诊断性主张：细粒度分析可区分"资源检索失败"与"流程合规失败"，并把两者与"下游执行错误"分开，提供超越聚合任务成功率的诊断洞察；同时结合交互式函数调用沙箱与基于证据的验证，兼作 Agent 强化学习的交互式基础。
• 与活文档脉络的关系：这是对 R110 两条主线的直接加强——(a) R110 §6.193(1) 的可比性契约关心"被比较的对象是否同条件"，本条关心"失败是否可归因"；(b) R110 §1.12 的四阶纵深（调度层→平台层→数据层→表示层）中，本条把"表示层/环境层"又往下切了一层：沙箱既作为评测环境又作为 RL 训练环境，这与 R105 锚 228 Langfuse（平台层）形成"环境即训练场"的新组合。
• 建议归入：§3 锚记录新增一条（漏登记补登），并与 R110 锚 251 RoboDojo（可比性契约）、R104 锚 220 NoLiMa（评测失真）并列为"评测诚信"三角的第三条腿；§1 评测设计方法学可补一句"聚合成功率不足以定位失效"。
• ⚠️ 待核（重要，见第三节矛盾 1）：该卡被引口径与其他主题档案不一致。

增量 4｜长程人机协作被提为独立评测对象 —— arXiv:2610.21109 Kolab

• 来源：inbox/tom/2026-10-27T0840-agent-rag-longcontext-radar.md · Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows · 115+ 小时专业工作者屏幕录像、50 名专家构成的数据集。
• 要点：核心主张是——人类在长程任务中更看重与 agent 的持续交互（例如反复修订计划），而非 agent 一次做完的能力；因此只看自动化榜单的强成绩，不等于真实协作有效。
• 与活文档脉络的关系：这是对 R104 锚 220 NoLiMa（R110 §1.5 反方层级）的一个来自人因侧的对位证据：NoLiMa 证明"长上下文能力被高估"，Kolab 证明"长程协作能力被高估"。二者合起来构成本主题迄今最锋利的一条命题——长程能力的两个常见代理指标（上下文长度、自动化完成率）都会失真。同时与 R103 锚 214（长程端点第十一候选）以及 R103 锚 213（eval-to-use distribution shift）同族。
• 建议归入：§1 评测诚信 10 层，作为第十一层"协作真实性 / human-agent 长程协作"候选起草（倾向锚预备级）；§6.193 增一条关键判定。
• ⚠️ 标注：语料为观察性录像，行为与因果贡献的分离在摘要中无方法说明——不能据此做因果结论。

增量 5｜评测基础设施：厂商栈首次从"框架层"进入视野 —— NVIDIA-NeMo/nemo-helix

• 来源：organized/repo_cards/4667-nvidia-nemo-nemo-helix.md · 129★ · Apache-2.0 · Python · 最近提交 2026-10-26 · 首次采集 2026-10-27 · 成熟度 experimental · 主题标签 agent / evaluation / llm-infra · 简介 "NeMo Helix: Make the agents you ship faster, more accurate, and safer."
• 要点：仓库卡只给出定位陈述（更快 / 更准 / 更安全的 agent 交付），无 README、无任务集、无基线、无分数。可确认的只有：它是一个厂商官方 agent 交付栈，且官方自述把"更准 / 更安全"作为卖点——这正是评测职责所在。
• 与活文档脉络的关系：R110 §1.12 刚把评测基础设施改述为"调度层（Ray 252）→ 平台层（Langfuse 228）→ 数据层（DataEvolver 231）→ 表示层（NLAH 246）"四阶纵深，并明确这是分层并存而非代际替换。NeMo Helix 的价值正在于它是第一个带厂商背书的、位于"交付层"的分件——它不落在现有四阶任何一阶里，而是横跨（交付栈自带评测与安全断言）。这是对"四阶纵深"模型的第五阶压力测试。R110 §6.193(4) 已记录 AutomationBench（厂商自建基准）；NeMo Helix 是"厂商自建基座+评测"的另一形态。
• 建议归入：§7.5 行业可观察信号段（不升正式锚，证据等级仅 repo 采集态），并在 §1.12 留一句"第五阶候选待观察"。
• ⚠️ 纪律：129★ 与 +0 weekly 均为采集态数值，首次采集仅 1 天，不得当作新观点；需下一轮采集确认是否真实静止。

增量 6｜自演化 agent 在真实文件工作区上的基准 —— OpenDataBox/Workspace-Bench

• 来源：organized/repo_cards/4575-opendatabox-workspace-bench.md · 82★ · +2 weekly · MIT · Python · 最近提交 2026-08-27 · 首次采集 2026-10-23 · 成熟度 experimental · 形态 benchmark · 主题 agent / evaluation / llm-infra · 简介 "Benchmark self-evolving Agent upon realistic large-scale file workspaces"。
• 要点：评测对象是在大规模真实文件工作区上会自我演化的 agent。工作区规模、任务集、自演化的判定口径、是否有 leaderboard 均未在卡片给出，需读 README 才知。
• 与活文档脉络的关系：与 R98 起的 harness 自演进主线（§1.3）以及 R110 锚 254 AutomationBench（真实业务工作流 agent 基准，厂商自建）形成"社区自建 vs 厂商自建"之外的第三类：环境复杂度驱动型（大规模文件工作区，而非业务流）。其独特性在于被测对象会自我演化，这使得"基准本身是否随被测对象漂移"成为一个新的可比性风险——与 R110 §6.193(1)"榜单污染与冻结"是同一族问题的更强版本。
• 建议归入：§2.1 harness/benchmark 套件计数（+1）；§2.3 harness 生态候选新增一节点；不升正式锚（+2 weekly 的量级远不足以支撑，且无 README 证据）。
• ⚠️ 待核：README 未读；"self-evolving"是否意味着基准内含自适应任务生成（若是，将与 RoboDojo 的静态可比性契约构成方法论对立面，值得单独立一条争议）。

增量 7｜沙箱本身成为被评测对象 —— webframe（evaluated as a scraper and a sandbox）

• 来源：inbox/jay/2026-10-27-1000-rss-simon-willison.md（转引 https://simonwillison.net/2026/Oct/26/webframe-evaluation/ ，作者 Jeff Lindsay）。RSS 同批另外 3 条与评测无关：GPT-6.1 Terra 发布公告（强调视觉推理）、Jason Koebler 引文、Seam Cutter 图像工具。
• 要点：webframe 让"把一个网页当程序来跑"；该条以评测视角切入——同时被当作抓取器和沙箱评估。
• 与活文档脉络的关系：这是 R110 §7.5 已记录的 OpenAI「securing-our-frontier-model-training-environment（离线环境 + 高算力红队）」的一个轻量、开源侧的对位信号：同一诉求（评测/运行需要受控沙箱）在社区侧以"沙箱自身也要被评测"的形式出现。与增量 3（MobilePA-Bench 的交互式函数调用沙箱）合看，本批出现一个共同信号：2026 Q4 评测的物理载体是沙箱/执行环境本身，其可信度成为评测可信度的前置条件。
• 建议归入：§7.5 行业可观察信号段（线索型，全文未读，不升锚）；建议在 §2.2 评测平台与 CI Gate 段落留一句"沙箱可信度前置"作为待观察命题。
• ⚠️ 证据等级：search_snippet_only（RSS 摘要），原文未读。

三、值得警惕的矛盾与待核实说法

1. 【口径冲突 · 高优先】MobilePA-Bench 被引口径不一致。 本批卡片 1069-2608-23035.md 记 S2 被引 1 / OpenAlex 0 / 影响力被引 0；而 organized/knowledge/archive/ 中 llm-application 与 multimodal 两处档案均记该文 "24 votes"、"HF Daily 8-26 #6 34▲"、"38▲" 等升星信号。三种口径（arXiv 投票数 vs HF Daily 热度 vs S2 被引）性质不同，不可互相替代。活文档 §8 的 arXiv 累积索引中已含 2608.23035，但 §3 锚记录未登记——综合看更可能是"其他主题已升锚、evaluation 主题漏登记"，而非重复收录。建议今晚先核这条再决定是否升锚。
2. 【安全—方法张力 · 新】学习型检索路由 vs 确定性权限执行。 CoRE（2610.14465）把检索规则的选择交给与检索器联合学习的路由智能体；R110 §1.11.2 则主张"授权必须在检索层确定性执行，prompt 指令模型可绕过"。学习型路由给出的是统计性最优而非确定性保证。二者若要共存，可能要求路由输出经过确定性策略校验层——当前无材料支持该方案，仅立为开放问题。
3. 【不可外推】所有效果类数字均不可外推。 2610.31606 的语料仅 18 篇文档 / 18 条查询；Lean Finder V2 限于 Mathlib；SkillQR 面向 reason-intensive 查询（对普通短查询外推有限）；CoRE 只覆盖结构化知识源。今晚写作时不得引用任何"提升 X%"作为效果结论，只能引方法与协议。
4. 【单源/未核】从业者数字不得作证据。 笔记中的 Substack 线索（"97% 准确率 @ $0.08/查询"、"9 techniques to boost RAG"、"Advanced RAG: what you actually run in production" 等 5 篇）均为个人复盘，架构描述与成本数字无法核验，仅可作旁证。笔记自身也已声明"分析仅基于候选清单中的标题与摘要，摘要非全文"。
5. 【方法学归属】"self-evolving agent"基准的自指风险。 Workspace-Bench 的被测对象会自我演化，若基准任务随被测能力调整，则与 R110 锚 251 RoboDojo 的"静态可比性契约"构成方法论对立面，而非同类补充。需读 README 后判定，当前不可并列为同一趋势。
6. 【防误判 · 纪律项】两件材料只有被引数变化，不构成今日增量。 GSM8K（2206.14858，S2 2077→2101）与 Raschka 清单（2603.15031，S2 72→74）均为采集态涨数，按宿主机清单纪律不作新观点；Raschka 卡片另注"待补齐：BibTeX / 方法与实验设置细节 / 与现有工作的差异点 / 是否有代码和数据集"，今晚如需引用其"Attention Residuals"时间线条目须谨慎——该卡片自述的时间线把 arXiv:2603.15031 同时标为"LLM 论文清单"与"Attention Residuals"，属卡片内编号自指矛盾，须核。

四、可引用的 arXiv 号列表（本批材料内）

• 方法学/评测协议：2610.31606、2610.33768、2610.30843、2610.14465、2610.33277（GEMS-RAG，笔记列为未入选高价值）
• 评测基准 / 评测对象：2608.23035、2610.21109
• 记忆 · 多智能体 · 形式化（邻接）：2610.32002、2610.23234、2610.31810
• 笔记内列出但本轮判为未入选（供追溯，不建议在活文档展开）：2610.01352、2610.19589、2610.31066、2610.31162
• 仅被引变化、非今日增量：2206.14858、2603.15031

链接形式统一为 https://arxiv.org/abs/<ID>。

五、给今晚 R111 接力的一句话判断

本批的净增量不在"又多了一个基准"，而在评测对象的三次下沉：从任务成功率下沉到失败类型（2608.23035），从检索质量下沉到检索前置的语义对齐（2610.14465 / 2610.30843 / 2610.33768），从"agent 做完"下沉到"人与 agent 持续协作"（2610.21109）。这三条与 R110 的可比性契约（251）、检索层合规（§1.11.2）、知识/记忆二分（§1.11.3）分别咬合，可望把 §1 评测诚信从"第十层"推到"第十一层"并新增一节检索评测协议。基础设施侧仅一条弱信号（NeMo Helix，厂商栈），Workspace-Bench 与 webframe 为生态信号，均不升正式锚。今晚落笔前请优先核实第三节第 1 条（MobilePA-Bench 编号与被引口径）与第 6 条（Raschka 卡片自指矛盾）。