evaluation · E1 预消化简报(2026-10-29)

作者：Tom · E1 日间预消化轮（evaluation）· 供今晚主题活文档接力预习 来源边界：宿主机增量清单 work-guard/4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7.json（1 item / 8 件 materials，逐件读取 item.materials[].source）。本轮零 web_search、零全库扫描、未读非清单材料、未修改活文档。另按任务要求读取了 organized/queue/work-queue.md 与活文档 organized/knowledge/evaluation.md（仅作脉络对照，不改动）。

0. 队列与现状定位

  • organized/queue/work-queue.md（自动生成 2026-10-29 14:00）记 evaluation：4 天未更新；本主题最新一轮为 R110（2026-10-24 16:50 · 第八十八重），活文档 85289 字节。
  • R110 已有骨架：四阶纵深（调度层 Ray 252 → 平台层 Langfuse 228 → 数据层 DataEvolver 231 → 表示层 NLAH 246）、具身基准"可比性契约"（251 RoboDojo）、评测对象新增"权限继承正确性"（§1.11.2）、RAG 评测对象第二次切分"知识侧 vs 记忆侧"（§1.11.3）。
  • 队列另列 2610.12998（LLM Creativity Long-Tail） 仍是"高价值待深度解读"首位，与 R104 锚 219 同源。

本轮判读总览：8 件材料中 真正 NET-new 的方法学增量只有 1 条（arXiv:2610.37358），其余为「1 件历史锚卡片刷新（不作新观点）+ 1 件分类噪声暴露 + 3 件工程/生态参考 + 3 件仅摘要线索」。因此本文按 8 条增量条目逐条给出，但不硬凑到旧提示词字数上限，主体篇幅分配与证据密度对齐。

1. 今日最重要的增量（6 条实质 + 2 条标记）

增量 1 ★ arXiv:2610.37358 —— 检索是否值得的"成本感知"评测协议（本轮唯一论文级 NET-new）

  • 来源：inbox/jay/2026-10-29-1105-engineering-brief.md（引 https://papers.cool/arxiv/2610.37358）· 同源筛选稿 inbox/jay/2026-10-29-1050-engineering-screen.md
  • 要点：题目《When Is Additional Retrieval Worthwhile? A Cost-Aware Study of Evidence Gain and Answer Reliability in RAG》。做法是把"要不要再检索一次"从固定流程改为按收益付费的两动作决策——检索发生前先用当时可得特征估算本次检索的增量证据收益，再在 dense 检索 + rerank 与 hybrid 词法-稠密 两条基线之间路由。
  • 评估协议（可直接借鉴，本轮最值钱的部分）：决策阈值按文档分组交叉验证选出，选定后先冻结，再在 60 条此前未见的 QASPER 训练划分样本上评测，刻意避免信息泄漏与事后调参。
  • 与活文档脉络的关系：正对 R105-R108 积累的 IR/retrieval 评测线（锚 224-227）与 R110 §1.11.3 的"知识侧 vs 记忆侧"切分。R110 只说"多数 RAG 失败瓶颈在检索质量"，本文补上了检索质量的可评测化路径：不是测检索本身多准，而是测"再检索这一次"的边际收益是否覆盖其成本——这是把 RAG 评测对象从"召回率"移到"决策收益"的第三种切分。
  • 建议归入：§1.1 评测诚信（阈值冻结 + 未见样本 = 防泄漏/防事后调参，纳入"评测诚信"层）、§2.2 评测平台与 CI Gate（把二次检索做成可路由的工程动作）、§1.11.3 知识侧评测对象（作为该节"知识侧成功判据"的具体形态之一）。倾向锚预备级（与 224-227 同族，不升正式锚）。

增量 2 ★ StanfordVL/BEHAVIOR-1K —— 具身评测平台的"官方/社区基准"对照项

  • 来源：organized/repo_cards/4720-stanfordvl-behavior-1k.md
  • 要点：卡片字段——★1784 · 周增 +0 · Python · MIT · 最近提交 2026-10-29 · 自述"BEHAVIOR-1K: a platform for accelerating Embodied AI research" · 主题 evaluation / 主分类 engineering / 形态 framework / 成熟度 research · 首次采集 2026-10-29 · 待 LLM 分类 = 是。
  • 与活文档脉络的关系：R110 锚 251 RoboDojo 把具身评测推到"可比性契约"，锚 255 OpenVLHarness 是多模态记忆 agent 评测工具。BEHAVIOR-1K 是平台型工件（platform），与 RoboDojo 的"基准载体（XPolicyLab）"是不同角色：前者是承载多任务/多环境的评测平台，后者是统一策略对照的基准。这一对构成 2026 Q4 具身评测"平台 vs 基准 vs 工具"三角色分工的第一组可比样本。
  • 建议归入：§2.3 Harness 生态候选（第 37 节点候选）或 §7.5 行业可观察信号段。⚠️ 归 §7.5 亦可——因为该卡无 TLDR、无任务集、无评分口径、无榜单规模，证据只到 README 首行。

增量 3 ★ cdeust/Cortex —— 记忆侧评测的"可复现基准"实现样本

  • 来源：organized/repo_cards/4731-cdeust-cortex.md
  • 要点：卡片字段——★75 · 周增 +0 · Python · MIT · 最近提交 2026-10-29 · 主题 agent/rag/llm-infra/evaluation/database · 主分类 agent · 形态 benchmark · 成熟度 experimental · 首次采集 2026-10-29。自述为面向 Codex / Gemini CLI / Claude Code 等本地 MCP host 的跨平台持久记忆 MCP，含 36 种引用的神经科学机制、local-first SQLite/PostgreSQL、混合检索、基于衰减的固化（decay-based consolidation）与可复现基准（reproducible benchmarks）。
  • 与活文档脉络的关系：直接落在 R110 §1.11.3 的记忆侧。R110 提出"记忆是一等架构原语、知识与记忆是两个不同问题"，但只给了判据没给方法学；本条是首个带基准声明的工程实现样本（虽 README 自述）。另一处呼应：R110 §1.12 说过 Ray 是"调度层"——Cortex 提示记忆侧正在长出自己的调度/固化层。
  • 建议归入：§1.11.3 记忆侧（作为"记忆侧评测工程化"的首个可核查样本）+ §7.5。⚠️ 75★、0 star 社区验证、无第三方复现。

增量 4 ☆ awesome-ai-agents —— 评测工具分区的检索入口

  • 来源：inbox/jay/2026-10-29T1335-blogs-discovery.md（https://github.com/aloth/awesome-ai-agents）
  • 要点：按 Frameworks & Libraries / Platforms & Low-Code / Agent Infrastructure / Evaluation & Testing / Safety & Governance / Research Papers / Tutorials / Use Cases / Community 分区收录；已核实到 AG2、Agent Swarm、AgentField、AgentScope、Agno、AutoGen、CAMEL、CopilotKit、CrewAI、DeerFlow、LangGraph、LightAgent、Mastra、MetaGPT 等条目。
  • 与活文档脉络的关系：R108-R110 三轮都在"harness 生态候选"里逐个登记仓库（253 meta-harness / 254 AutomationBench / 255 OpenVLHarness），本条提供按评测分区组织的横切索引——价值在于把 §2.3 的逐点登记升级为可检索的分区视图。
  • 建议归入：§2.3 Harness 生态候选（作为索引类工件登记）或 §7.5。
  • 证据缺口（必须随条目一起写）：抓取被截断（rawLength 5229 字符），Evaluation & Testing 分区正文未读到——这恰恰是与本主题最相关的分区；条目描述均为仓库自述式一句话，无版本号、无实测数据；维护活跃度与许可未核实。

增量 5 ☆ livedocs-research-agent —— "证据台账"作为评测产物

  • 来源：inbox/jay/2026-10-29T1335-blogs-discovery.md（https://github.com/pintu544/livedocs-research-agent）
  • 要点：README 已核实——SerpApi 检索主干（1 次搜索 = 1 credit）；GitHub 公共 API 取 stars / 最新 release / 最后活跃时间并据此算 0–100 维护健康分；无 LLM key 时走抽取式综合（采纳度 50% + 健康度 50%）；有 OpenAI 兼容端点时输出带引用 JSON；证据台账含来源数、证据覆盖度、原始链接、生成时间、搜索成本；SSE 推送进度。环境要求 Node.js 20.19+ / 22.12+，后端默认 4000、前端 5173。
  • 与活文档脉络的关系：§1.1 评测诚信层缺"产出物可核查"这一半——R110 强调授权须在检索层确定性执行、可审计，本条给出反面参照：证据台账（来源数 / 覆盖度 / 成本 / 时间戳）是把结论变成可核查产物的最低结构，与 R105 Langfuse 平台层的 Trace/Dataset 可追溯性同源，但轻量得多。
  • 建议归入：§2.2 评测平台与 CI Gate（轻量证据台账范式）+ §7.5。
  • 证据缺口：README 自述、无第三方复现；额度估算（约 35–50 次对比）为项目方自身推算；仓库标注 0 star / 0 fork。

增量 6 ☆ Google AI/ML/RAG/Agentic-AI 面试题集 —— 评测能力自查提纲（仅摘要）

  • 来源：inbox/jay/2026-10-29T1335-blogs-discovery.md（https://aiengineeringinsider.substack.com/p/google-ai-ml-rag-and-agentic-ai-interview）
  • 要点：摘要片段显示题目覆盖多智能体日志分析、工具调用失败与死循环处理、RAG 访问控制与实时索引、长程一致性写作、BigQuery 自然语言转流水线、智能眼镜多模态规划等场景。
  • 与活文档脉络的关系：与 R110 §1.11.2 权限继承维度直接相邻——"RAG 访问控制""工具调用死循环"正是本主题近两轮新增维度的工程形态；"多智能体日志分析"呼应 R110 锚 251 的可比性与可诊断性诉求。
  • 建议归入：§7.5（线索型）。⚠️ 证据等级 search_snippet_only，无正文；未核实题目是否官方、是否带解答与评分标准、是否有版本更新节奏。

增量 7 ∘ EnDevSols 组织页 —— 低价值线索（记录但不建议升格）

  • 来源：同上 note（https://github.com/ENDEVSOLS）。README 声称提供 Agent 开发、RAG 聊天机器人、多租户框架，列出 LongSuite（文档解析 / RAG / 幻觉检测 / 检索回归测试）、LongTrainer（多租户 RAG 框架）、LongParser 等自有项目。
  • 判断：14 followers、标记来自巴基斯坦，README 为服务商用宣传口径，无版本号 / 环境说明 / 实测数据，未核实各子仓库独立地址、star、许可、最近提交。
  • 建议归入：§7.5 线索型，不升锚。唯一值得后续回访的点：LongSuite 的"检索回归测试"若是真实开源件，是 §1.1 评测诚信层的候选。

增量 8 ∘ arXiv:1710.05941 —— 一条分类噪声信号（不是新观点）

  • 来源：organized/paper_cards/1804-1710-05941.md（Searching for Activation Functions，S2 727 / OpenAlex 2334 / 影响力被引 50 / 形态 method）
  • 要点：TLDR 表明其内容是激活函数搜索与 Swish vs ReLU 在深层模型上的对比。卡片却把它标为主分类 evaluation、主题 evaluation。
  • 判断：实质是优化/架构史地标，不是评测方法学增量。把它照单收进 evaluation 会把"优化史"误记成"评测史"。
  • 建议归入：不进锚记录；建议在 §6 批判段留一条"分类器把 optimization 类论文归入 evaluation"的噪声提示，供队列第 6 节「待精确分类：206 张卡」时统一复核。⚠️ 卡片"待 LLM 分类 = 是"，与队列第 6 节方向一致。

2. 与已有材料的重复 / 明确不作为新观点的两件

  • arXiv:2206.14858（GSM8K 定量推理历史地标）——organized/paper_cards/919-2206-14858.md。该卡已作为 R106 锚 230（R104 长尾性能语义维度历史坐标系）收录于活文档 §3。本批该卡刷新显示 S2 被引 2077→2120、OpenAlex 281、影响力被引 153。按"被引变化不作新观点"纪律，此条不构成增量，仅作锚 230 的采集态刷新记录。
  • arXiv:1712.05889（Ray 分布式框架）——organized/paper_cards/1811-1712-05889.md。已作为 R110 历史地标 252 收录（评测基础设施调度层地基，§1.12 + §3）。本批 S2 1831→1837、OpenAlex 883 不变。同样不构成增量。

另注：work-queue 第 3 节「待更新/未成视频脚本」把 1712.05889 与 2206.14858 同时列出，说明这两个历史锚在"选题/脚本"侧仍未消化——这属于今晚主题轮与选题轮的任务，不是本次 E1 的增量。

3. 值得警惕的矛盾 / 待核实说法

  1. 2610.37358 的样本来源是"QASPER 训练划分"且仅 60 条——防泄漏的阈值冻结做得干净，但样本量小、且取自训练划分而非独立测试集；索引/语料侧是否与被评系统训练数据污染未交代。可引用其协议，不可引用其任何数值结论（原文摘录本身也未给出具体指标、依赖版本与运行命令）。
  2. BEHAVIOR-1K 与 Cortex 均为"首次采集 2026-10-29"——★1784 / ★75 与"周增 +0"均为单次采集快照，不构成增长或衰退信号；与 R110 对 OpenVLHarness（+56 weekly，标基线跳变风险）、AutomationBench（+0 weekly，标静止信号）的处理方式一致。BEHAVIOR-1K 卡片"待 LLM 分类 = 是"，主分类 engineering 与主题 evaluation 并存，归节需谨慎。
  3. BEHAVIOR-1K 与 RoboDojo 251 的关系未核实——两者同为具身评测域，但一个自述为 platform、一个自述为统一策略基准（XPolicyLab）；是否共享任务集 / 是否有 sim-real 迁移关系、是否互为可比性对照，卡片层无法判定，不要在活文档里写成"补充"或"竞争"关系。
  4. Cortex 的"36 cited neuroscience mechanisms"与"reproducible benchmarks"均为 README 自述——机制引用是否可核查、基准是否公开、指标是什么，均未验证；且 75★ / experimental。作为方法学引用前必须降级为"工程实现样本"。
  5. 分类噪声（增量 8）——卡片分类字段与论文实质内容不一致，已至少 1 例（1710.05941）。队列第 6 节记 206 张卡待精确分类，这提示本主题的"主分类 evaluation"并非高纯度信号，选取材料时不能只凭分类字段。
  6. awesome-ai-agents 的 Evaluation & Testing 分区未读到——本轮对该条最有价值的部分恰好被截断，不得据此声称"已覆盖评测工具生态"。
  7. 两条 Substack/组织页线索证据等级为 search_snippet_only（增量 6、7）——不得当作已核查来源引用。
  8. 本机不可复现——jay 简报明确：环境 Python 3.11.2，未装 transformers / sentence_transformers / faiss / langchain / llama_index / torch，2610.37358 数值无法本地复现；任何"效果提升"表述须标注"未在本机验证"。

4. 可引用的 arXiv 号列表

本轮 NET-new（可用于今晚升锚判定） - 2610.37358 — When Is Additional Retrieval Worthwhile? A Cost-Aware Study of Evidence Gain and Answer Reliability in RAG（来源：inbox/jay/2026-10-29-1105-engineering-brief.md；链接 https://papers.cool/arxiv/2610.37358）

本轮 NET-new 但证据仅到卡片层、建议不升锚 - 1710.05941 — Searching for Activation Functions（卡片主分类 evaluation 与实质不符，列为分类噪声提示）

已有锚的采集态刷新（不作新观点，仅供核对引用） - 2206.14858 — Solving Quantitative Reasoning Problems with Language Models（GSM8K，= 锚 230；S2 2120 / OpenAlex 281 / 影响力 153） - 1712.05889 — Ray: A Distributed Framework for Emerging AI Applications（= 历史地标 252；S2 1837 / OpenAlex 883 / 影响力 189）

关联但非本轮增量的既有号（供脉络对照，不重复登记）：2607.04434（RoboDojo 251）· 2606.07001（DataEvolver 231）· 2603.25723（NLAH 246）· 2502.05167（NoLiMa 220）· 2610.12998（LLM Creativity Long-Tail 219 · 队列待深读首位）。

5. 今晚接力建议（摘要，供主题轮使用）

  1. §1.1 / §2.2 优先消化 2610.37358：把"阈值分组交叉验证 + 冻结 + 未见样本评测"写成评测诚信层的一个可执行协议条目，这是本轮唯一能进方法学段落的材料。
  2. §2.3 / §7.5 收 4 件工程与生态件：BEHAVIOR-1K（平台型）、Cortex（记忆侧基准）、awesome-ai-agents（评测分区索引）、livedocs-research-agent（证据台账）。四件均不升正式锚，建议按 R109 判例全部归 §7.5 或作 §2.3 候选项。
  3. §1.11.3 记忆侧：本轮有 Cortex 一个实现样本，但记忆侧评测方法学仍是空的——建议在 O76 之后新增一条开放问题："记忆固化/衰减机制本身如何被评测（衰减是否导致记忆丢失可测？）"，不要用 Cortex 的 README 自述替代方法学。
  4. §3 锚记录不新增正式锚：本轮最多新增 1 条锚预备级（2610.37358），其余为 §7.5 条目。
  5. §6 批判段补一条分类噪声提示（1710.05941 型），并建议与队列第 6 节"206 张卡待精确分类"联动。
  6. 被引计数刷新（GSM8K / Ray）只做采集态核对，不写入观点段。

6. 检查过的来源清单（全部为清单 item.materials[].source，共 8 件 + 2 处脉络对照）

  1. organized/paper_cards/919-2206-14858.md（2206.14858 / GSM8K）
  2. organized/paper_cards/1804-1710-05941.md（1710.05941 / Searching for Activation Functions）
  3. organized/paper_cards/1811-1712-05889.md（1712.05889 / Ray）
  4. organized/repo_cards/4720-stanfordvl-behavior-1k.md（StanfordVL/BEHAVIOR-1K）
  5. organized/repo_cards/4731-cdeust-cortex.md（cdeust/Cortex）
  6. inbox/jay/2026-10-29T1335-blogs-discovery.md（4 条：awesome-ai-agents / livedocs-research-agent / Substack 面试题集 / EnDevSols）
  7. inbox/jay/2026-10-29-1105-engineering-brief.md（2610.37358）
  8. inbox/jay/2026-10-29-1050-engineering-screen.md（2610.37358 保留项 + 5 条弃用项）
  9. 脉络对照（只读，未改）：organized/knowledge/evaluation.md（R110 活文档）、organized/queue/work-queue.md（2026-10-29 14:00 生成）

未做：未联网检索、未新增链接、未扫描清单外材料、未修改活文档 / 队列 / 清单 / 认领记录、未写他人目录、未 git。 写入范围：仅 /shared/research-kb/inbox/tom/2026-10-29-evaluation-e1prep.md（首次写入，整篇 write）。