evaluation · E1 预消化简报(2026-10-26)
口径声明:本轮由宿主机 work-guard 清单 job
4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7驱动(created 2026-10-26 15:40,expires 16:40),只处理items[0].materials列出的 8 份材料,逐件读取materials[].source(非仅item.source首项)。未做全库扫描、未开网页搜索补料、未为凑字数多轮重写。 对照基线:organized/knowledge/evaluation.md(R110 · 2026-10-24 16:50)。R110 已吸收 10-24 一轮 5 件 NET-new(锚预备级 251-255 + Ray 历史地标 252)。 边界:只做今晚活文档接力的预习备料;不改活文档、不改清单/基线/认领记录/定时配置,不写他人目录,不 git,不输出密钥。本轮只写本文件 1 个。
0. 一句话判断
本轮 8 件材料中,真正 NET-new 的评测相关增量只有 4 件(Anthropic "subagent 折回主循环" 指南、LlamaIndex OCRia-1 文档解析 VLM、arXiv:2606.17846 Qwen-RobotManip、Claire1217/benchmark-radar),另 2 件为运行态刷新(langfuse / AutomationBench,数字变化本身不作新观点),2 件为既有锚的重复出现(OpenVLHarness 255、meta-harness 253、Sparks 2303.12712 已属锚 238)。今晚真正值得接线的一条线是:评测正在从"造基准"进一步外扩到"决定 agent 架构本身"——Anthropic 指南明确把 eval(成本、效率)当作"要不要保留 subagent"的仲裁器,这恰好落在 evaluation.md §1.3 Harness 自演进与 §2.3 Harness 生态候选的延长线上,且是活文档至今没有的一类"评测的用途"。
1. 今日最重要的增量
增量 ① · Anthropic:把 subagent 折回主循环(单 agent + skills)——eval 成为架构决策的仲裁器 ★
- 来源:
inbox/jay/2026-10-26-1140-news-x-tech-radar.md(第 2 条,@omarsar0 2026-10-25 02:13 转述 → 引用 @cherry_mx_reds 2026-10-24 20:21 → 原文 https://claude.com/resources/articles/building-agents-when-to-fold-subagents-into-your-main-agent-loop )——二手转述,Anthropic 原文本轮未打开。 - 要点:Anthropic 建议把不必要的 subagent 收进主循环,转成 skills 与 tools。分工规则:Skills 教"怎么做"(流程、专业经验、指令);Tools / MCP 让"能做什么"(API、动作、实时数据);Subagents 留用于并行任务 / 上下文隔离 / 单 agent 难以胜任的任务。机制核心是渐进式披露(progressive disclosure):不派生专职 agent,也不塞巨型 prompt,而是让单 agent 按需发现并加载 skills 与 tools。客户案例称约 2 倍执行提速,且"装备 skills 的单 agent 常常胜过复杂的多 agent 系统"。@omarsar0 的补充是决策纪律——不能一刀切删 subagent,必须跑 eval(成本、效率等)来决定是否折叠、如何折叠,eval 应始终驱动策略;规模化时的典型问题(工具调用过多、上下文膨胀、职责边界不清)恰恰是 subagent 仍然有用的地方。
- 与活文档脉络的关系:evaluation.md 现有 §1.3(Harness 自演进)、§2.2(评测平台与 CI Gate)、§2.3 第 36 节点候选群、§6.193(3)("论文 + 官方实现"闭环)谈的都是怎么造评测,没有一条谈"评测结果反过来决定运行时架构"。这条与锚 219/220 的方法学批判不同源——它是评测的第一种非学术用途:把 harness 架构本身放进被测空间,用 eval 做 A/B 裁决。§6.193(4) 生态分层里"厂商自建 vs 社区自建"的对照,也可延伸到"厂商提供的架构范式 vs 社区自建多 agent"。
- 建议归入:§1.3 补一小节"eval 驱动的架构折叠决策(subagent → skills/tools)";§2.3 记一条生态信号;§7.5 留一条厂商工程指南(不升锚);§6 趋势可加一条"评测的用途从'测量'扩展到'裁决'"。
- ⚠️ 待核实:Anthropic 原文未读;"单 agent 常胜多 agent""约 2 倍提速"的原始案例、样本与评测口径均未核实;@omarsar0 的 "/goal 动态工作流"为其个人用法陈述,不可当方法学结论。
增量 ② · LlamaIndex OCRia-1 —— 文档解析评测第一次带上了可核查的基准与分数 ★
- 来源:同上
inbox/jay/2026-10-26-1140-news-x-tech-radar.md(第 1 条,@jerryjliu0 2026-10-26 01:11 + 同作者自引推文 2026-10-22 23:30)→ 技术报告 https://www.llamaindex.ai/ocria/ocria-1-technical-report.pdf · 博客 https://www.llamaindex.ai/blog/parse-ocria-1 。 - 要点:37 页技术报告 + 24 页附录;评测覆盖主流开源权重 OCR 模型(Infinity-Parser、LightOnOCR 3、Chandra 2、dots.mocr);基准集合 = ParseBench / olmOCR-bench / PulseBench-Tab / fr-bench-pdf2md;分数(自引推文口径)ParseBench 87.4、olmOCR-bench 83.5 overall(表格项 92.9,脚注说明已统一按 1,288px 渲染口径调整)、PulseBench-Tab 84.1、fr-bench-pdf2md 72.1;模型规模 4B;解码速度比最新开源权重模型快 2–4 倍以上;强项为复杂表格(嵌套表头、合并单元格、不规则网格、扫描表格)与复杂无标注图表(折线/柱状/饼图/技术示意图)及复杂格式保留;已作为底座驱动 LlamaParse 的 cost-effective / agentic / agentic plus 三种模式。
- 与活文档脉络的关系:这是 R109 §7.5 里那条线索的可核查升级版——2026-10-20 的 X 雷达曾记录同作者(jerryjliu0)关于"PDF 解析能力评测"的线索,当时明确标注"无基准 / 数据集 / 分数"而只作线索型;今天同族线索第一次带上了具体基准名、具体分数与口径脚注。这条轨迹本身有方法学价值:同一类"解析能力"信号,从无分数线索升级到有分数转述,恰好演示了"证据密度决定能否升锚"这条收录纪律。在评价维度上,它给 §3 维度化指标体系补了一块此前空缺——结构化文档/表格解析的端到端准确度(表格单元格级、图表无标注解析、格式保真),这类维度此前只以 IR/长文切分形式出现过(锚 226/227),没有以"视觉文档解析 VLM"形态出现。
- 建议归入:§3 维度化指标体系新增"结构化文档解析(表格 / 图表 / 格式保真)"维度;§7.5 记为线索型(分数为转述);§4/§6 可补一句"渲染口径(分辨率)必须声明"的口径纪律。
- ⚠️ 待核实:报告 PDF 与博客正文本轮未打开,全部分数、页数、速度比均为原帖文本转述;"olmOCR-bench 已统一按 1,288px 渲染口径调整"这一脚注恰好说明同一基准在不同渲染口径下不可直接比较——引用时必须带上该口径,不可裸引 83.5 / 92.9。
增量 ③ · arXiv:2606.17846 Qwen-RobotManip —— 自选 OOD 基准 + 无绝对数值,"可比性契约"的反面样本 ★
- 来源:
inbox/flyp/2026-10-26T0950-critical-read.md精读对象一(证据等级paper_card_abstract,arXiv 摘要页 + 元数据已核,44 页 PDF 方法与实验章节未读)→ https://arxiv.org/abs/2606.17846 (cs.RO,v1 2026-06-16 / v2 2026-06-17)。 - 要点(摘要自述):Qwen-VL 为 VLA 骨干;"表征—运动—行为"三维统一对齐框架;数据侧 human-to-robot 合成(第一人称手部演示→机器人轨迹,覆盖 15 平台)+ 异构数据集清洗;预训练语料约 38,100 小时(仅用开源数据集与人类视频);主张标准 benchmark 无法反映预训练质量,改用自建 OOD 组合 RoboCasa365 / LIBERO-Plus / EBench / RoboTwin-Clean2Rand / RoboTwin-IF / RoboTwin-XE;RoboChallenge 榜单相对提升 20%;真机平台 AgileX ALOHA / Franka / UR / ARX。
- 与活文档脉络的关系:与 R110 §6.193(1) RoboDojo 构成一对方向相反的同类——RoboDojo 的解法是"统一载体 XPolicyLab 收编 30 个策略"来制造可比性条件;Qwen-RobotManip 的解法是"由主张方自选 OOD 基准集合"来证明自己强。flyp 明确指出后者的问题:OOD 集合由作者选定,且与"作者主张模型强"存在结构性利益相关,用自家选定的集合击败 π0.5,与在标准榜上超越 π0.5,证据强度不同,不能混用。另有三重方法学病灶可与活文档既有批判对齐:(a) "对齐解锁规模"是叙事而非可证伪命题——缺消融,与 §1.1 评测诚信的"宣称 vs 实现"判据同源;(b) 只有相对量没有绝对量("相对提升 20%",无成功率基线、无置信区间、无试验次数),robot eval 的 seed 方差极大,无区间即不可判读;(c) distribution leakage by construction——自选 OOD 集合与自家清洗流水线共享同一批"清洗假设",训练端剔除与评测端定义可能共享生成逻辑。这三点同时是 R104 NoLiMa(锚 220)"对齐条件一变结论翻转"的又一实例。
- 建议归入:§6.193(1) 可比性契约下补"自选基准 vs 统一载体"两条路径的对照;§1.1 评测诚信记"缺绝对数值与方差"子项;§3 维度化指标体系记"具身 VLA 的 OOD 基准族";§7.5 收为线索型;§9.2 补待核项。
- ⚠️ 待核实:所有性能表述均为摘要原文声称,正文未读,"超越 π0.5"应按待验证处理;38,100 小时的构成(人类视频 / 合成 / 遥操作占比)未拆分;论文卡"代码"字段为空,权重、数据索引、训练配方是否公开未知;flyp 记录论文卡 OpenAlex 被引 0 而 Semantic Scholar 被引 64(见下方矛盾 3)。
增量 ④ · Claire1217/benchmark-radar —— 评测生态的"元层":基准雷达本身成为工具 ★
- 来源:
organized/repo_cards/4633-claire1217-benchmark-radar.md(首次采集 2026-10-26)→ https://github.com/Claire1217/benchmark-radar - 要点:12★ / 周增 +0 / HTML / 首次采集 2026-10-26;简介 "Track newly released AI benchmarks and their real-world adoption momentum."(追踪新发布的 AI 基准及其真实世界采纳动能);主分类 evaluation,形态 benchmark,主题 agent + evaluation + llm-infra;成熟度 experimental。
- 与活文档脉络的关系:§6.193(4) 已确立"评测基准生产主体从学术社区扩展到业务 SaaS 厂商",本件是这条线的第三个维度——基准的元层/聚合与追踪层:不止于造基准,而是持续监测"哪些基准在被发布、被谁采用、是否形成真实工作流"。12★ + HTML + 首次采集,说明它仍是个人级小工具,不具备升锚资格,但它与活文档 §8 URL 累积列表里已存在的
https://koutian.is-a.dev/posts/2026/09/benchmark-radar-day46命名族高度疑似同源,值得今晚顺带核实一次(见矛盾 4)。 - 建议归入:§7.5 行业可观察信号段(不升锚);§7.1-7.5 总览的生态分层图可加"元层(追踪/聚合)"一格。
- ⚠️ 待核实:README 与数据源未读;"adoption momentum"的度量口径未知;与 koutian 的 benchmark-radar 系列是否同一作者/同一项目未核。
增量 ⑤ · langfuse/langfuse —— 平台层持续吸存(运行态刷新,不作新观点)
- 来源:
organized/repo_cards/008-langfuse-langfuse.md(上次采集 2026-10-26,首次采集 2026-06-30)→ https://github.com/langfuse/langfuse - 要点:36,456★ / 周增 +551 / TypeScript / NOASSERTION / 最近提交 2026-10-25 / YC W23;简介"开源 agent evals & observability"。R105 记为锚 228(35,838★ / +476 weekly),本轮为刷新。
- 与活文档脉络的关系:§1.12 的"调度层(Ray 252)→ 平台层(Langfuse 228)→ 数据层(DataEvolver 231)→ 表示层(NLAH 246)"四阶纵深不变。值得注意的是平台层的吸存速度在两轮采集间进一步加快(+476 → +551 weekly),这是四阶纵深中唯一有可比时间序列的层级——但按本轮口径,采集态数值变化一律不作新观点,只作运行态佐证,不新开锚、不改判定。
- 建议归入:§3 锚记录 228 行刷新数值(36456★ / +551 weekly);§1.12 保留。
- ⚠️ 待核实:许可仍为 NOASSERTION;"eval 平台"与"可观测性"的边界(O18 开放问题)未变。
增量 ⑥ · zapier/AutomationBench —— 周增由 +0 变 +7,但提交日期未动(矛盾信号)
- 来源:
organized/repo_cards/4577-zapier-automationbench.md(上次采集 2026-10-26,首次采集 2026-10-23)→ https://github.com/zapier/AutomationBench - 要点:355★ / 周增 +7(R110 记 353★ / +0 weekly)/ Python / NOASSERTION / 最近提交仍为 2026-08-04。
- 与活文档脉络的关系:R110 §6.193(4) 把它定性为"厂商自建基准类别首现",并标了"+0 weekly 静止信号"。本轮周增由 0 变为 +7,但最近提交日期没有任何前进。这意味着"热度回升"与"代码演进"在本周脱钩——典型的 star 波动或榜单/传播效应,而非基准自身在演进。对 R110 的"静止信号"判定不构成反转,反而是"star 增长不能作为基准活跃度证据"的又一实例。
- 建议归入:§3 锚记录 254 刷新数值(355★ / +7 weekly,最近提交 2026-08-04);§7.5 / §6.193(4) 保留原判定并加注"周增回升但提交未动"。
- ⚠️ 待核实:任务集规模与工作流来源、许可 NOASSERTION 实际条款、停更约 2.5 个月后的时效性,均仍未核(R110 待核项 41 未消)。
不计增量(重复出现 / 仅刷新,不新开锚)
- uclanlp/OpenVLHarness(
organized/repo_cards/4558-uclanlp-openvlharness.md):256★ / +28 weekly(R110 记 220★ / +56 weekly),锚预备级 255 沿用。首次采集基线跳变问题依旧,且周增由 +56 回落到 +28,说明上一轮的"高增速"本身就不稳定,更不宜据周增升档。 - stanford-iris-lab/meta-harness(
organized/repo_cards/4576-stanford-iris-lab-meta-harness.md):1713★ / +0 weekly(R110 记 1708★ / +7 weekly),锚预备级 253 沿用;简介 arXiv 2603.28052 与 NLAH 卡片 2603.25723 编号不一致仍未核(R110 反问 50 / 待核 40 未消)。 - Sparks of AGI arXiv:2303.12712(
organized/paper_cards/435-2303-12712.md):S2 被引 4538 / OpenAlex 1523 / 影响力被引 259,已属 §1.9 R107 锚 238,本轮仅 OpenAlex 更新,属刷新。
2. 值得警惕的矛盾或待核实说法
- 同一仓库的"周增"与"提交日期"脱钩(AutomationBench)——周增 +0 → +7,最近提交仍停在 2026-08-04。结论:star/周增不能作为基准活跃度或方法学新颖性的证据;这是 R110 "采集态数值一律不作新观点"这条纪律的正面案例。
- OpenVLHarness 周增腰斩(+56 → +28)——印证 R110 标注的"首次采集基线跳变风险";结合 meta-harness 本轮 +0,harness 类小仓库的周增序列噪声极大,不宜用任何单一仓库的增速论证趋势。
- 被引元数据双库分歧的第二例——flyp 记录 arXiv:2606.17846 论文卡 OpenAlex 被引 0 而 Semantic Scholar 被引 64。这与 R110 的 RoboDojo(S2 69 / OpenAlex 0 / 影响力被引 16)构成同一类记录异常,直接支持既有共识 C61(被引计数需多源交叉,不可单源作证)。注意不要把"某库 0"当成"无人引用"的证据。
- "benchmark-radar" 同名项目待排重——活文档 §8 URL 列表已含
https://koutian.is-a.dev/posts/2026/09/benchmark-radar-day46,本轮新增仓库Claire1217/benchmark-radar命名族高度疑似同源。两号并列待核,不得直接合并为同一实体(沿用 R110 对 meta-harness 两个 arXiv 号的处理方式)。 - OCRia-1 分数带口径脚注,不可裸引——"olmOCR-bench 83.5 overall / 表格项 92.9"附注已按 1,288px 渲染口径调整。同一基准在不同渲染分辨率下不可直接比较,这本身是一条应当写进 §4 的口径纪律,而不只是这一个模型的注意事项。
- Anthropic 架构指南为三手转述(观点 → 推文 → 推文 → 原文)——链路是 @omarsar0 → @cherry_mx_reds → claude.com 原文,"约 2 倍提速""单 agent 常胜多 agent"两处关键结论本轮未打开原文核实。按 flyp 的评级惯例应记为
search_snippet_only级别,不得当作实证结论引用;但其"用 eval 决定是否折叠 subagent"的方法学主张本身与证据强度无关,可以作为观点收录。 - Anthropic 指南与本地实践存在张力——本仓库 AGENTS.md 明确采用"复杂任务用子代理并行、隔离上下文"的调度方式;Anthropic 的建议是相反方向(把 subagent 折回主循环、改用 skills/tools)。这不是矛盾,而是同一权衡的两端,但今晚不能因为"指南新"就顺手建议改本地架构——按指南自身的说法,决定权在 eval,不在观点。
- IBM 概念页的引用纪律(弱信号,但值得留档)——flyp 精读对象二(https://www.ibm.com/think/topics/artificial-intelligence ,证据等级
search_snippet_only)指出其把 RAG 描述为"把检索内容用于 refine the parameters",把检索与参数更新混为一谈,属明确技术性偏差;同页 Published 2024-08-09 / Updated 2026-10-02 的时间线混排未标注哪段是增补;且无署名、无参考来源。这类厂商概念页不可作为定义口径的权威来源引用——建议归 §7.5 作为"引用纪律反例",不升锚、不进方法学段。 - R110 基线之外的既有空缺仍在——R110 待核 39-42 与反问 46-52 未消(Ray 正文、meta-harness README 与编号、AutomationBench 任务集与许可、OvalEdge 三处二手转引),本轮材料没有一条能消解其中任何一条,今晚不能当作已消化。
3. 检查过的来源清单
清单内 8 件 material sources(逐件读取 materials[].source,全部有效读取):
| # | source | 处理 |
|---|---|---|
| 1 | organized/repo_cards/4577-zapier-automationbench.md |
✅ 增量 ⑥(数值刷新 + 周增/提交脱钩矛盾) |
| 2 | organized/repo_cards/4558-uclanlp-openvlharness.md |
❌ 不计增量(锚 255 沿用,仅周增回落) |
| 3 | inbox/jay/2026-10-26-1140-news-x-tech-radar.md |
✅ 增量 ①(Anthropic subagent 折叠)+ 增量 ②(OCRia-1) |
| 4 | inbox/flyp/2026-10-26T0950-critical-read.md |
✅ 增量 ③(2606.17846)+ 矛盾 3、8(IBM 页) |
| 5 | organized/paper_cards/435-2303-12712.md |
❌ 不计增量(锚 238 沿用,仅被引刷新) |
| 6 | organized/repo_cards/4576-stanford-iris-lab-meta-harness.md |
❌ 不计增量(锚 253 沿用,仅 Stars/周增刷新) |
| 7 | organized/repo_cards/008-langfuse-langfuse.md |
✅ 增量 ⑤(运行态刷新,不作新观点) |
| 8 | organized/repo_cards/4633-claire1217-benchmark-radar.md |
✅ 增量 ④(NET-new,线索型,不升锚) |
为对照脉络而读取的既有文件(只读不改):
- organized/knowledge/evaluation.md(R110 现况:§0 定调、§1.1-§1.12、§2.1-§2.3、§3 锚 213-255、§4/§6 批判、§5 共识/争议/开放问题、§7 平台与生态、§8 索引、§9 遗留清单)
- inbox/tom/2026-10-24-evaluation-e1prep.md(上一轮同主题预消化,用于判定"是否已计增量")
未做(边界说明):
- 未做全库扫描、未开网页搜索补料、未读任何论文全文 / 仓库 README / 技术报告 PDF;
- 未修改清单、基线(evaluation.md)、认领记录、其他任务文件或定时配置;未 git;未输出密钥;
- 本轮只写 inbox/tom/2026-10-26-evaluation-e1prep.md 这一个文件(整篇新建,无同名旧文件)。
4. 可引用的 arXiv 号列表
本轮材料中的新增可引用号(NET-new)
2606.17846(Qwen-RobotManip · cs.RO · v1 2026-06-16 / v2 2026-06-17 · 摘要级证据,性能数字待核)
本轮材料中出现但已属既有锚(刷新,引用时须带原判定)
2303.12712(Sparks of AGI · 锚 238 · S2 4538 / OpenAlex 1523 / 影响力被引 259)
2603.28052(meta-harness 简介所载 · 与 NLAH 2603.25723 编号不一致,两号并列待核)
与本轮论述相关、但取自活文档既有锚(作对照引用,非本轮新增)
2607.04434(RoboDojo · 锚 251 · 与 2606.17846 构成"统一载体 vs 自选基准"对照)
2603.25723(NLAH · 锚 246)
1712.05889(Ray · 历史地标 252)
本轮无 arXiv 号但有官方/一手链接 https://claude.com/resources/articles/building-agents-when-to-fold-subagents-into-your-main-agent-loop (Anthropic 原文) https://www.llamaindex.ai/ocria/ocria-1-technical-report.pdf · https://www.llamaindex.ai/blog/parse-ocria-1 (OCRia-1 报告与博客) https://www.ibm.com/think/topics/artificial-intelligence (IBM 概念页 · 仅作反例) https://x.com/omarsar0/status/2114057736363352127 · https://x.com/cherry_mx_reds/status/2113969070118666670 · https://x.com/jerryjliu0/status/2114404538652217370 · https://x.com/jerryjliu0/status/2113291928292790725
5. 今晚接力建议
- §1.3 新增"eval 驱动的架构折叠决策"小节(Anthropic 指南 + @omarsar0 的 eval-仲裁纪律)——这是活文档至今缺失的一类"评测用途";建议明确标注为厂商工程指南、二手转述、不升独立锚。
- §3 维度化指标体系新增"结构化文档解析(表格 / 图表 / 格式保真)"维度(OCRia-1 带 ParseBench / olmOCR-bench / PulseBench-Tab / fr-bench-pdf2md 四基准),并补一条口径纪律:渲染分辨率必须随分数声明。
- §6.193(1) 补"两条可比性路径"的对照:RoboDojo 统一载体收编策略(2607.04434)vs Qwen-RobotManip 自选 OOD 基准(2606.17846);同段补"缺绝对数值与方差"这一评测诚信子项。
- §7.5 收 4 条:benchmark-radar(基准元层工具,不升锚)、OCRia-1(分数转述)、IBM 概念页(引用纪律反例)、AutomationBench 周增/提交脱钩注记。
- 锚记录刷新(不新开锚):228 langfuse 36456★ / +551 weekly;253 meta-harness 1713★ / +0 weekly;254 AutomationBench 355★ / +7 weekly(提交仍 2026-08-04);255 OpenVLHarness 256★ / +28 weekly。
- §9.2 补待核:2606.17846 的 38,100 小时数据构成表与各基准绝对成功率 / 方差、权重与数据索引是否公开;OCRia-1 报告 PDF 内部数据表;Claude1217/benchmark-radar 与 koutian benchmark-radar 是否同源;meta-harness 两号关系。
- 升锚门槛:本轮 4 条 NET-new 无一具备升正式锚资质——2 条为二手转述(Anthropic 指南、OCRia-1 分数)、1 条为摘要级论文、1 条为 12★ 首次采集小工具。按 R104/R105/R110 判例,一律预备级 / 线索型 + §7.5。
status: ok(材料可整合,无 partial)——8 件材料全部有效读取并逐件给出处理结论;6 条增量均有可核查出处;3 件判定为"刷新不计增量"并说明理由。
增量条数: 6(NET-new 4:Anthropic subagent 折叠 / OCRia-1 / arXiv:2606.17846 / benchmark-radar;运行态刷新 2:langfuse / AutomationBench;另有 2 件既有锚重复出现不计增量)
涉及 arXiv 号: 2606.17846、2303.12712、2603.28052、2603.25723、2607.04434、1712.05889
本简报仅整合清单内 8 份材料及其对照脉络,不硬凑字数;矛盾处如实标注;所有观点均带出处,未核实数值一律标 ⚠️,采集态数值变化一律不作新观点。