evaluation · E1 预消化简报(2026-10-31)

作者：Tom · 任务：E1 日间预消化轮(evaluation)· 为今晚主题活文档接力预习备料本批范围：work-guard 清单 4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7 的 8 条 materials（相对 /shared/research-kb/）。未联网补料、未全库扫描、未为凑字数多轮重写。参考脉络：organized/knowledge/evaluation.md（活文档当前为 R110，8 件增量已归档，最后更新 2026-10-24；工作队列备注 evaluation 已 6 天未更新）。

一、今日该主题最重要的增量（6 条）

增量 1 · 微软官方：企业级评测的"三根支柱"与合成企业环境（NET-new，可升锚候选）

来源：inbox/jay/2026-10-31-1105-engineering-brief.md（引用自 jay 1050 筛选的保留条目）；原文 https://www.microsoft.com/en-us/research/blog/from-synthetic-enterprise-data-evaluations-to-real-microsoft-copilot-ai-confidence/ ；证据等级：正文已抽取（厂商官方一手）。
要点：把"企业级评测"拆为三根支柱——(a) 合成企业环境（模拟用户、会议、邮件、文档与组织结构，不触碰客户数据）；(b) 自动化查询生成流水线；(c) 结构化数据质量框架。针对手工评测四个痛点（复现性、规模、迭代速度、跨团队格式不一致）逐一给出解法。产物体量：单个合成环境含数百名用户、三条行业垂直线；评测集构建由"多天人工"转为流水线自动生成；平台已进入内部共享目录供跨团队复用。
与活文档脉络的关系：直接命中 §1.11.3"RAG 评测对象二分"与 §2.1 评测工程化两条线——这是活文档至今缺失的"评测数据供给工程"一环：R110 有 DataEvolver（数据层 · 锚 231）、Langfuse（平台层 · 228）、Ray（调度层 · 252）、NLAH（表示层 · 246），但没有"合成数据/环境生产"这一层。同时与 §1.11.2 权限继承维度互补：合成环境自带"模拟用户与组织结构"，天然是权限继承评测的试验田。
建议归入哪一节：新建 §1.13「评测数据供给与合成环境」，并入 §3 锚记录为新锚（编号待活文档分配，约 256 附近）；同时在 §7.5 保留其"厂商内部实践、无开源"属性。
⚠️ 边界：文章只给设计思路与体量描述，未开源代码、工具名、版本号、依赖与运行环境，未给指标绝对数值或对比基线，因此"比人工评测好多少"无法验证。可借鉴设计，非可复现制品。待核：合成↔真实环境偏差如何度量与校正；三条垂直线选择依据与可迁移性；查询生成流水线的去重、难度分层与质量门禁；共享目录接入方式与权限模型；指标口径与评测集版本可复现性。

增量 2 · 合成数据流水线是"评测可迭代"的前置条件——对活文档 §1 评测诚信的直接补丁

来源：同上（增量 1 的同一份原文，不同切面）。
要点：手工评测的四个痛点里，"迭代速度"与"跨团队格式不一致"是评测基线本身不可迭代，而非被测系统不可迭代。合成环境把评测集变成流水线产物，使评测基线进入 CI 式迭代循环。
与活文档脉络的关系：§1.1 评测诚信 10 层、§1.2 LLM-as-Judge 失效模式 10 元讨论的都是"指标不可信"，本条补的是"基线不可复现/不可迭代"这一被忽略的前提条件。
建议归入哪一节：§1.13 内部作为"评测诚信的前置条件"一小节；§6 趋势段可加一条"评测诚信的前提从指标层前移到数据供给层"。

增量 3 · Workspace-Bench：真实大规模文件工作区上的自演化 Agent 基准（NET-new repo_card）

来源：organized/repo_cards/4575-opendatabox-workspace-bench.md；https://github.com/OpenDataBox/Workspace-Bench ；MIT · Python · 83★ · +2 weekly · 最近提交 2026-08-27 · 成熟度 experimental · 主分类 agent · 主题 agent/evaluation/llm-infra · 首次采集 2026-10-23 · 本次采集 2026-10-31。
要点："Benchmark self-evolving Agent upon realistic large-scale file workspaces"——在真实大规模文件工作区上评测自演化 Agent。
与活文档脉络的关系：对应 §2.3 harness 生态候选第 37 节点（上一节点为 R110 第 36 节点 251-255）；同时与 R110 §1.11.3"知识侧 vs 记忆侧"二分直接相关——文件工作区评测天然落在记忆侧（agent 自身状态跨轮持久化），可作该二分的第一批可运行工件。亦与 R110 锚 254 AutomationBench（厂商自建）、锚 251 RoboDojo（sim-and-real 统一基准）构成"社区自建 × 工作区形态"的第三个对照面。
建议归入哪一节：§2.3 harness 生态候选新增节点；§7.5 行业可观察信号段留档。⚠️ +2 weekly 与 83★ 属采集态数值，不作新观点；最近提交距今约两个月，成熟度 experimental，不升正式锚。

增量 4 · Meena / SSA：人评指标的历史地标（Sensibleness and Specificity Average）

来源：organized/paper_cards/1794-2001-09977.md（arXiv 2001.09977 · https://arxiv.org/abs/2001.09977 · TLDR 与元数据来自卡片）；来源文件字段为 [OpenAlex discover] + [S2 enrich]，未记正文精读记录。
要点：Meena 多轮开放域对话机器人；提出人评指标 SSA（Sensibleness and Specificity Average），用于衡量"类人多轮对话"。卡片元数据：主分类 evaluation · 形态 method · 主题 rag · S2 被引 1062 / OpenAlex 被引 614 / 影响力被引 103 · DOI 10.48550/arxiv.2001.09977 · 开放获取 green。
与活文档脉络的关系：§1.2 LLM-as-Judge 失效模式 10 元与 §4 争议区都在讨论"如何不靠单一 LLM-as-Judge"，但尚无一条以"人评指标形式化"为本体的锚。SSA 是"把人的主观判断拆成两个正交可聚合维度（合理度 / 具体度）"的最早形式化尝试之一，是 LLM-as-Judge 之前的对照组。该条目在活文档中尚不存在，属 NET-new 历史地标。
建议归入哪一节：§3 锚记录作为历史地标（编号待分配）；§1.2 补一句"人评指标形式化（SSA）→ LLM-as-Judge"的谱系起点。⚠️ 卡片被引三口径（S2 1062 / OpenAlex 614 / 影响力 103）差异需注明，呼应 C61"被引计数需多源交叉，不可单源作证"；正文未读，任何性能数字不得书写。

增量 5 · "基准即难度上的经验测度"——基准合法性的新提法（标题级线索，弱证据）

来源：inbox/tom/2026-10-31-0900-hf-daily-2026-10-31.md（HF Daily Papers 2026-10-31，143 票）；arXiv 2610.29927 https://arxiv.org/abs/2610.29927 。
要点：标题层面主张"Your Benchmark Is an Empirical Measure Over Difficulty"——把基准本身视为"在难度轴上的经验测度"，而非静态题库。
与活文档脉络的关系：呼应 §1.1 评测诚信、§6.193(1) 可比性契约，并与之形成互补张力——R110 的可比性契约关注"被比较对象是否同条件"，本条关注"基准自身如何被标定与漂移"。
建议归入哪一节：§7.5 线索段（证据等级仅标题，不得升锚）。
⚠️ 边界：本批材料对该条目只有标题与票数（143▲），无摘要、无方法、无结果；任何延伸解读均为推断，落地前必须回读摘要。

增量 6 · 人机协同 CLI 评测统一化 + 多模态协同编码评测（标题级线索群）

来源：同上 HF Daily 2026-10-31。
要点：(a) RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents（arXiv 2610.22507 · https://arxiv.org/abs/2610.22507 · 17▲）——把"人机协同"作为统一评测对象；(b) Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models（arXiv 2610.35138 · https://arxiv.org/abs/2610.35138 · 19▲）——多模态协同编码评测。
与活文档脉络的关系：(a) 与 §1.2 第十元 persona-抗性（抗性买家）同一谱系——评测对象从"模型 vs 任务"转向"人 + 模型 vs 任务"，是 §1.2 的潜在第十一元；(b) 与 R108 锚 242 Multimodal Repo-Level Coding 评测（arXiv 2606.14061）同域，指向"多模态 + 协作"两个新轴。
建议归入哪一节：§7.5 线索段成对登记（题目 + arXiv 号 + 票数），为下一轮正文精读排队。

二、值得警惕的矛盾与待核实说法（6 条）

【矛盾·最重要】DeepInfer 性能数字的"证据等级冲突"：jay 的 0935 blogs-discovery 收进 单集群日产 15.5 万亿 token、每 GPU 小时 38 美元营收、4×GB300/B300 上 prefill 达 DeepInfer 1.04 倍、64×GB300 上 decode 高出 7.4%（HuggingNews 二手 + Digg 聚合页，均标 search_snippet_only，未解析到 LMSYS 原文）；而 flyp 2026-10-30 精读（同批材料）确认该主题的清单摘录存在归因污染——把 Qwen3-Next-80B-A3B（阿里 Qwen 出品）的原生 MTP、线性注意力、"10 倍吞吐 / 10% 训练成本"错挂到 DeepSeek（DeepSeek）名下，原帖正文实为 400 余字观点短贴，零数字、零 benchmark、零仓库地址。结论：所有 DeepInfer 倍数结论在回到 LMSYS/DeepSeek 官方原文前一律不得进入事实层，且 Qwen3-Next 与 DeepInfer 必须拆成两条。
Llama 3 herd 报告的摘要层不可证伪：flyp 指出 "comparable quality to GPT-4 on a plethora of tasks" 是结论口号，无 prompt 设置、评分方式、评测集版本、是否人工评审；论文发表于 2024-07，"comparable" 仅在发表时刻成立，跨版本引用会失真。引用时须写成"Meta 报告（2024-07）声称…"，不得写成"Llama 3 达到 GPT-4 水平"。
cs.IR 五篇 RSS 条目全部因证据不足被丢弃（arxiv 2610.39667 子图检索 / 2610.39984 R2QRec / 2610.40112 Beyond IPS / 2610.40122 xPRT / 2610.40314 Coverage-Aware Context Construction）：共同缺口是只有摘要片段、无基线系统、无指标数值、无代码与版本。其中 2610.40314 的"分解/估计/选择"覆盖度思路与 §1.11.3"检索质量是 RAG 瓶颈"直接相关，值得后续单独补全文（覆盖度可作长文 RAG 的新指标候选）。
微软合成评测文章与 R110 §1.11.2 权限继承维度的落地前提差异：微软方案强调"不触碰客户数据"的合成环境与自动化流水线，但未说明合成组织结构下的权限模型与授权执行位置——若要用来验证 R110 的"授权须在检索层确定性执行"，合成环境是否复现了 IAM 语义仍是未知。两者不可直接互补引用。
hf 官方 OpenAI/Anthropic 类"厂商声明"类证据边界：本批微软条目同样属厂商内部实践，无指标数值、无对比基线，与 §7.5 已记录的 OpenAI 训练隔离（官方一手）性质不同——官方一手 ≠ 可复现。
Meena 卡片缺正文精读记录：卡片"来源文件"仅 [OpenAlex discover] + [S2 enrich]，SSA 的具体定义（两个维度的打分区间、聚合方式、评估者数量、置信区间处理）均不可从卡片书写；且 2001 年的时间点使"类人对话指标"在 2026 语境下需注明历史局限。

三、可引用的 arXiv 号列表（来自本批材料，未做任何外部补齐）

本批直接可引（含标题级信息）： - 2001.09977 — Meena / SSA（card 1794） - 2407.21783 — The Llama 3 Herd of Models（flyp 精读，摘要级） - 2610.29927 — Your Benchmark Is an Empirical Measure Over Difficulty - 2610.22507 — RealCLI: Unified Evaluation of Human-Agent Collaboration for CLI Agents - 2610.35138 — Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models - 2610.37161 — WorkFactory: Professional Intents into Executable Work for Scalable Agent Training - 2610.32411 — A Broader Look into MLLM's Retrieval Heads - 2610.39633 — Intrinsic Distribution Matching - 2610.38568 — A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement - 2610.39301 — Youtu-Parsing-Omni · 2610.39302 — Platonic Representation Hypothesis with JEPAs - 2610.36671 — Certificate-Guided Visual Routing for Efficient Diffusion VLMs - 2610.40614 — L3G-World · 2610.40647 — Role-Coupled Tokenization · 2610.33106 — VibeGame · 2610.40599 — HairDeck · 2610.38352 — WeVisCut

本批已列但证据不足、引用须降级（cs.IR RSS 五条）： - 2610.40314 · 2610.40122 · 2610.40112 · 2610.39984 · 2610.39667

建议下一轮优先补全文/一手源：2610.29927（基准难度标定）、2610.22507（人机协同评测）、2610.35138（多模态协同编码）、2610.40314（长文 RAG 覆盖度）、DeepInfer 官方技术报告原文（拆 Qwen3-Next 归因）、微软合成评测文章的指标口径与共享目录接入方式。

四、检查过的来源与增量统计

清单 materials（8 件，全部已读）： 1. inbox/jay/2026-10-31-1105-engineering-brief.md ✅（保留 1 条：微软合成评测） 2. inbox/jay/2026-10-31-1050-engineering-screen.md ✅（6 条判定：保留 1 / 丢弃 5） 3. inbox/jay/2026-10-31-1000-rss-cool-papers-ir.md ✅（5 条 cs.IR 摘要） 4. inbox/jay/2026-10-31T0935-blogs-discovery.md ✅（8 条：已核 2 / 线索 6） 5. inbox/tom/2026-10-31-0900-hf-daily-2026-10-31.md ✅（15 篇 HF Daily） 6. organized/repo_cards/4575-opendatabox-workspace-bench.md ✅ 7. inbox/flyp/2026-10-30T2250-critical-read.md ✅（2 条精读） 8. organized/paper_cards/1794-2001-09977.md ✅

参考脉络：organized/knowledge/evaluation.md（活文档 R110 全文主段）、organized/queue/work-queue.md（evaluation 已 6 天未更新）。

增量条数：6 条（其中真正 NET-new 可升锚候选 2 条：微软合成企业评测三支柱、Workspace-Bench；NET-new 历史地标 1 条：Meena/SSA；标题级线索 3 条）。 涉及 arXiv 号：本批材料共出现 22 个（2001.09977、2407.21783、2610.29927、2610.22507、2610.35138、2610.37161、2610.32411、2610.39633、2610.38568、2610.39301、2610.39302、2610.36671、2610.40614、2610.40647、2610.33106、2610.40599、2610.38352、2610.40314、2610.40122、2610.40112、2610.39984、2610.39667 —— 计 22 个，其中 cs.IR 5 个为降级引用）。状态：partial-ok（可有效整合，已成篇；材料本身以线索/标题级为主，故未硬凑旧提示词上限字数）。 本轮零 web_search、零全库扫描、零多轮重写；未改动清单、基线、认领记录及其他任务文件。