evaluation · E1 预消化简报(2026-11-04)

  • 清单：organized/indexes/work-guard/4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7.json（items 1 / materials 8；created_at 1793778001、expires_at 1793781601，本轮在有效期内）
  • 本批范围：仅 8 份 materials 逐条读取；inbox/jay/2026-11-04-1000-rss-cool-papers-ir.md、inbox/jay/2026-11-04T0935-blogs-discovery.md、organized/paper_cards/1825-1502-05698.md、organized/repo_cards/4575-opendatabox-workspace-bench.md、inbox/flyp/2026-11-03T2250-critical-read.md、inbox/jay/2026-11-03T1735-blogs-discovery.md、inbox/jay/2026-10-31-1105-engineering-brief.md、inbox/jay/2026-10-31-1050-engineering-screen.md
  • 活文档：organized/knowledge/evaluation.md（R110 全文主段，10 天未更新）+ organized/topic_pages/evaluation.md + organized/knowledge/archive/evaluation-changelog.md
  • 增量条数：6 条（另列 8 条登记级/线索级，不计入增量）
  • 涉及 arXiv 号：12 个（见第四节；含 10-31 筛选材料中已在他轴登记备查的 5 个）
  • 本轮零 web_search、零全库扫描、零多轮重写；未改动清单、基线、认领记录及其他任务文件。

一、今日该主题最重要的增量（6 条）

增量 1 ★★★ 2611.03179 Every Clause Counts / DMReranker —— 新指标族 WISE + SICR，以及一个更要紧的发现：指标口径自己会翻转方法排名

  • 来源：inbox/jay/2026-11-04-1000-rss-cool-papers-ir.md（papers.cool cs.IR RSS）· https://papers.cool/arxiv/2611.03179 · 本班已用 arXiv 官方 API 一手取回摘要全文（标题/提交日 2026-11-02/摘要）· 活文档 0 命中（本主题首次出现）
  • 要点：把"带指令的查询"拆成主题 + 若干带类型的子句，用小 judge 模型对每个子句只回答一个窄问题，把答案概率相乘成单一分数（DMReranker，零训练，配置在测试前冻结）。配套新指标 WISE（Weighted Instruction Sensitivity Evaluation，六个维度）与 SICR（Strict Instruction Compliance Ratio）。摘要给出的一手数值：InfoSearch 上 GPT-4o 作 list-wise reranker 的 macro WISE 仅 33.5；DMReranker macro WISE 50.9，原模式 nDCG@10 保持 82.9；但在更严的 SICR 上 DMReranker 19.2 落后 GPT-4o 的 32.1——论文归因于"概率乘积在跨次运行比较原始分数时的行为"，改为按名次计算后其 SICR 为 67.0；同一 judge 下把指令拆开使 WISE 从 32.9 升到 47.6，而原始分数口径的 SICR 反而下降；六个维度评完约 $10。
  • 与活文档脉络的关系：§3 维度化指标体系此前多以"新测量对象"扩张（锚 213-219 一路是临床使用分歧、人设抗性、novelty×quality、长尾性能），本篇是第一次把"指标本身的构造口径"作为可比性对象——同一个方法在两种 SICR 口径下名次相反，这正是 R110 §6.193(1) 具身基准"可比性契约"、以及 R104 锚 220 NoLiMa"目标失真"在指标层的同构问题（失真不只来自被测对象，也来自指标定义）。另与 §1.2 LLM-as-Judge 失效模式咬合：本篇把 judge 从"给整体分"改成"逐子句窄问 + 概率"，是对 judge 粒度失真的工程性规避。
  • 建议归入：§3 新增一条"指标口径敏感性"（与 WISE / SICR 两个指标名一并登记）；§1.1 评测诚信加一条"指标定义漂移"作为失真来源之一；§1.2 记一句"judge 粒度收窄可显著改变结论"。
  • ⚠️ 边界：仅摘要级；未读 PDF，未见六维度定义细则、judge 模型型号、InfoSearch 基线构成与显著性检验；"成本约 $10"未说明是否含 judge 推理全部开销。不可外推任何"提升 X%"到其他任务。

增量 2 ★★★ 2611.03196 Dhārā Bench —— 检索评测从"找到片段"推进到"证据成套"（CE_Recall / CE_MRR）

  • 来源：同上 RSS · https://papers.cool/arxiv/2611.03196 · arXiv API 一手摘要已取回（提交日 2026-11-02）· 活文档 0 命中
  • 要点：面向印度知识体系（IKS）的证据导向检索基准：325 题 / 12 类 / 60,121 文本块 / 15 个来源组；类别由 Dhārā 应用收到的 4,500 题发展而来，评测集 = 语料对齐的应用查询 + 专家补充问题；标注含 7,578 条 query-chunk 相关链接（覆盖 6,847 个不同块）；34 道复合/多跳题配有 401 个 "conjugate groups"——每组给出一组可共同支撑该题的替代证据集。摘要给出的固定 BM25 基线（Pyserini，k1=0.9、b=0.4）：MRR@20 0.315、Recall@10 0.182、nDCG@10 0.205；在 group 标注子集上 complete-evidence 指标 CE_Recall@20 0.294、CE_MRR@20 0.141。摘要明确点出两处被拆开看到的差距：经文（verse）检索最弱，以及"找到单个段落"与"补齐其全部支撑"之间存在缺口。语料与评测代码开源（github.com/Avinash2236/Dhara-Bench）。
  • 与活文档脉络的关系：直接接上 R110 §1.11.3 的"RAG 评测对象必须先声明落在知识侧还是记忆侧"——本篇把知识侧再切一刀：从"检索命中"切到"证据成套命中"（CE_ 指标族），而"段落命中但支撑不全"正是 R110 §1.11.2 权限继承正确性（授权须在检索层确定性执行）之外的第二种检索侧失真：不是拿到了不该拿的，而是拿到了却不足以支撑结论。对锚 226（长文档评测粒度）与锚 224（IR 评测证据路径维度）是同一族问题的更细颗粒版本，且本篇带开源语料与代码*，可复现性高于本库多数邻接件。
  • 建议归入：§3 新增"证据完备性"指标族（CE_Recall@K / CE_MRR@K）；§1.11.3 增补"知识侧的第二种失真：支撑不完整"；§2.1/§2.3 可作"可运行评测工件"登记（语料 + 代码 + 固定基线三件齐）。
  • ⚠️ 边界：仅摘要级；未读 PDF；conjugate group 的判定规范、专家标注流程与一致性（kappa）未见；IKS 语料对通用 RAG 评测的外推有限（语种/领域特化）。

增量 3 ★★ 评测可分解性的历史纵深补齐：1502.05698（2015，bAbI 前置玩具任务）+ 2107.03374（2021，Codex pass@k）

  • 来源：organized/paper_cards/1825-1502-05698.md（card 1825）· https://arxiv.org/abs/1502.05698 · 卡片一手读数：S2 被引 1316 / OpenAlex 669 / 影响力 151，主分类 evaluation、形态 method、OA green、OpenAlex 更新 2026-11-03、待 LLM 分类：否、卡片带 TLDR（"用一组通过问答来评估阅读理解的代理任务，并归类成技能集，让研究者能定位并修正系统短板"）。inbox/flyp/2026-11-03T2250-critical-read.md 的 2107.03374 精读（arXiv abs 元数据 + paper_card 摘要级）· https://arxiv.org/abs/2107.03374（card 436：S2 12497 / OpenAlex 1436 / 影响力 1871，主分类 evaluation）。
  • 要点：bAbI 把"机器是否理解自然语言"这一模糊命题拆成 20 个各考一件事的合成 QA 任务，用统一世界模拟器自动生成标注，使每个任务成败可无歧义地映射回一条具体能力；主张是"可诊断性"，类比软件工程的单元测试。Codex 论文把"模型能否写代码"转成单元测试作 oracle 的自动判定问题，并确立 pass@k 为该领域标准评测语言，摘要要点名的发现是"重复采样"对困难 prompt 意外有效。
  • 与活文档脉络的关系：本库评测方法学的历史回溯此前只到 R62 的 ILSVRC（2014）与 2610.13695（ToER 粒度）；这两件把纵深一次补到两端：2015 年的"评测单元可分解"（每题只考一件事 → 失败可归因）与 2021 年的"求解预算可分解"（pass@k = 采样次数 × 单次通过率），恰好是本主题两条最基础的设计原理的最早成文表述。二者共同对应 R110 §1.11 开头那句"评测的第一性问题不是分数准不准，而是被比较的对象是否真的在同一条件下被比较"——bAbI 管的是"被测能力是否被拆干净"，pass@k 管的是"被比较的预算是否被对齐"。
  • 建议归入：§1.x 或 §3 增设"历史地标"两行（沿用 §1.12 Ray 的写法：一行一个、标年份与证据等级）；§2.1 计数表不必动（历史件不增套件数）。
  • ⚠️ 纪律：两件都是经典回召，不是当期方法学增量——被引量级高不构成今日增量（沿用 R62 对 ILSVRC 的处理纪律）。1502.05698 此前已在 multimodal 轴由 flyp（2026-11-03）作为经典回召登记过；今日在本轴属首次出现，引用时须写"本轴首次"，不得称"全库首次"。另 2107.03374 已见于 inbox/tom/2026-07-21-evaluation-e1prep.md 的副分类清单（序号 436，R23 已收录）——今日的增量不在论文本身，而在 flyp 的批判性读法（见增量 4）。

增量 4 ★★ Codex 批判性读法 + Sim 四阶段失败点拆解 —— 三条可直接写进 §1.1 的具体失真机制

  • 来源：inbox/flyp/2026-11-03T2250-critical-read.md（flyP · 2026-11-03 22:50 · 证据等级 paper_card_abstract + 1 次 arXiv abs 页核查）· 同篇第二条为 https://www.sim.ai/library/best-ai-agents-for-data-extraction-and-rag-in-2026（search_snippet_only → 正文已抓前段约 25%–30%）
  • 要点（三条对 evaluation 主线有直接用处的批评）：① oracle 弱化——以单元测试通过为真值，会把"通过弱测试但语义错误"计为成功，系统性高估真实可用性；② 预算—成本线性耦合——k 增大使单题成本线性上升，而摘要未给任何成本-收益折中；③ 去污染未说明——若题目与训练数据同源泄漏则 pass@k 虚高，摘要未涉及。Sim 侧的可取之处是阶段化失败归因：把 data extraction / retrieval / RAG / agentic RAG 四阶段与各自"常见失败点"分开，主张"选型依据是系统最可能在哪里失败"，并给出一份生产化清单（可观测失败点、版本化 prompt/配置、可重复测试运行、敏感值脱敏、可回滚）。
  • 与活文档脉络的关系：① 正是 R104 锚 220 NoLiMa"评测失真四维度"之外可以补上的第五类失真：真值/判据本身不完备（前四类是目标失真、联合优化、环境破坏、长上下文脱节）；② 把"预算对齐"从方法学口号变成成本轴，与 R103 锚 215 Generative DMD matched-budget、锚 218"成功率 vs 评估时间预算"同族；③ 与 §1.11.2 检索侧合规、§1.11.3 知识/记忆二分共同指向同一个落点：评测必须声明"判据从哪来、成本花在哪、对象落在哪一侧"。四阶段失败点拆解亦可作为 R110 归因方法的工程侧补充（R110 §6.193(1) 已讨论基准污染与冻结）。
  • 建议归入：§1.1 评测诚信加"判据不完备 → 高估"与"预算—成本耦合"两条；§4 评测方法学批判可引 a/b/c 三点作为 Codex 的批判性条目（标明摘要级）；Sim 四阶段表进 §1.11.3 作弱证据的阶段化归因参考。
  • ⚠️ 边界：Codex 全篇未读方法与实验正文、未复现任何数字，不得引用任何具体分数（被引数为卡片字段，仅作影响力参考）；Sim 是厂商自评，其 1–4 排名与"Best fit"比较无任何对照测量，正文自称"No ranking can replace a representative evaluation"却仍给排名，自相矛盾，排序不可作选型依据。

增量 5 ★ 2611.03113 —— 推荐系统里的"评测要联合看三件事"：效用 / 输出行为 / 人口统计敏感性

  • 来源：同上 RSS · https://papers.cool/arxiv/2611.03113 · arXiv API 一手摘要已取回（提交日 2026-11-02）· 活文档 0 命中
  • 要点：研究微调数据的预处理选择如何影响生成式推荐系统的效用与公平相关行为。先建立受控流水线（监督微调 + 目录约束解码 + prompt 增强），再考察三个预处理选择：item 标题表示、群体平衡、辅助知识增强。摘要一手数值（MovieLens-1M）：目录约束解码消除越界 item 并保证完整十项输出；prompt 增强改善 prompt 一致性与效用；原始 MovieLens 标题使 HR@10 从 10.67% 升到 12.47%、Coverage@10 从 41.36% 升到 47.88%。公平效应依属性而异：年龄平衡与知识增强降低群体间效用差距且大体保住效用，而性别平衡降低效用却未改善所评估的性别指标。摘要结论句明确要求：预处理选择应在效用、输出行为、人口统计敏感性三方面联合评估。
  • 与活文档脉络的关系：对应本主题 §1.1"评测诚信"里尚不成形的两条——输出有效性（目录约束解码把"格式合法/不越界"变成可自动判定的性质，这是 LLM 评测中少见的"硬约束可判定"范例）与群体敏感性（把"用哪个群体的数据微调"变成评测变量，而不只是数据工程问题）；也接上锚 225 PR-entmax"推荐系统评测偏差校正"这一既有邻接位。
  • 建议归入：§1.1 或 §3 增一条"评测的联合报告义务（效用 × 输出行为 × 群体敏感性）"；具体数值只作该论文自身结论引用，不外推到别的语料/任务。
  • ⚠️ 边界：仅摘要级；MovieLens-1M 是极小规模老数据集，HR@10 提升 1.8pp 属该设置内的差值，不足以支撑普适效率结论；未说明所用生成式推荐骨干与具体微调规模。

增量 6 ★ 推理栈成为评测可比性的新混淆变量，以及一个自带评测闭环的 LLMOps 工件

  • 来源：inbox/jay/2026-11-04T0935-blogs-discovery.md（Jay · 2026-11-04 09:35 · 5 条线索，2 条已读原文）· https://github.com/RantAI-dev/RantAI-LLMOps（README 全文已读）· https://www.ajayk.sh/blog/llm-inference-engines-vllm-sglang-tensorrt-2026（正文前半段已读，版本表已核）
  • 要点：① RantAI-LLMOps 把"训练 → 评测 → 服务"串成可运行控制台——真实做 LoRA 微调（Unsloth/TRL）、真实跑 EleutherAI LM-Eval-Harness 基准、对运行中的 vLLM 做 adapter attach/detach、决策模型带概率输出并给出 ECE / Brier 校准指标；README 明确声明部分功能为 mock 并在 UI 打红点标记（少见的能力边界诚实标注）；还记录了为 DGX Spark（GB10, sm_121）把 load_in_4bit 改 False、默认 BF16、adamw_8bit 改 adamw_torch 的踩坑（4bit/bitsandbytes 内核在 sm_121 上停滞）。② Ajay Kumar 篇已核实版本表（时点 2026-10-31）：vLLM v0.32.0（10-18）、SGLang v0.5.22（10-19）、TensorRT-LLM v1.2.1 stable（4-20）与 v1.4.0rc2（10-28）、Dynamo v1.6.1（10-27）、llama.cpp v0.8.0（10-28）、TGI v3.3.7（2025-12-19）；确认 TGI 已进入 maintenance mode、仓库归档、README 开头告警，推荐迁往 vLLM/SGLang 或 llama.cpp/MLX；并解释 continuous batching / PagedAttention / RadixAttention 三个共同底层机制如何影响基准解读。
  • 与活文档脉络的关系：这直接补上 R110 §6.193(1) 可比性契约里一直缺的一块：被比较对象是否在同一条件下被比较——除了"同 harness、同提示、同预算"，还有"同推理栈"：同一模型在不同引擎与批处理/分页策略下，吞吐、延迟乃至部分指标口径都可能不同，跨引擎横比的榜单数字因此不可直接对齐。RantAI 侧则给出一个评测闭环已跑通的单工件（含 calibration 指标 + 诚实标注 mock 边界），与 §2.1/§2.2 的 harness 生态候选、CI Gate 叙事直接咬合；§2.2"评测平台与 CI Gate"谱系（R105 Langfuse 228 → R110 四阶纵深）可考虑收进这一类"训练—评测—服务一体"工件。
  • 建议归入：§1.1 或 §6.193 增一条"推理栈是评测的隐藏自变量"；§2.3 harness 生态候选新增节点（RantAI-LLMOps，标注"含 LM-Eval-Harness 真跑 + ECE/Brier 校准 + mock 边界标注"）；§7.5 行业可观察信号段留档 Ajay 篇的版本基线（TGI 归档为既有结论的延续，非新信号）。
  • ⚠️ 边界：RantAI README 未给实测吞吐/延迟数据，Transformer Lab 后端、决策模型能力、SGLang 路径均未验证；Ajay 篇基准数字与后半段推荐配置未读，性能主张多为引用他人基准、作者自述未复现；版本号有时效性，10-31 之后可能已变。

二、登记级 / 线索级材料（不计入增量，仅留档）

  1. Workspace-Bench（organized/repo_cards/4575-opendatabox-workspace-bench.md）：重遇（10-27、10-31 两份 e1prep 已收），本次仅 ★82→84、周增 +2、最近提交仍 2026-08-27、上次采集改为 2026-11-04——纯采集态数值变化，不作新观点；仍不升正式锚（experimental + 无 README 证据）。另该件 README 未读，"self-evolving"是否意味着基准内含自适应任务生成仍未核。
  2. SparkFabrik《Enterprise RAG》（inbox/jay/2026-11-03T1735-blogs-discovery.md）：厂商市场页，其"企业 RAG 评估条目"（按业务单元分权、每答带出处与页码、模型可替换、数据留在欧盟、成本上限告警、用真实问题做回归评测）可作选型清单参考；无基准、无代码、无版本，所称开源模块（AI Guardrails / MCP Client / Typesense RAG recipe）仓库与许可均未取证——不作证据。
  3. Microsoft 合成企业评测三支柱（inbox/jay/2026-10-31-1105-engineering-brief.md）：重遇（2026-10-31 evaluation e1prep 已收为正式增量），今日材料是同一篇的简报复述，不构成新观点；其未决项（合成环境与真实环境的偏差如何度量、自动查询流水线的去重与难度分层）继续挂待核。
  4. 2611.03272 HERO（Diverse-Teacher On-Policy Distillation，生成式推荐；含 1688 首页 15 天 A/B 线上 GMV +3.412%）：方法学邻接，本主题首次出现但无评测方法学增量，仅可作"线上 A/B 也是一类评测证据"的登记级线索。
  5. 2611.03068 PACERec（LLM item embedding 的协同证据渐进适配，长尾 item）：方法学邻接，登记级。
  6. 10-31 筛选中被丢弃的 5 篇（inbox/jay/2026-10-31-1050-engineering-screen.md）：2610.39984 R2QRec、2610.39667 多跳子图检索、2610.40314 覆盖感知上下文构建、2610.40112 无 logged propensity 的反事实评估、2610.40122 xPRT 跨段检索预训练——excerpt 残缺、无基线无数值，维持丢弃。其中 2610.40112（IPS 失效→反事实评估）与 2610.40314（覆盖度）标题与本主题"离线评测有效性/覆盖度"邻近，但证据不足，不升锚，保留编号备查。
  7. Ajay 引擎篇之外的 3 条推理栈线索（inferrs/llmman README、theretrofit 分层地图、wickey 推理战）均只有搜索摘要；其中 inferrs 一条还存在"标题仓库 llmmanorg/llmman 与 URL 仓库 ericcurtin/inferrs 不一致"的归属问题，一律不引用。

三、值得警惕的矛盾与待核实说法

  1. ⚠️ 指标口径可翻转名次（本批最高价值警告）：2611.03179 中 DMReranker 在 SICR 上落后 GPT-4o（19.2 vs 32.1），改按名次计算后反超（67.0），且同一 judge 下"拆指令"使 WISE 升（32.9→47.6）而原始分数 SICR 降——同一方法在同一套件上可因指标构造方式而得出相反结论。今晚若引用任何"某重排器优于某基线"的结论，必须同时写明指标口径；本库 §3 现有指标登记（锚 213-219）目前均未记口径敏感性，建议补记。
  2. ⚠️ 卡片字段 24 小时内被改写，跨轴口径需重核：organized/paper_cards/1825-1502-05698.md 现读数为主分类 evaluation / 被引 S2 1316 / 有 TLDR / 待 LLM 分类 否，而 flyp 2026-11-03 的 multimodal 简报记录的是主分类 engineering / 被引 669 / 无 TLDR / 待 LLM 分类 是。同一卡片两处读数冲突，说明其间被 LLM 精修 + S2 补齐。今晚引用须以现卡为准并标注该冲突，同时说明"本轴首次收录"而非"全库首次"（multimodal 轴 2026-11-03 已有）。
  3. ⚠️ 厂商自评与自相矛盾：Sim 文章正文自称"No ranking can replace a representative evaluation"却仍给出 1–4 排名，且全文围绕自家产品构建对比维度、抓取段落中无一条比较结论指向独立验证——排序是编辑主张，不得作选型依据。Microsoft 合成评测文章同为厂商内部实践，未开源代码/工具名/版本，只可作可借鉴设计。
  4. ⚠️ 摘要级结论的悬空：Codex（2107.03374）未读正文，"pass@k 优越性"与"重复采样有效"在严格测试集（如 HumanEval+ 类修正集）上是否成立未核；2611.03179 / 2611.03196 / 2611.03113 三件均仅摘要级，未见显著性检验、基线完整性与标注一致性指标。
  5. ⚠️ 规模与外推：Dhārā Bench 的语料为印度知识体系特化（经文检索尤其弱），CE_ 指标族外推到通用 RAG 需谨慎；2611.03113 的 HR@10 +1.8pp 出自 MovieLens-1M 这一极小规模老数据集；上述任何数值都不可跨语料/跨任务引用*。
  6. ⚠️ 工程件的可运行性未证：RantAI-LLMOps 自称跑 LM-Eval-Harness 与 ECE/Brier 校准，但未给实测吞吐/延迟，Transformer Lab 后端与决策模型能力未验证；Ajay 篇基准数字未读、性能主张作者自述未复现——两者都只能作"存在这种工程形态"的信号，不能作性能或可靠性证据。
  7. ⚠️ 采集态数值纪律：Workspace-Bench ★84 / +2 与本批其他 star、版本号变化均不作新观点；同理，被引量级高（如 Codex S2 12497、bAbI S2 1316）不构成当日方法学增量。

四、可引用的 arXiv 号列表（均出自本批 materials；未做任何外部补齐）

  • 本批增量相关（一手摘要已核 3 个，卡片/笔记级 2 个）：2611.03179（Every Clause Counts · WISE/SICR · arXiv API 已核）· 2611.03196（Dhārā Bench · CE_Recall/CE_MRR · arXiv API 已核）· 2611.03113（Preprocessing Choices · 效用/输出行为/群体敏感性 · arXiv API 已核）· 1502.05698（bAbI 前置玩具任务 · card 1825 · S2 1316）· 2107.03374（Codex / HumanEval pass@k · card 436 · S2 12497）
  • 登记级线索（本批首次出现于本主题，未升锚）：2611.03272（HERO）· 2611.03068（PACERec）
  • 仅作待核编号备查（10-31 材料，已在他轴登记备查，excerpt 残缺）：2610.39984 · 2610.39667 · 2610.40314 · 2610.40112 · 2610.40122

另在正文中作为既有脉络对照被提及（非本批材料）：2610.13695（ToER 粒度，R62 回溯锚）。

五、给今晚 evaluation 活文档（R111）接力的一句话判断

本批净增量不在"又多了一个基准"，而在两处口径的收紧：一是指标口径本身成为可比性对象（2611.03179 证明同一方法可因 SICR 构造方式而名次相反，§3 现有锚 213-219 均未记此风险）；二是判据与预算被追问（Codex 的弱 oracle 高估与 k—成本线性耦合、Sim 的阶段化失败归因、2611.03113 的"效用×输出行为×群体敏感性"联合报告义务）。2611.03196 提供了一件语料+代码+固定基线齐备的可运行工件，可作 §2.1/§2.3 的实质增量（比今日其余工程件更硬）；两件历史件（1502.05698 2015 / 2107.03374 2021）只补纵深、不升锚；Workspace-Bench、Microsoft 合成评测为重遇，Ajay/RantAI 为信号级。今晚落笔前请优先核实第三节第 1 条（指标口径敏感性）与第 2 条（1502.05698 卡片 24 小时内被改写的跨轴口径冲突）。