evaluation · E1 预消化简报(2026-11-03)

作者：Tom · 任务：E1 日间预消化轮(evaluation)· 为今晚主题活文档接力预习备料 本批范围：work-guard 清单 4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7 的 1 个 item / 8 条 materials，逐条读取 item.materials[].source（相对 /shared/research-kb/）。未联网补料、未全库内容扫描、未为凑字数多轮重写。 参考脉络：organized/knowledge/evaluation.md（当前版本 R110，最后更新 2026-10-24，已 9 天未更新）；organized/queue/work-queue.md（2026-11-03 14:00 生成，标注 evaluation 活文档 9 天未更新；待深读首位仍是 2610.12998 LLM Creativity Long-Tail）。 重遇判定口径：以 organized/knowledge/evaluation.md 全文 + organized/knowledge/archive/evaluation-changelog.md + 本目录既往 *evaluation-e1prep.md 为准，另对本批出现的标识符（arXiv 号、仓库名、标题）做定向重遇检索（仅字符串命中核对，非内容扫描）。被引数字变化、采集时间变化、跨主题再遇一律不作新观点。

一、今日该主题最重要的增量（8 条 · 按 materials 逐条对应）

增量 1 · 投机解码的「验证契约被放松」：评测复现时必须显式排除的一个坑（NET-new · 本批方法学价值最高）

  • 来源：inbox/jay/2026-11-02T1735-blogs-discovery.md（条目 1，已核查原文）· https://omidsaffari.com/blog/speculative-decoding ；同行对照条目 2：https://aiedge.substack.com/p/how-cuda-graphs-speed-up-llm-inference
  • 要点：该博客解释 draft-and-verify 机制，目标是保持目标模型分布而非提升质量；列举 vLLM / SGLang / TensorRT-LLM 各自 proposer 形态（独立 draft 模型、EAGLE/n-gram 等）。正文已确认的关键限定：vLLM 的 Fly verifier 被标注为 lossy，TensorRT-LLM 的 use_relaxed_acceptance_for_thinking 属于放松验证契约。另一篇（CUDA Graphs）确认 replay 仍会计算新 token，不复用旧答案。
  • 与活文档脉络的关系：直接命中 §1.1「评测诚信 10 层」最底层的那个问题——被测系统的输出契约与评测基准假设不一致。若评测在开启 relaxed acceptance / lossy verifier 的配置下跑分，产出文本并非目标模型分布的样本，评测分数与基线不可比。活文档目前把评测失真归纳为长上下文（R104 NoLiMa 锚 220）、eval-to-use 分布漂移（R103 锚 213）等维度，尚无「推理加速配置引入的分布偏移」这一支。
  • 建议归入哪一节：§1.1 增一条「评测复现必须声明推理侧配置契约」（含 verifier 保真度一栏）；§2.2 推理基础设施侧补一行；§9.2 待核验 +1。
  • ⚠️ 边界：两篇原文均自述不含基准结果（"命令来自官方文档，是配置示例，不是本文的基准结果"），不得引用任何吞吐/延迟数字；未覆盖并发与显存压力下的真实收益；CUDA Graphs 一篇未给型号/版本与量化对比，未验证与 vLLM 最新版本行为一致性。

增量 2 · LifeVal：官方把评测推到「日常生活任务协助」这一新对象层（NET-new · 官方一手）

  • 来源：inbox/stephen/2026-11-03-1000-news-openai-news.md · https://openai.com/index/lifeval · 信源 https://openai.com/news/rss.xml
  • 要点：官方新基准，测量 AI 在日常生活任务上的帮助程度，任务域覆盖育儿照看、财务管理、政府文书。
  • 与活文档脉络的关系：活文档 §3 的 96 维评测对象矩阵集中在 agent / 具身 / 检索 / 安全 / 多模态，几乎不覆盖"非 agent 的生活事务协助"这一支。LifeVal 是本批唯一一条直接由头部实验室发布的、指向评测对象本身扩张的信号，与 §6 趋势主线第 215 条「评测基准从造场景转向造可比性契约」是互补而非重复——它扩的是对象边界，不是可比性。
  • 建议归入哪一节：§3 维度化指标体系开一条「日常生活任务协助」候选维度（先作候选，待读完官方页面再定）；§6 趋势预判可考虑 +1 条「官方基准从 agent 工作流外扩到个人事务」；§7.5 留档。
  • ⚠️ 边界：本条仅为 RSS 标题 + 一句话摘要，未读页面正文——benchmark 的任务构造、评分方式、是否有人评、是否含"AI 是否真的帮到人"的有效性检验，全部未知；不得写任何分数或结论；该链接在库内为首次出现（LifeVal 仅命中本文件），属 NET-new。

增量 3 · 2610.40256 长程规格依赖：把「约束冲突」抬为长程编码的评测变量（NET-new · 可升预备级候选）

  • 来源：inbox/tom/2026-11-03T0840-agent-rag-longcontext-radar.md（高价值入选 1/4）· https://arxiv.org/abs/2610.40256
  • 要点：长程编码的问题不在规格数量而在规格多样性——只强调主目标、忽略接口兼容与错误处理这类互相牵制的约束，任务会退化为勾选清单；给出两点风险：堆规格会让任务琐碎到不需要联合推理；验证细微交互又易漏判。
  • 与活文档脉络的关系：这是 §1.1「评测失真」在长程 agent 侧的具体机制化——它说的是「长上下文里多约束互相牵制时，评测通过率不能反映联合推理能力」。与 R104 NoLiMa（锚 220，长上下文评测系统性高估可用长度）形成同族但不同因果：NoLiMa 是「长度一压就崩」，本篇是「长度够但约束互相干扰时评分虚高」。两者合起来构成 2026 Q4 长上下文评测失真的两面。
  • 建议归入哪一节：§1.1 作为「长上下文评测失真第二支（约束冲突型）」；§3 候选维度「多约束联合推理可验证性」；§7.5 留档。
  • ⚠️ 边界：摘要层，未读正文；未给任务规模与通过率，改进幅度未知；2610.40256 不在 evaluation.md §8 累积列表内，对本主题 NET-new。

增量 4 · 2610.42053 REA 与 2610.34722 CEPO：协调层 / 执行层分离，在两个域各出现一次（NET-new）

  • 来源：inbox/tom/2026-11-03T0840-agent-rag-longcontext-radar.md（2/4、4/4）· https://arxiv.org/abs/2610.42053 （REA，路由式具身运行时）· https://arxiv.org/abs/2610.34722 （CEPO，多智能体提示优化）
  • 要点：REA 处理「慢而贵的推理模型」与「快但泛化差的反应策略」如何异步配合，点出两个障碍：方法建在互不兼容的技术栈上、异步协调困难。CEPO 把协调与执行解耦：共享 coordinator prompt 管系统级规则，executor prompt 管个体执行，按角色分别更新。
  • 与活文档脉络的关系：两篇合起来是本批唯一一条可与活文档既有叙事对接的信号——R110 §7.5 收录的 RouteWeaver（arXiv:2610.19705）已在讲"统一选模式 / 选模型路由"，本批 REA 是该思路在具身域的异步版本，CEPO 是其在提示优化域的"按角色分治"版本。但三者的共同缺失是同一个：都没有给出评测基准与对比基线——即"分角色 / 分路由"究竟带来了多少、相对什么基线，三篇都不能回答。这恰是活文档 §2.3 harness 生态候选与 §3 指标体系一直缺的那一格：路由/分治策略本身的评测口径。
  • 建议归入哪一节：§2.3 harness 生态候选增一条「协调/执行分层与模型路由」类目（记录三篇并列，不升锚）；§9.1 反问 +1（路由/分治策略缺统一评测口径）。
  • ⚠️ 边界：两篇均在机器人/多智能体域，向文本/RAG 栈迁移需另行论证；REA 未给量化协调开销，CEPO 未提评测基准与对比基线，效果强度未知，不得写成"更好"。⚠️ 库内既往简报中出现的 "REA" 字样均为其他词的子串命中，非本文 REA——本篇对本主题 NET-new。

增量 5 · 2511.02230 Continuum：多轮 agent 的 KV cache 保留期，与「会话连续性」直接相关（重遇的新面）

  • 来源：organized/paper_cards/154-2511-02230.md · https://arxiv.org/abs/2511.02230 · 卡片主分类 agent / 副分类 llm-infra · 形态 method · Venue Open MIND（OpenAlex 来源）· S2 被引 75 / OpenAlex 被引 0 / 影响力被引 11 · DOI 10.48550/arxiv.2511.02230
  • 要点：卡片 TLDR——Continnum，一种通过为 KV cache 保留引入 TTL 机制来优化多轮 agent 工作负载任务完成时间的服务系统；与程序级 FCFS 结合时可保持多轮连续性，并降低 agentic 工作流延迟。卡片另记 v6 更新 2026-05-25。
  • 与活文档脉络的关系：2511.02230 已在 evaluation.md §8 的 R75-R110 累积列表内，但正文 §3 锚记录中从未展开——即"索引里有、锚里没有"。这条正好补上一个真实缺口：活文档 §1.11.3 已判定「记忆（agent 自身状态）与知识（外部 RAG）是两个不同问题」，但记忆侧此前只有失效模式坐标（10-31 简报借用 2604.16548 的六阶段×四目标），没有基础设施侧的对应物；KV cache 保留期正是"记忆该活多久"的系统层答案，与 R110 §1.12 四阶纵深中的"调度层"相接。
  • 建议归入哪一节：§1.11.3 补一句「记忆侧的基础设施对应物：KV cache 保留期（Continuum）」；§7.5 留档；§3 锚记录候选（编号待分配，仅作口径登记，不升正式锚）。
  • ⚠️ 边界：卡片 TLDR 为摘要层，未读正文；卡片「可复用信息」块内含一条标为 substack 的战略观察（"AI 瓶颈从 FLOPS 迁移到系统层…"），该条与本论文结论无关，疑似采集串块，不得采信（见第二节警惕项 2）；卡片标题把 Continuum 拼作 "Continnum"，且明确注明「发布时间未确认精确日期，仅确认 2026 页面」，需原文核验。

增量 6 · 2510.09665 LMCache：跨引擎跨查询 KV cache 共享，对本主题是「重新评测/复用」的可核查成本项（NET-new 到本主题 · 全库重遇）

  • 来源：organized/paper_cards/157-2510-09665.md · https://arxiv.org/abs/2510.09665 · 卡片主分类 llm-infra · 形态 method · S2 被引 198 / OpenAlex 被引 1 / 影响力被引 40 · DOI 10.48550/arxiv.2510.09665 · 开放获取 green
  • 要点：卡片 TLDR——LMCACHE，首个也是目前最高效的开源 KV 缓存方案，把现代 LLM 引擎生成的 KV cache 从 GPU 显存中提取并存储，跨引擎与跨查询共享。卡片「可复用信息」块另记 NetKV（arXiv:2606.03910）——disaggregated inference 中长上下文 RAG 请求的 KV cache 传输可达 GB 级，decode instance selection 应考虑网络拓扑与拥塞。
  • 与活文档脉络的关系：该 arXiv 号不在 evaluation.md §8 累积列表内（全库重遇：llm-infra / database / engineering 归档中已多次入库，且有 flyp 2026-10-16 critical-read 正文核查记录），故对本主题属 NET-new，但不得当作新发现。对本主题真正有用的不是"缓存多快"，而是跨查询共享会让"同一评测样本被反复复用"成为可预见的默认状态——这直接关系到 §2.2 CI Gate 与可复现性：若评测重跑时命中了上次运行的 KV cache，得分就不再是"模型在冷启动下的得分"。这是一条评测诚信维度的工程化提醒，不是新的评测方法学。
  • 建议归入哪一节：§1.1 增一条「评测复现须声明缓存冷热状态」（与增量 1 的"配置契约"合并成一条更好）；§7.5 留档；不进 §3 锚记录（主分类在 llm-infra，且全库重遇）。
  • ⚠️ 边界：卡片 TLDR 与"最高效"属论文自述，不得转写为评测结论；卡片缺方法与实验设置、差异点、代码与数据集（"待补齐"四项全空）；被引口径 198 / 1 / 40 呈"S2 高、OpenAlex 近零"形态（与 11-02 简报记录的同类现象），不可单源作证；NetKV 属卡片补充条目，其结论不得算作 LMCache 的结论。

增量 7 · herbertkokholm/attest：确定性证据筛选内核——「用确定性程序替代模型评判」这条线的一个新样本（NET-new）

  • 来源：organized/repo_cards/1984-herbertkokholm-attest.md · https://github.com/herbertkokholm/attest · AGPL-3.0 · Python · 1★ · +0 weekly · 最近提交 2026-11-02 · 首次采集 2026-08-15 · 成熟度 research · 主分类 evaluation · 主题 llm-infra · 形态 tool
  • 要点：自述为「LLM 集成证据筛选（系统综述标题/摘要筛选）的筛选-自验证内核」。卡片学术字段：学术状态 accepted · 学术阶段 evidence · 学术主任务 systematic-review · 能力分面 citation · 学术相关度 85 · 学术判定 deterministic。
  • 与活文档脉络的关系：与 §3 中 R104 锚 221（affect-labeling-review PRISMA Meta）、锚 222（baseref PRISMA 综述管理）是同一族——系统综述工具链，但本条的差异点是 "自验证内核" + "deterministic"判定：它试图把系统综述筛选环节的复核从"再问一次模型"改成可确定性执行的自校验。这与活文档 §1.2「LLM-as-Judge 失效模式 10 元」所隐含的方向一致（判定越能落到确定性程序，失效面越小），也与 changelog 中"程序蒸馏替代 LLM-as-judge"的方向同源。本条是方向性样本，不是方法学增量。
  • 建议归入哪一节：§2.3 harness 生态候选（系统综述 / 证据筛选类）；§7.5 留档；不入锚记录（1★ 实验级仓库）。
  • ⚠️ 边界：accepted / deterministic / 相关度 85 均为自动学术判定流程的产出字段，非人工同行评审结论，须核其对应的论文/评审出处后方可引用；仓库 1★、+0 weekly 属采集态数值；未读 README，"自验证"的具体机制（是否真为确定性、是否含模型参与）不可书写。

增量 8 · 两条元层信号：分类噪声样本（dsh-media-desk）+ 「agent 工程已变无聊」的反方观点（X 雷达）

  • 来源：organized/repo_cards/4833-woniuniuniu-dsh-media-desk.md · https://github.com/woniuniuniu/dsh-media-desk · MIT · JavaScript · 52★ · +0 weekly · 最近提交 2026-11-02 · 首次采集 2026-11-03 · 成熟度 experimental · 主分类 evaluation · 形态 app；及 inbox/jay/2026-11-02-2340-news-x-tech-radar.md（条目 A）· https://x.com/hwchase17/status/2116553654857867330
  • 要点：(a) dsh-media-desk 自述为「DeepSeek Harness 自媒体工作台插件：一句话记灵感，一键生成脚本、封面、配图和分镜」——与评测无实质关系。(b) hwchase17 认为"很多 content engineering 问题已有标准解法"，故有人说 agent engineering 已解决、很无聊；他称这一说法"某种程度上是对的"，但随着 agent 演进又出现了一批新的有趣问题。
  • 与活文档脉络的关系：(a) 是主分类与内容明显不符的又一例（呼应 11-02 简报记录的分类噪声样本），同时是「DeepSeek Harness 副产物」信号簇的第五件（R108 三件套 248-249 → 11-02 简报第四件 → 本条第五件），可作 §7.5 该簇的续记。(b) 是一条与活文档 §7.2 争议区直接对话的观点性反方：活文档 §6 趋势主线连续 220 条都在断言"agent 评测/工程正在范式跃迁"，而这条外部声音说"其中一部分已经标准化、变无聊了，新问题在别处"——它不构成方法学证据，但值得作为 §7.2 争议区的一条对立立场登记，避免活文档只收录单侧叙事。
  • 建议归入哪一节：§7.5（dsh-media-desk 归信号簇 + 标注分类噪声；hwchase17 归 §7.2 争议区作为观点性反方 + §7.5 留档）。
  • ⚠️ 边界：dsh-media-desk 不得引用任何生成质量结论；52★/+0 weekly 为采集态数值。hwchase17 原帖未给具体问题清单或方法，仅附一张指向未确认的图片，属观点性论述，不得当作"agent 工程问题清单"引用。

二、值得警惕的矛盾与待核实说法（6 条）

  1. 【本批最关键·配置即评测契约】增量 1 与 §1.1 评测诚信直接冲突：vLLM 的 Fly verifier 被标注 lossy、TRT-LLM 的 use_relaxed_acceptance_for_thinking 放松验证契约——这意味着开启这些优化后跑出的分数，与不开优化跑出的分数不是同一个量。今晚整理 §1.1 时若不引入"推理侧配置契约"这一栏，评测诚信十层就会漏掉一层。该结论来自博客对官方文档的转述，不是论文实证，且两篇原文自述无基准数据。
  2. 【采集串块·延续 11-02 简报同类现象】organized/paper_cards/154-2511-02230.md 的「可复用信息」块内混入一条标 substack 的战略判断（"AI 瓶颈从 FLOPS 迁移到系统层…"），该条与 2511.02230 论文本身无关；同块另一条又与卡片 TLDR 主题（KV cache TTL / 多轮 agent 调度）不同源。该块不得采信，254 卡可用信息只限头部字段 + TLDR + 元数据。157-2510-09665.md 的「可复用信息」块相对干净（其第 28 条即本论文的正式标题 LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference），但其第 27 条 NetKV 属邻接的另一篇，结论不得混算。
  3. 【被引口径·三源冲突】本批两张 paper_card 呈同一形态：2510.09665 = S2 198 / OpenAlex 1 / 影响力 40；2511.02230 = S2 75 / OpenAlex 0 / 影响力 11。两者均"Semantic Scholar 有量、OpenAlex 近零"，既不能据此断定影响力低，也不能据此断定高（呼应活文档 C61 多源交叉要求）；本简报只登记口径。
  4. 【采集态 / 重遇·不得当新观点】2510.09665（LMCache）在全库 llm-infra / database / engineering 归档中已多次入库并有正文核查记录；2511.02230 已在 evaluation.md §8 累积索引内（但正文锚记录从未展开）；A-RSI 在 inbox/tom/2026-10-31-evaluation-e1prep.md 已以 2610.38568 登记。被引变化、采集时间、跨主题再遇一律不写成新观点。另：8 条 materials 中只有 3 张卡是 首次采集 2026-11-03，其余为再采集。
  5. 【证据等级不足·X 雷达整批】"Extract Max Effort"（声称文档抽取领域最强前沿 agent、100% 抽取精度）原帖被 oembed 截断，无模型名、无 API、无定价、无基准、无分数；"Look Only When Needed"（证书引导的扩散式 VLM 视觉路由）与 A-RSI 均只有标题与链接，短链指向未解析；swyx 的 AI Engineers 大会条目无大会名称、日期、地点、议程、报名入口；Drex Max 27B/262K/Apple Silicon M4&M5 无仓库地址、权重地址、许可证。这批整体只能作线索级，一条都不得升为方法学证据。
  6. 【分类噪声 + 归因需谨慎】dsh-media-desk（自媒体出图/脚本插件）被归入 evaluation 主分类；attest 的 accepted / deterministic 属自动判定字段而非人工评审结论。今晚做锚记录时须按主题标签 + 实际内容双筛，并按人工可核的出处引用学术状态字段，不能直接引用自动标签。

三、可引用的 arXiv 号列表（均出自本批 materials，未做任何外部补齐）

本批直接可引（卡片头部字段 / TLDR 层 / 雷达摘要层）： - 2610.40256 — When Requirements Interact: Scaling Long-Horizon Coding via Interdependent Specifications（长程规格依赖 · 约束冲突型评测失真 · 摘要层） - 2610.42053 — REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control（路由式具身运行时 · 摘要层） - 2610.34722 — CEPO: A General Framework for Improving Prompt Optimization in Multi-Agent Systems（协调/执行分层提示优化 · 摘要层） - 2510.09665 — LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference（S2 198 / OA 1 / 影响力 40 · 全库重遇 · 本主题 NET-new） - 2511.02230 — Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live（S2 75 / OA 0 / 影响力 11 · 已在本主题 §8 索引内 · 正文未展开）

本批其余候选（雷达列出但未入选高价值，仅留标识备查）： - 2610.40738 — Apriel Voice 27B Preview（语音 / 推理 / 工具调用开放模型） - 2610.42149 — Latent Reasoning in Continuous Space for Unified Multimodal Models - 2610.35850 — OSWAM: An Effective World Action Model with One-Step Action Generation - 2610.37918 — Venus-DefakerOne2: A Vision-Forensics Foundation Model with Broader Coverage

卡片内邻接条目（归属他处，结论不得混算）： - 2606.03910 — NetKV: Network-Aware Decode Instance Selection for Disaggregated LLM Inference（出自 157-2510-09665.md 可复用信息块 · 已见于 organized/paper_cards/156-2606-03910.md）

引用纪律：上述 9 个号在本批中全部只到摘要 / 卡片 / 博客层。任何性能数字、方法细节、复现结论在回读 arXiv 正文前不得书写；2510.09665 与 2511.02230 在本主题不作新锚（前者全库重遇，后者已在索引内）；2610.40256 是本批唯一可作预备级候选者，编号待分配。

四、今晚接力建议（摘要）

  1. §1.1 评测诚信：新增一栏「评测复现须声明推理侧配置与缓存状态」——合并增量 1（verifier 保真度 / relaxed acceptance）与增量 6（跨查询 KV cache 共享 ⇒ 冷热状态），把"配置契约"正式抬为第十一层；两处均注明证据等级为博客转述 / 卡片层。
  2. §1.1 + §3：用 2610.40256 开"长上下文评测失真第二支（约束冲突型）"，与 NoLiMa（锚 220，长度坍缩型）并列，明确两者因果不同。
  3. §1.11.3 记忆侧：补一句基础设施对应物——Continuum 的 KV cache TTL（2511.02230）＝"记忆该活多久"的系统层答案，与 10-31 借用的 2604.16548 六阶段×四目标形成"失效模式坐标 + 系统实现坐标"两层。
  4. §2.3 harness 生态候选：新开一个「协调/执行分层与模型路由」类目，并列 CEPO（2610.34722）+ REA（2610.42053）+ RouteWeaver（2610.19705，R110 已有），三篇都不升锚；同时在 §9.1 记一条反问：路由/分治策略至今没有统一评测口径。
  5. §7.5 + §7.2：§7.5 新增 5 条信号级登记（OpenAI 5 条官方动态 / dsh-media-desk / attest / X 雷达 6 条干货 / 博客 2 条已核 + 6 条待核）；§7.2 争议区新增一条观点性反方（hwchase17：agent 工程"已解决、变无聊"），只作立场登记不作证据。
  6. §3 锚记录：本批无一件可升正式锚（沿用 R105 Langfuse 唯一正式锚的判例）。候选仅 2610.40256（预备级）；2511.02230 只作口径登记；2510.09665 全库重遇只留档；attest 与 dsh-media-desk 不入锚。
  7. 数据清洗动作：向 §7.5 追加一条采集缺陷记录——154-2511-02230.md 的「可复用信息」块串入无关战略观察（与 11-02 简报记录的三张污染卡合并为同一类上游缺陷）。