evaluation · E1 预消化简报(2026-10-16)

来源范围：work-guard 清单 8 件 material sources（5 件 paper_card + 1 件 repo_card + 2 件 inbox/jay）+ inbox/tom Oct 14-15 evaluation e1prep 基线 + organized/knowledge/evaluation.md（R105 锚体系） 检查时间：2026-10-16 15:40 CST

今日增量概览

总增量：3 条（均为邻接或历史基准，无 eval 专项净新增）

增量条目详述

增量①（🟡 邻接新增·基础设施评测维度）：LLM 推理引擎横向对比与 Dynamo 定位演化

来源：inbox/jay/2026-10-16T1335-blogs-discovery.md（已核查正文，来源 1 + 来源 4）

证据来源： - 来源 1（menuagentic.com）：四大推理方案横向对比框架——vLLM、SGLang、TensorRT-LLM 为引擎，Dynamo 为路由/Serving 平台，非同类比较 - 来源 4（taekim.substack.com）：Ian Buck 访谈，OCP Global Summit——GPU 胜出因软件栈深度；Dynamo 被描述为数据中心推理管理操作系统

核心要点：

1. 框架定位明确分层：vLLM / SGLang / TensorRT-LLM 是引擎，Dynamo 是路由器/Distributed Serving OS——这意味着"基准评测"（benchmark）在跨框架比较时面临根本性品类错位。用同一 prompt 集测 Dynamo 端到端延迟 vs 单独测 vLLM 引擎吞吐量，是测量不同东西。

2. 多副本缓存机制拓扑变化：在多副本场景下，缓存命中率从引擎属性变为路由属性（Dynamo 的 KV 在 worker 间移动与复制）。Published benchmark 差距 29%–6.4× 的根源在于未披露共享前缀比例。这意味着： - 跨引擎的"缓存命中率"评测不再是公平比较 - 评测报告需明确声明是否在共享前缀多副本拓扑下运行

3. Dynamo 版本 pin 约束：Dynamo v1.5.0 pin SGLang v0.5.18 / TensorRT-LLM v1.3.0rc25 / vLLM v0.28.0——均落后上游数个版本。选 Dynamo 意味着接受引擎版本日历的约束，这对评测可复现性有直接影响。

4. Dynamo OS 定义升级：Ian Buck 访谈中将 Dynamo 定位为"数据中心推理管理操作系统"——从分布式 Serving 方案演化为操作系统层。这意味着： - 评测边界从"单引擎吞吐量"扩展到"跨节点 KV 调度效率" - 评测对象从"模型推理"扩展到"推理资源管理"

5. Vera Rubin 性能轨迹：Ian Buck 披露初测 3X，72h 后 6X（对比 Blackwell）；Blackwell 自发布来提升 4X——这是硬件迭代速度数据，与模型评测benchmark 的演进速度可作横向对比。

与 evaluation.md 现有脉络的关系： - 邻接 R105 §2.2 Langfuse 评测平台——Langfuse 是 eval 执行层平台，Dynamo 是推理管理层 OS——两者共同构成"评测执行基础设施"的端到端栈 - 邻接 R101-R102 推理系统评测历史脉络——§2.1 从"单引擎评测"到"分布式推理管理 OS 评测"的范畴扩大是基础设施层面新维度 - 与 R104 NoLiMa（锚 220）形成"评测基础设施层"与"评测基准层"的分野——NoLiMa 关注 benchmark 词面重叠假阳性；本增量关注基础设施拓扑变化对评测公平性的影响

建议归入：§2.2 评测平台与 CI Gate（邻接，预备级；Dynamo 定位变化对评测设计的影响）

可信度：⭐⭐⭐（来源 1+4 正文均已核查；但 benchmark 数值仅引述框架，完整实测数据截断）

增量②（🟡 邻接·推理系统评测范畴变化）：Ian Buck 访谈 + Dynamo OS 定义

来源：inbox/jay/2026-10-16T1335-blogs-discovery.md（来源 4，已核查正文）

核心要点：

1. GPU 持续胜出因软件栈深度：Ian Buck 指出 CUDA 20年积累 + PyTorch/JAX/Dynamo/vLLM/SGLang 生态是关键护城河。这对"评测基础设施"含义：模型性能评测结果部分反映了软件栈成熟度，而非纯粹模型能力。

2. Dynamo OS 的 KV 复制语义：Dynamo 调度 KV 在 worker 间移动与复制。这意味着： - 跨 worker 的 KV 一致性成为新的评测维度 - 多副本场景的评测指标应包含 KV 复制延迟，而非仅含吞吐量/TTFT

3. CoreWeave 等服务商用 NeMo 栈：企业级推理落地依赖服务商自研工具链，这使"评测结果的可迁移性"成为问题——同样的模型/引擎配置，在 CoreWeave vs 自建集群上可能有显著不同的性能表现。

与 evaluation.md 现有脉络的关系：与 R101 推理系统评测三段演化（锚 216）邻接——第一段（单引擎优化）、第二段（分布式推理）、第三段（推理管理 OS）正在发生，Dynamo OS 定义升级是第三段的直接证据。

建议归入：§2.1 邻接（推理系统评测范畴变化，预备级）

可信度：⭐⭐⭐（Ian Buck 访谈正文已核查；SemiAnalysis / MLPerf benchmark 引用仅作概述，数值待核）

增量③（⚪ 历史基准参考·不升锚）：2206.14858 GSM8K · Solving Quantitative Reasoning Problems with Language Models

来源：organized/paper_cards/919-2206-14858.md（paper_card 919）

arXiv：2206.14858 https://arxiv.org/abs/2206.14858

基本信息：paper_card 919 · S2被引 2077 · OpenAlex被引 281 · 影响力被引 150 · 主分类 evaluation · 形态 benchmark · 2022 年论文

TLDR：Solving Quantitative Reasoning Problems with Language Models（GSM8K benchmark）

要点： - GSM8K 是 LLM 数学推理评测的经典 benchmark（8.5K 小学数学题） - 2077 次被引（Semantic Scholar），是量化推理评测的历史基准 - 2022 年极旧论文；OpenAlex 2026-09-06 更新被引数据（S2 2077 → 仍为 2077），本轮为被引数字更新，无 eval 新观点

与 evaluation.md 现有脉络的关系： - 与 §3 维度化指标体系中的 MathQA / MATH benchmark 群邻接 - 作为历史基准参考，不作为新增 eval 专项归档

建议归入：§3 历史基准参考段（不升锚；已有 R105 锚体系中的现代 MathReasoning benchmark 不重复覆盖）

可信度：⭐⭐⭐⭐⭐（经典 benchmark，历史地位稳固；2022 年论文，内容已充分同行评审）

其他材料说明（本批非 eval 专项）

本轮 eval 专项净增量为 0 条，其余均为邻接或历史基准参考。

值得警惕的矛盾或待核实说法

⚠️ 矛盾 1：Dynamo Benchmark 差距（29%–6.4×）的归属问题

• 张力：Published benchmark 展示 Dynamo vs 各引擎的差距达 29%–6.4×，但来源 1 指出根源在于"未披露共享前缀比例"——这意味着：
• 差距可能完全源于评测拓扑差异（多副本 vs 单副本），而非引擎本身性能差异
• 在缺乏统一评测规范的情况下，Dynamo vs vLLM 的 benchmark 对比可能是苹果对橘子
• 待核实：Dynamo 官方 benchmark 使用的共享前缀比例配置；vLLM/SGLang/TensorRT-LLM 在同等共享前缀比例下的实测数据

⚠️ 矛盾 2：Ian Buck 访谈中 Vera Rubin 6X 数据来源

• 张力：Ian Buck 引述 OpenAI Sachin Katti 所言"Vera Rubin 初测 3X，72h 后 6X"——但这来自访谈口述，非正式 benchmark 论文
• 待核实：SemiAnalysis / MLPerf AgentX/InferenceX 或官方 MLPerf 基准测试数据是否印证
• 建议：引用时降级为"厂商访谈引述"，不宜作为正式 benchmark 数据引用

⚠️ 待核实：Dynamo v1.5.0 pin 版本对评测可复现性的影响

• 待核实项：Dynamo pin 的引擎版本（v0.28.0 vLLM / v0.5.18 SGLang / v1.3.0rc25 TensorRT-LLM）若存在已知的 benchmark 回归 bug，则 Dynamo 的 pin 策略本身会污染评测可复现性
• 建议：在引用 Dynamo 相关评测数据前，核查 pin 版本是否存在已知问题

可引用 arXiv 号列表（今日新增）

历史锚 arXiv 号（引用时无需重复归档，仅作备忘）： - 2610.12998（LLM Creativity Long-Tail）· 锚预备级 219 升锚候选 - 2502.05167（NoLiMa）· 锚预备级 220 ★ - 2610.12975（SmartSalesBench）· 锚 214 ★★ - 2610.11069（Clinician-Use Divergence）· 锚 213 ★★ - 2610.18410（Graph-free Retrieval）· 锚预备级 224 - 2610.17823（PR-entmax）· 锚预备级 225 - 2610.18622（Brazilian Legal Segmentation）· 锚预备级 226 - 2610.17841（FASHION-RQ）· 锚预备级 227

partial 声明

本简报为 partial 报告，理由如下：

1. 本轮 eval 专项净增量为 0——3 条增量均为邻接（推理引擎基础设施评测）或历史基准参考（GSM8K），无 eval 专项新论文或 eval 方法论新观点
2. Dynamo benchmark 差距 29%–6.4× 的完整实测数据截断，无法判断该数字的实际评测含义
3. Ian Buck 访谈 Vera Rubin 6X 数据为口述引述，未对照 MLPerf 官方数据
4. XViewRank（2610.20122）和 SquashFS（2610.20578）为间接 eval 相关，仅在工程简报中摘录，实验细节未核

来源核查清单

E1 预消化结论

• 显著新增量：0 条（无 eval 专项净新增）
• 邻接增量：2 条
• LLM 推理引擎横向对比与 Dynamo 定位演化（基础设施评测新维度，§2.2 邻接）
• Ian Buck 访谈 + Dynamo OS 定义升级（推理系统评测范畴变化，§2.1 邻接）
• 历史基准：1 条（GSM8K 2206.14858，不升锚）
• 新 arXiv：+0（本轮无 eval 专项新增 arXiv）
• 整体判断：Oct 16 eval 主题处于极低信号期——本轮清单命中材料 eval 专项密度极低；Dynamo/vLLM/SGLang/TensorRT-LLM 是基础设施评测邻接但非 eval 专项；GSM8K 是极旧经典 benchmark；其余 5 件材料 eval 关联度均为弱或无关。R105 锚体系（锚 224-229）稳固，不触发新锚编号。

无硬凑声明：本轮 eval 主题信号极低，来源已如实全量核查，3 条邻接/历史基准已如实报告，未找到任何 eval 专项新论文或 eval 方法论新观点。0 条净新增符合诚实度声明规范。

E1 预消化简报 · 2026-10-16 15:40 CST · Tom · evaluation · 已检查来源：work-guard 清单 8 件 material sources / evaluation.md R105 锚体系 / tom eval e1prep Oct 14-15 / paper_cards Oct 14-16 全量扫描 · 未执行 Git 写入