inference · E1 预消化简报 (2026-10-15)
E1 日间预消化轮 · inference 主题 · 2026-10-15 22:20 UTC+8 数据源：work-guard e627b203（8 条 materials，仅处理清单条目，不补全不重扫） 现有 knowledge/inference.md 已含 Section 1-7（515 条 arXiv 引用，更新至 Oct15 午）
一、本批增量条目
增量 1：NVIDIA Dynamo Session-Aware Agentic Inference（PyTorch Blog 2026-10-08）
来源：inbox/jay/2026-10-15T1335-blogs-discovery.md（✅ 原文已核查）
URL：https://pytorch.org/blog/session-aware-agentic-inference-with-nvidia-dynamo/
要点： - NVIDIA Dynamo 将推理基础设施从 request-level 升级为 program-aware 系统 - 核心技术组件：Session-Prefix Indexer——用 session 级统一标识符管理 KV cache 索引，实现跨请求的 cache 复用 - 支持跨 vLLM / SGLang 的程序化 cache 迁移（跨引擎一致性） - KV hint 策略实验数据尚待原文精读核实
与 inference.md 现有脉络的关系： - inference.md Section 2（KV Cache 管理）最新状态为 vLLM Tiered Offloading + galahad-kv 持久化 - Dynamo Session-Prefix Indexer 属于 Era 4（Disaggregated KVCache）向 Era 6（KV Cache 作为第一等数据对象）过渡的工程落地 - 与现有 llm-d CNCF / NVIDIA Dynamo 1.0 GA 叙述（Section 5.1）构成纵向深化：Dynamo 1.0 是编排层，Session-Prefix Indexer 是其 KV 感知路由的具体实现机制 - 建议归入 Section 2.2（vLLM Tiered KV Cache Offloading 之后）或 Section 5.1（llm-d / Dynamo 生态）新增小节
arXiv：无（PyTorch Blog，非学术发表；相关学术背景可参考 arXiv:2608.01526 "Internet for KV Cache"）
增量 2：Importance Sampling in RL for LLMs 理论基础（@cwolferesearch Cameron R. Wolfe）
来源：inbox/jay/2026-10-15T1335-blogs-discovery.md（✅ 原文已核查）
URL：https://substack.com/@cwolferesearch/note/c-334810566
要点： - 重要性比率（importance ratio）在 PPO loss 中的角色：修正 rollout 生成策略与当前优化策略之间的分布不匹配 - clip / truncate 机制的具体实现方式 - Cameron Wolfe 为 RLHF 领域高影响力技术作家，note 为付费墙外可用部分，全文建议跳转作者独立博客
与 inference.md 现有脉络的关系： - inference.md Section 4（投机解码与蒸馏部署）以 EAGLE3.1、SSD、SpecScale 等系统方法为主 - Importance Sampling 是 RLHF 训练侧的理论基础，与 Section 4 的"验证感知训练"（arXiv:2608.30135 Verification-Aware Training）有潜在交叉 - 本身不直接改变 inference 基础设施，但为理解 speculative decoding 的 loss 设计提供理论背景 - 建议归入 Section 4.1（投机解码新方法）或 Section 4.2（蒸馏与长上下文推理）的背景注释
arXiv：无（Substack note）；相关 RLHF 理论可参考原生 PPO 文献（未在本批材料中提供具体编号）
增量 3：vLLM-Ascend 昇腾 910B 压测参数（agent.csdn.net 2026-10，snippet 线索）
来源：inbox/jay/2026-10-14T1220-csdn-discovery.md（🔍 搜索 snippet，未全文核查）
URL：https://agent.csdn.net/6a3a4fa3662f9a54cb83198a.html
要点：
- 昇腾 910B 部署 DeepSeek-V4 的关键 vLLM 参数：--max-num-batched-tokens 8192、--gpu-memory-utilization 0.9、--enable-chunked-prefill
- DNS 抖动导致 QPS 跳变的排障路径；/etc/ld.so.conf.d/ascend.conf 权限问题与 ldconfig 静默失败机制
- inference.md Section 1.1 已有 vLLM-Ascend 部署 checklist（含权限配置、CANN 五件套、set_env.sh），本条为参数层面的补充
与 inference.md 现有脉络的关系： - 直接补充 Section 1.1 的 vLLM-Ascend 生产配置参数（现有内容为 pipeline/Docker/离线脚本路径，本条为具体调优参数） - ⚠ 证据缺口：正文访问受限（agent.csdn.net Cloudflare 防护），参数即取即用性未核实 - 建议归入 Section 1.1（vLLM-Ascend 条目下作为补充参数注记，标注来源可信度为 medium）
二、待核实 / 矛盾条目（需后续跟进）
条目 A：CSDN SGLang RadixAttention benchmark（286% 吞吐提升）—— 需与现有数据交叉验证
来源：inbox/jay/2026-10-14T1220-csdn-discovery.md
URL：https://bbs.csdn.net/weixin_29061425/article/details/100259224
声称数据：SGLang v0.5.6 RadixAttention 多轮对话 benchmark：吞吐 +287%、TTFT -52%、缓存命中率 82.3%
与现有 inference.md 数据的矛盾风险： - inference.md Section 1.2（SGLang vs vLLM）已有 H100 Llama 3.1 8B 实测：SGLang 29% 领先前提为 prefix-heavy traffic - 287% 是极高数字，测试环境（硬件/模型/并发条件）未标注；可能是特定合成测试场景 - 建议：在 inference.md Section 1.2 增加脚注"⚠ 2026-10-14 CSDN 某文声称 +287%，测试条件未知，待交叉核实；SGLang 29% 条件性共识不变"
条目 B：vLLM-Ascend / KunlunDevicePlugin 性能数字
来源：inbox/jay/2026-10-14T1220-csdn-discovery.md（来源 1、2，均为 CSDN 已核正文）
- vLLM-昆仑芯 Attention 延迟优化：152.6ms → 42.3ms（3.6×）
- vLLM-Ascend 完整上手路径（pip/Docker/离线脚本）
现有 inference.md 已有：vLLM-Kunlun（3.6× / 152ms→42ms）已记录在 Section 1.1；vLLM-Ascend checklist 已记录 本批新材料：具体优化参数（算子融合、向量化、RMS Norm）、完整部署脚本框架目录 建议：合并到现有条目，补充细节深度
条目 C：AINews Oct 2026 性能数字（snippet 线索）
来源：inbox/jay/2026-10-15T1735-blogs-discovery.md、inbox/jay/2026-10-14T1220-csdn-discovery.md
声称内容：
- vLLM on Vera Rubin MiniMax M3：>7.8× GB200（来自 @vllm_project 原始 tweet）
- SGLang FP8 MLA 128K：+20%（SGLang Project 官方）
- MoE tail fusion：+5.9% E2E
- vLLM 980 tok/s / 68ms；SGLang 1120 tok/s / 61ms；Ollama 420 tok/s / 85ms
可信度评估： - 7.8× / 20% / 5.9% 来自官方 tweet，引自 AINews Substack 付费墙 snippet，一级来源可追溯 - 980/1120/420 tok/s 来自 CSDN snippet，测试环境未标注，与 inference.md Section 1.4 现有 H100 矩阵数字不在同一条件下可比 - 建议：仅将 Vera Rubin 7.8× 更新到 Section 1.1（vLLM on Vera Rubin MiniMax M3），注明来源为 vLLM Project tweet；其他数字注明"测试条件未知，仅作线索，待官方 benchmark 核实"
三、已排除条目
| 条目 | 来源 | 排除理由 |
|---|---|---|
| vLLM vs SGLang Red Hat 对比（403） | 2026-10-15T1735/0935-blogs-discovery.md |
原文不可达，不重试 |
| SGLang GitHub / HuatuoGPT-3-8B / Hy3-preview-Base / Qwen3.6-35B-FP8 | 多文件 | 搜索 snippet，无正文；无新增可验证信息 |
| The Weekly Kaitchup #24 | 2026-10-15-2105-engineering-brief.md |
内容为 2024 年 1 月旧刊，非 2026 年资讯；DeepSeekMoE 代码仓库可独立追溯，KTO 结论可查 Hugging Face 官方博客 |
| @alphapicks Silicon Data Token Expenditure Index | 2026-10-15T1335-blogs-discovery.md |
市场/商业观察，非 inference 技术内容；无正文 |
| @youssefhosni95 vLLM 概述 | 2026-10-15T1335-blogs-discovery.md |
入门概述，同类 vLLM 官方文档更完整 |
| Kapa AI n8n 节点（RAG workflow 压缩） | 2026-10-14-2105-engineering-brief.md |
RAG workflow 工具集成，非 inference 基础设施；与 inference 间接相关但非核心技术 |
| JetBrains RAG 失败模式框架 | 2026-10-14-2105-engineering-brief.md |
RAG 系统设计，非 inference 引擎层；与 inference 间接相关 |
| AI-Efficiency/Awesome-Model-Quantization | organized/repo_cards/4394-ai-efficiency-awesome-model-quantization.md |
awesome list 索引性质，不含新的 inference 技术内容；Section 7 arXiv 引用已覆盖其中量化相关论文 |
| DeepSeekMoE / KTO / Marlin（Kaitchup #24） | 多文件 | ⚠️ 过期内容（2024 年 1 月），非 2026 年资讯 |
四、近 3 天 paper_cards inference 相关条目抽查
已检查 /shared/research-kb/organized/paper_cards/ 近 3 天 mtime 文件共 40 张卡，inference 直接相关条目：
| arXiv | 标题 | 主分类 | 与 inference.md 关系 |
|---|---|---|---|
| 2610.13735 | Orthros: Phase-Aware Heterogeneous Attention | llm-infra | inference.md Section 2 已收录（Orthros — Phase-Aware Heterogeneous Attention） |
| 2610.12459 | WorldGuide: Goal-Directed Video World Model | multimodal | 非 pure inference；含视频生成+执行闭环，与 Section 4（agentic inference）潜在交叉 |
| 2610.13361 | AgentSWE: Coding Agents Benchmark | agent | 非 inference 引擎基础设施 |
| 2610.11794 | Memento 3: Model-Based RSI | agent | agent 框架，与 inference 引擎层距离远 |
| 2610.13166 | Scaling Agentic Data | agent | agent 数据工程，非 inference |
| 2610.11287 | REMORY: Residual Memory | agent | agent 记忆机制，非 inference 引擎 |
结论：近 3 天 paper_cards 中 inference 直接相关新增仅 Orthros (2610.13735)，已由 Oct15 午更新进入 inference.md；其余条目归 agent/multimodal，不改写 inference.md 主线。
五、可引用 arXiv 号列表（本批新材料涉及）
| arXiv | 来源 | 与 inference.md 关系 |
|---|---|---|
| 2608.01526 | Dynamo Session-aware 相关（Internet for KV Cache） | Section 2.2 / Section 5.1 已有引用 |
| 2608.30135 | Verification-Aware Training | Section 4.1 已有引用 |
注：本批 8 条 materials 中，无任何一条贡献新的可核实 arXiv 号。NVIDIA Dynamo 文章为 PyTorch Blog（非学术），Importance Sampling note 为 Substack（非正式发表），其余均为 snippet 或已过期内容。Section 7 现有 515 条 arXiv 引用本次无新增。
六、综合评估
本批有效增量：3 条（1 条高质量 PyTorch Blog + 1 条理论背景 Substack note + 1 条部分核实 CSDN snippet） 待核实条目：3 条（benchmark 数字需与官方 benchmark 交叉） 已排除：6 条（403/过期/snippet-only/非核心主题） arXiv 新增：0 条
简报结论：本批增量整体规模偏小，主要价值在于 NVIDIA Dynamo Session-Aware 架构线索（Epoch 6 前沿信号）和 Importance Sampling 理论背景。AINews / CSDN 的性能数字受限于 snippet 可信度，建议仅作为跟进线索，不直接写入 inference.md 正文。Kaitchup #24 为 2024 年旧刊，下轮 E1 应优先核实是否有最新期数以覆盖 DeepSeekMoE / KTO / Marlin 新进展。