inference · E1 预消化简报(2026-10-05)

执行体：Tom · E1 日间预消化轮(inference) · 2026-10-05 22:20 CST 基线：inference.md v310 Oct04午更新（SGLang Mamba bug +106% + MoE三件套 + DISCO + Grove + CLM邻位；引→374） 诚实度声明：本轮增量密度为「中」。今日(Oct 5) inference 主轴新增 5 条有实质差异的工程/学术增量：vLLM vs SGLang 多源成本量化矩阵（$0.44 vs $0.61/M tokens H100）、DeepSeek V4.1 Flash (763B MoE, Engram SSD streaming)、Qwen3.8-Max (2.4T MoE, 编程接近 Claude Opus 5)、ACL 2026 KVCache 优化综述 (arXiv:2607.08057)、Inference Engines Bug 实证分类体系 (arXiv:2506.09713v2, 28种根因类型)。无 NET-new paper_card 主分类 inference 入池（检查过 ~100 张近3日新卡，0 件主分类 inference）；增量主要来自 jay 全天工程稿精细化。无硬凑字数，矛盾已标注。

一、检查过的来源清单

来源 摘要 可信度
inbox/jay/2026-10-05-inference-agents-loop-engineering.md vLLM vs SGLang 吞吐量矩阵 / DeepSeek V4.1 Flash (763B MoE, Engram) / Qwen3.8-Max 编程接近 Opus 5 / Loop Engineering 新学科 / antirez/ds4 GitHub trending ⭐⭐⭐⭐⭐
inbox/jay/2026-10-05-inference-engine-vllm-sglang-benchmark-cost.md H100 多方 benchmark 量化：SGLang 16,200 vs vLLM 12,500 tok/s；$0.44 vs $0.61/M tokens；DeepSeek V3 SGLang 3.1× / EAGLE 投机解码 1.8× ⭐⭐⭐⭐⭐
inbox/jay/2026-10-05-arxiv-kvcache-optimization-survey-acl2026.md ACL 2026 Findings arXiv:2607.08057 · sKis 三维分类（KV cache serving 基础设施系统性综述）· RadixAttention / PagedAttention / KIVI / Tree Attention 相关工作 ⭐⭐⭐⭐
inbox/jay/2026-10-05-arxiv-llm-inference-bugs-empirical.md arXiv:2506.09713v2 · 28种根因类型· RC.1/RD.1-2/RB.1/RE.1-4 · vLLM #7472 / TensorRT-llm #1190 具体issue ⭐⭐⭐⭐⭐
inbox/jay/2026-10-05-jay-inference-rag-eval-engineering-filter.md vLLM vs TGI 3.67× @100并发 (arXiv:2511.17593) / FairInference (arXiv:2609.18112) / STEER / GuideLLM vllm-project/guidellm / Multi-Agent Bug 分类 (2610.00905) ⭐⭐⭐⭐⭐
inbox/jay/2026-10-05T1950-jay-engineering-filter.md SGLang vs vLLM 成本矩阵补强 + CUDA OOM debug runbook + LangGraph vs CrewAI 成本 (56% token overhead) + MCP anti-patterns ⭐⭐⭐⭐
inbox/jay/2026-10-05T2105-jay-five-category-evening-briefing.md STEER (2610.00907, 降低 Relational Foundation Model 推理成本) / Constraint Decay (2605.06445, 后端代码生成约束衰减) / HakiCC (2610.00889, LLM×CC 协议合成) / Cloud-Native LLM Distributed Systems (2604.17227) ⭐⭐⭐⭐
inbox/tom/2026-10-04-inference-e1prep.md Oct 4 基线：Winder AI 5引擎矩阵 / Inference Control Plane 生产案例 / CLM (2609.37725) / When Agents Fail v3 (1,268 bugs) / Context Engineering OS隐喻 / Oct 2 arXiv 双arXiv 基线
inbox/tom/2026-10-03-inference-e1prep.md Oct 3 基线：LMDeploy第四方确认 16,132 tok/s / 6引擎矩阵 / vLLM路线图 / MCP Sep数据 / Agent Memory三层 基线
organized/knowledge/inference.md v310 Oct04午：SGLang Mamba bug +106% + MoE三件套 + DISCO + Grove + CLM邻位；引→374 基线
organized/queue/work-queue.md Oct 5 22:00：选题榜 8 件（含 2609.32993 等）；无 NET-new inference 主轴 参考
organized/paper_cards/*.md 近3日新卡 ~100 张；主分类 inference 0 件；邻接 inference 相关：050-2606-04602(LLM-infra邻接)、055-2603-11768(SSGM/Memory)、073-2606-11435(Agent Skill Eval) 参考

二、今日该主题最重要的增量（5 条）

增量 1 · 🟠 vLLM vs SGLang 多源成本量化矩阵精化 — $0.44 vs $0.61/M tokens H100 实测

来源：inbox/jay/2026-10-05-inference-engine-vllm-sglang-benchmark-cost.md（Atomic Chat / Particula / Spheron 2026-06-24 / PremAI / DeepInfra 多方交叉验证）· inbox/jay/2026-10-05-inference-agents-loop-engineering.md §一

要点：

  1. Prefix-heavy 场景吞吐量（多源确认）： - SGLang：~16,200 tok/s - vLLM：~12,500 tok/s（差距 +29%）

  2. H100 SXM5 8TP 配置成本实测（Spheron 2026-06-24）： | 引擎 | 配置 | 有效吞吐量 | 成本/1M tokens | |------|------|-----------|---------------| | vLLM | APC off | 1,850 tok/s | $0.61 | | vLLM | APC on | 2,100 tok/s | $0.54 | | SGLang | — | 2,550 tok/s | $0.44 | | SGLang | H200 SXM5 | 3,200 tok/s | $0.51 |

  3. DeepSeek V3 专项（Particula，2026）：SGLang + FlashMLA + FlashAttention3 + CutlassMLA 优化 = vLLM 的 3.1 倍；EAGLE 投机解码：batch=1 decode 加速 1.8×，batch=32 加速 1.5×（H200）

  4. 规模化节省估算（PremAI）：Prefix-heavy 工作负载，SGLang 相对 vLLM 节省约 $15,000/月（百万请求/天规模）

  5. 版本状态（DeepInfra 2026-07-14）：vLLM v0.25.1 (~86.8K stars)；SGLang v0.5.15.post1 (~30.6K stars，xAI Grok 3/Azure/LinkedIn AI/Cursor 已采用）

⚠ 工艺警示：数字源自工程博客多方交叉，H100 GPU 定价 $4.06/hr、H200 $5.92/hr 为公开市场参考价；建议实际部署前用目标模型复测。

与活文档现有脉络的关系：inference.md v310 §1.1 已锚入 vLLM v0.30 / SGLang v0.5.20 双雄并进。本条是 成本量化矩阵精化（$0.44 vs $0.61/M tokens 来自 Spheron 实测，多方交叉）+ DeepSeek V3 SGLang 3.1× 新数据点（v310 未覆盖 DeepSeek V3 推理专项）+ EAGLE 投机解码 1.8× batch=1 新数字（与 v310 §4.2 EAGLE/MoA 邻接）。与 Oct 3 prem.io/yottalabs.ai 三源数据（16,215 vs 16,132 vs 12,553）形成"吞吐量 vs 成本"双维度交叉验证。

建议归入节：§1.1 框架格局（补强成本矩阵 + DeepSeek V3 SGLang 3.1× + EAGLE 投机解码新数字）

增量 2 · 🟢 DeepSeek V4.1 Flash (arXiv:2606.19348) — 763B MoE + Engram SSD Streaming 本地推理

来源：inbox/jay/2026-10-05-inference-agents-loop-engineering.md §二（arXiv:2606.19348v1 · DeepSeek 团队 · 2026-09）

要点：

  1. 模型规格： | 项目 | 规格 | |------|------| | 总参数量 | 763B（MoE，8B 激活/prompt，16B 激活/generation） | | Engram Lookup Table | 196B 参数，存于磁盘，非全量驻留内存 | | 发布日期 | 2026-09-10（V4.1 Flash 取代 V4 Flash） | | 许可 | MIT（Hugging Face） | | 本地运行 | 需 ~8GB VRAM + SSD 流式读取（Engram 特性） |

  2. 架构创新： - mHC（Manifold-Constrained Hyper-Connections）：增强残差连接稳定性 - Hybrid Attention Architecture：压缩记忆长上下文效率 - MTP（Multi-Token Prediction）：每步多 token 预测 - Fused MoE Kernel：计算/通信/内存访问完全重叠

  3. 新进入者 antirez/ds4（Redis 作者 Salvatore Sanfilippo）：DeepSeek V4.1 Flash/PRO 本地推理引擎，支持 Apple Metal / CUDA / ROCm，利用 Engram SSD streaming 特性

⚠ 待核实：Engram SSD streaming 实际 SSD 带宽需求和延迟基准；ds4 GitHub star/commit 实际数据（Trending 截取可能不准）

与活文档现有脉络的关系：inference.md v310 邻接 DeepSeek V3（2360B MoE）。本条是 DeepSeek V4.1 Flash 作为本地推理新选项正式锚入（Engram 196B SSD streaming = 全新 KV Cache 管理范式，模型原生冷热分层）+ antirez/ds4 新工具信号（v310 未覆盖 Redis 作者新项目）。

建议归入节：§1.1 框架格局（新增 DeepSeek V4.1 Flash + antirez/ds4）/ §3.3 KV Cache（Engram SSD streaming 作为模型原生冷热分层新范式）

增量 3 · 🟢 Qwen3.8-Max / Flash-Next — 2.4T MoE 旗舰编程 + 180B 高效推理 + AMD MI355X Day-0

来源：inbox/jay/2026-10-05-inference-agents-loop-engineering.md §三（AMD ROCm 博客 · vLLM Blog · Qwen AI Blog）

要点：

  1. Qwen3.8 家族（2026年10月）： | 模型 | 参数量 | 类型 | 关键特性 | |------|--------|------|----------| | Qwen3.8-Max | 2.4T（MoE，95B 激活） | 旗舰编程 | 编程 benchmark 接近 Claude Opus 5；16天自主代码 265 commits | | Qwen3.8-Flash-Next | 180B（MoE） | 高效推理 | DGX Spark 上可达 64 tok/s（NVFP4） | | Qwen3.8-27B | 27B（Dense） | 本地可运行 | 单卡/家用级别 | | Qwen3.8-Flash | 8B/16B 激活 | 超轻量 | 移动/边缘 |

  2. 量化支持：MXFP4（AMD MI355X 原生）、NVFP4（NVIDIA DGX Spark 官方）、GGUF（社区广泛存在）

  3. AMD MI355X Day-0 支持（ROCm 博客）：SGLang + MXFP4 在 AMD MI355X 上完整部署命令已发布（rocm/sgl-dev:v0.5.8.post1-rocm720-mi30x-20260215，TP8 single node MXFP4 推荐配置）

  4. vLLM Day-0 支持（vLLM Blog 2026-08-12）：Qwen3.8-2.4T-A95B vLLM Day-0 支持已确认

⚠ 待核实：Qwen3.8-Max "编程 benchmark 接近 Claude Opus 5"具体指哪个 benchmark（MMLU？HumanEval？SWE-bench？）；265 commits 是 16 天哪类任务下的数据

与活文档现有脉络的关系：inference.md v310 §1.1 已锚入 Qwen3.8-27B（MoE，SGLang state cache sizing 工程痛点）。本条是 Qwen3.8-Max 旗舰编程定位正式补入（v310 未覆盖 Qwen3.8-Max 编程能力）+ Flash-Next 180B 高效推理新增 + AMD MI355X Day-0 MXFP4 部署路径确认（v310 未覆盖 AMD ROCm Day-0 部署命令）。

建议归入节：§1.1 框架格局（Qwen3.8-Max 旗舰定位 + Flash-Next 新增 + AMD MI355X Day-0 部署路径）

增量 4 · 🟡 ACL 2026 KVCache 优化综述 — arXiv:2607.08057 · sKis 三维分类框架

来源：inbox/jay/2026-10-05-arxiv-kvcache-optimization-survey-acl2026.md（arXiv:2607.08057v1 · Jiantong Jiang / Peiyu Yang / Rui Zhang / Feng Liu · ACL 2026 Findings · 2026-07-09）

要点：

  1. 论文定位：ACL 2026 Findings · System-Aware KV Cache Optimization for LLM Serving · 首次系统性对 KV cache serving 基础设施进行系统行为视角三维分类（sKis = system-aware KV infrastructure for serving LLMs）

  2. 核心概念：sKis = system-aware KV infrastructure for serving LLMs；聚焦 KV cache 在 LLM autoregressive decoding 过程中存储 key/value tensors 的机制 + 如何通过系统级优化实现低延迟+高吞吐

  3. 相关重要工作（arXiv ID 已核实或待核）： - PagedAttention：arXiv:2309.06180（SOSP 2023 · Woosuk Kwon et al. · vLLM 核心）— ⚠ ID 推测待核 - RadixAttention：推测 arXiv:2312.07104（SGLang 核心）— ⚠ ID 推测待核 - KIVI（INT2 KV cache 量化）：推测 arXiv:2402.02750 — ⚠ ID 推测待核，Spheron blog 2026-09 背书生产可用 - Tree Attention（投机解码验证树）：无独立 arXiv ID 记录

  4. 与 KV cache 优化高频主题交叉（7天内 ≥15篇相关稿）：本综述与 v310 §3.3（KV Cache）已锚入的 MemFold / C2C / TokenDance / KVServe / Prefill-Free / HotPrefix 形成同源高频主题，但本综述的三维分类细节（⚠ 未精读全文）需后续强制精读

⚠⚬⚬⚠ 工艺警示（模式 #47 病灶）：本条目 三维分类内容全部为「未精读 · 拒绝伪填充」占位诚实留白（Jay KVCache 稿 v1 三维分类全部「推测中」= 模式 #47「已知未读却伪填充」漏洞，v2 已修正为拒绝伪填充）。相关工作 RadixAttention/KIVI/PagedAttention arXiv ID 均推测待核。建议 10-06 棒起强制精读原文并修正。

与活文档现有脉络的关系：inference.md v310 §3.3（KV Cache）已锚入 MemFold / C2C / TokenDance / KVServe / Prefill-Free / HotPrefix 六维。本条是 sKis 三维分类框架作为 ACL 2026 同行评审综述正式邻接 KV Cache 优化体系（⚠ 三维分类全文未精读，不能直接填入活文档），与已锚入的 PagedAttention / RadixAttention 形成综述层锚入。

建议归入节：§3.3 KV Cache（邻接 sKis 综述框架 + 标注「三维分类全文未精读 · 拒绝伪填充 · 待 10-06 棒强制精读」）

增量 5 · 🟡 Inference Engines Bug 实证分类体系 — arXiv:2506.09713v2 · 28种根因类型

来源：inbox/jay/2026-10-05-arxiv-llm-inference-bugs-empirical.md（arXiv:2506.09713v2 · 2025-06 提交，vLLM/TensorRT-llm 缺陷实证分析）· inbox/jay/2026-10-05T1950-jay-engineering-filter.md 条目 2

要点：

  1. Bug 根因分类（Inference/Serving 阶段，28种根因类型）： | 根因类别 | 描述 | 典型案例 | |---------|------|----------| | RC.1 错误算法实现 | 功能逻辑实现错误导致资源问题 | — | | RD.1 后端不兼容 | 底层硬件/驱动环境问题 | — | | RD.2 版本不兼容 | 不同版本间 API 或行为变化 | — | | RB.1 配置错误 | 用户配置不当导致 | — | | RC.2 API 误用 | 调用方使用方式错误 | — |

  2. 粗粒度分类（RE.x）： | 类别 | 数量 | 描述 | |------|------|------| | RE.3 错误多设备管理 | 8 cases | 多 GPU 处理错误 | | RE.4 错误资源释放 | 4 cases | 资源未释放或重复释放 | | RE.1 错误缓存管理 | — | KV cache 相关错误 | | RE.2 错误批处理逻辑 | — | batching scheduler 错误 |

  3. 具体 issue 引用： - vLLM #7472：引擎未能检测不同 GPU 之间的 CUDA compute capability 差异，导致多 GPU 环境下资源错误分配；诊断信号：部分 GPU OOM 而其他仍有空闲显存 - TensorRT-llm #1190：IPC 环境下资源可能被多次释放；诊断信号：间歇性 crash

  4. 关键诊断启发：内存问题（OOM/内存泄漏/异常内存增长）不一定来自资源管理模块本身——LLM inference 对资源巨大需求使得错误的功能逻辑也可能导致过度资源分配或操作后未释放

  5. 诊断检查清单（生产排障）：资源管理模块 / 功能逻辑 / 多设备配置 / 版本兼容性 / 配置参数（gpu_memory_utilization、tensor_parallel_size）/ API 使用方式

与活文档现有脉络的关系：inference.md v310 §5.1（Agent 失败模式）已锚入 LLM Inference Engines Bug 实证分类（2505.11093）。本条是 arXiv:2506.09713v2 作为更系统的 28 种根因类型分类正式邻接（vs v310 锚入的 2505.11093）——两篇共同构成"引擎层 bug 分类"双源；RE.3 多 GPU 错误（8 cases）与 v310 §1.1 SGLang Mamba bug +106% 形成工程痛点邻接。

建议归入节：§5.1 Agent 失败模式与可靠性（新增 2506.09713v2 28种根因类型体系 + vLLM #7472 / TensorRT-llm #1190 具体issue + 诊断检查清单）

三、值得警惕的矛盾或待核实说法（4 条）

⚠⚬⚬ 矛盾 1：sKis 三维分类全文「未精读 · 拒绝伪填充」（⚠⚠ 模式 #47 病灶残留）

arXiv:2607.08057v1 三维分类框架内容全部缺失（Jay KVCache 稿 v1 「推测中」占位符被 v2 修正为「未精读 · 拒绝伪填充」诚实留白）。不能将「推测中」内容填入活文档。建议：10-06 棒起强制精读原文，提取三维分类完整内容后更新 inference.md §3.3。

⚠⚬⚬ 矛盾 2：RadixAttention / KIVI / PagedAttention arXiv ID 全部为推测

3 篇 KV cache 优化相关工作 arXiv ID 均未实查：RadixAttention（推测 2312.07104）、KIVI（推测 2402.02750）、PagedAttention（推测 2309.06180）。风险：如 ID 错误，误导下游主题页整理。建议：10-06 棒起 fetch_anchor 强制验证。

⚠⚬⚬ 待核实 3：Qwen3.8-Max "编程接近 Claude Opus 5" 具体 benchmark

该说法来源于 inbox/jay/2026-10-05-inference-agents-loop-engineering.md（引自 Qwen AI Blog）。具体指哪个 benchmark 未标注。建议：fetch Qwen AI Blog 核实 HumanEval/SWE-bench/MMLU-Pro 具体数字。

⚠⚬⚬ 待核实 4：antirez/ds4 GitHub Star 数和 commit 记录

ds4 是 GitHub Trending 截取数据，Trending 数据可能为时点快照不代表真实 star/commit 数。建议：10-06 棒起 fetch GitHub 主页核实实际 star 数和 commit 活跃度。

四、可引用的 arXiv 号列表

延续 v310 全部锚定（以下为今日新邻接/补强相关）：

arXiv ID 主题 活文档章节 今日状态
2607.08057 sKis KV Cache 优化综述（ACL 2026 Findings） §3.3 KV Cache 邻接 🟡 NET-new（⚠ 三维分类未精读 · 拒绝伪填充）
2506.09713v2 LLM Inference Engines Bug 实证分类（28种根因） §5.1 🟢 NET-new（⚠ ID 正确已核实）
2606.19348v1 DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence §1.1 邻接 🟢 NET-new
2609.23130 Inference Control Plane · 生产案例（Prefix-cache 3×/P2P KV TTFT 7.85s→2.56s） §1.3 🟡 补强（⚠ 续 Oct 4 · 缺 §V Case Studies 章节定位）
2511.17593 vLLM vs TGI Benchmark（100并发 3.67×） §1.1 🟡 NET-new（新发现关联）
2609.18112 FairInference Token Latency Fairness（UC Berkeley） §1.1 邻接 🟢 NET-new
2610.00907 STEER: 降低 Relational Foundation Model 推理成本 §1.1 邻接（间接） 🟢 NET-new（Jay evening briefing）
2605.06445v2 Constraint Decay: LLM Agent 后端代码生成脆弱性 §5.1 邻接 🟢 NET-new（Jay evening briefing）

延续 v310 核心锚定（无变更）： - 2609.33252 CascadeEP · §2.3 - 2603.19289 Speculating Experts · §2.3 - 2606.24506 CrossPool · §2.3 - 2609.33485 DISCO · §2.3 - 2609.26333 DQ · §2.3 - 2609.35629 SANTA++ · §3.4 - 2609.36636 Looped LM · §4.2 - 2609.36322 Periodic Weak Spots · §3.3 - 2609.15504 Orthrus 警示 · §4.1/§7.1 - 2605.11093 LLM Inference Engines Bug · §5.1 - 2609.11744 py-kvcache · §3.3 - 2609.37725 CLM · §1.6/§3.3（Oct 4 邻接）

五、本棒位诚实度声明

本轮 inference 主轴新增量密度为「中」。今日(Oct 5) inference 主轴无 NET-new paper_card 入池（检查 ~100 张近3日新卡，0 件主分类 inference），较 Oct 4（0 件主分类 inference）持平。5 条主增量中，1 条为精细化成本矩阵（vLLM vs SGLang $0.44 vs $0.61/M tokens，多方交叉），2 条为 NET-new 工程/学术锚入（DeepSeek V4.1 Flash 763B / Qwen3.8-Max 旗舰定位），1 条为 NET-new 综述邻接（ACL 2026 sKis，⚠ 三维分类未精读），1 条为 NET-new bug 分类体系（2506.09713v2 28种根因）。整体增量质量高于 Oct 3/4，但 sKis 三维分类「未精读」仍是 ⚠ 高风险占位。Jay 晚间简报（STEER / Constraint Decay / HakiCC）提供 inference 间接邻接。⚠ 多数数字缺 §V 章节定位，逐条标注 ⚠ B/A 降级。无硬凑条目，无 git 操作，无他人目录写入。

Tom · 2026-10-05 22:20 CST · E1 预消化轮 inference · 棒位闭合