inference · E1 预消化简报(2026-07-29)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 2026-07-28 22:00 → 2026-07-29 22:00（约 24 小时） 基线：
organized/knowledge/inference.md（vLLM 0.26.0 + SGLang v0.6 · 十节 · 引用→90） 基线快照（昨日 E1 收官状态）： inference.md §2.1 已收 vLLM 0.26.0 + SGLang v0.6 + Kimi K3 HF 1.56TB 完整开源（KDA/AttnRes/Stable LatentMoE/MXFP4+8）；§2.3 KV cache 14 件套已收 LMCache（USENIX + akshay_pachaar crash-safe 实测）；§2.4 SGLang v0.6 Breaking Changes 已收 DSpark/GLM-5.2 DSA/ReplaySSM/Inkling/FlashInfer；§9 新趋势已收 HyMCache CXL 三层；§5 已收 Skill Self-Play arXiv:2607.22529；§2.11 已收 Inference Engineering 职业化 检查来源： work-queue.md + inbox/jay/(2026-07-29 1105 五分类简报 Backend B1-B6 + 1506 five-category-briefing-p2 Cloud B1-B3 + 1055 engineering-filter-rss-round + 1455 engineering-filter + 1735 evening-hn-trending-raschka-codex-sqlite) + inbox/tom/(0900 hf-daily-2026-07-29 + rag-e1prep + agent-rag-longcontext-radar) + inbox/spark/(2026-07-29 llm-infra-e1prep-v10 7 主线 + 3 旁证 + 2 警示) + inbox/flyp/(2026-07-29 multimodal-e1prep + risk-e1prep) + inbox/stephen/(2026-07-29 ai-industry-e1prep + coordination-check-noon) + paper_cards/602-642 近 3 天共 41 张新卡（主分类 inference-systems 新增 0 张；副分类邻接 4 张 = Sol-Attn/WorldDiT/UltraViT/WarpDivergence） 性质： 预消化简报 · 不重写活文档 · 供今晚活文档接力参考
0. 综述判断
本场 inference 主题 24h 窗口增量性质：低密度（3 主线 + 1 警示 + 1 待核实）。
本场 inference 主题无 pure inference-systems 主分类新 arXiv 卡片（602-642 共 41 张新卡主分类为 multimodal/agent/benchmark/engineering，0 张 inference-systems），与昨日（7-28 E1）一致。实际增量集中在跨主题补录：Raschka Kimi K3 Architecture Notes 419 分 HN Trending 完整披露四大新组件（Raschka 独立解析，非官方 arXiv 原文）作为 §2.1 补充节点；FlashInfer→SGLang/vLLM 集成数据确认（昨日已预告，本场确认 -29-69% 具体数字）；vLLM Conference 2026 Roadmap（Ray Summit）作为 §2.1/§2.2 路线图锚点。本场核心动作：将 spark llm-infra E1 v10 识别的 7 条 llm-infra/inference 邻接线跨主题迁移补录到 inference.md 现有脉络。
1. 核心增量（3 主线 + 1 警示 + 1 待核实，按活文档归位顺序）
增量 1【推理引擎 §2.1 / 模型发布】Raschka Kimi K3 Architecture Notes 419 分 HN Trending——四大新组件完整披露（★★ 必补）
来源：inbox/jay/2026-07-29-1735-jay-evening-hn-trending-raschka-codex-sqlite.md 第 2 条（419 分 HN Trending）+ Raschka 官方博客 https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html（2026-07-28）+ inbox/spark/2026-07-29-llm-infra-e1prep.md 增量 2 + inbox/jay/2026-07-29-1105-jay-five-category-briefing.md Backend B2 Kimi K3
Raschka Kimi K3 Architecture Notes 核心展开：
- HN Trending 419 分：https://news.ycombinator.com/item?id=49089755
- Kimi K3 定位：2.8T 总参数，16/896 experts 激活（LatentMoE）；基于 Kimi Linear（48B → 2.8T）的规模化生产版本；当前最大 open-weight 模型（超过 DeepSeek-V4、Qwen 3.6 等）
四大新组件解析：
| 组件 | 类型 | 功能 | 工程意义 |
|---|---|---|---|
| LatentMoE | 新效率块 | 将大 dense 层压缩（down-project），类似 MLA 的压缩思路 | 在 2.8T 规模保持可服务性，核心效率创新 |
| NoPE everywhere | 位置编码替代 | 移除所有 RoPE 层（首个前沿级全 NoPE 模型） | 训练/推理简化，RoPE 在局部注意力的局限性被绕过 |
| KDA（Kimi Delta Attention） | 注意力改进 | Delta Attention 替代常规注意力 | 效率提升，与 multi-head latent attention 协同 |
| Attention Residuals | 残差改进 | 跨层残差连接，用注意力分数作为重要性权重 | 改善验证损失和下游性能；训练成本 +4%，推理成本 +2% |
- 与 Kimi Linear 的关系：架构继承自 Kimi Linear（2025）；层数从 27 层 → 93 层；主要差异为 LatentMoE 替代部分 dense 层
- 与同期模型趋势的横向对比：
- Nemotron 3 Ultra、DeepSeek V4 均采用类似效率优化路径（MoE → LatentMoE，常规注意力 → 多头潜在注意力）
- Attention residuals 与 DeepSeek V4 的 mHC（manifold-constrained Hyper-Connections）功能相似但实现不同：mHC 让残差路径更宽；Attention residuals 跨层连接用注意力分数加权
- 原生多模态支持：K3 新增原生图像/视频/音频编码器接入
- Raschka LLM Architecture Gallery：
https://sebastianraschka.com/llm-architecture-gallery/含 benchmark 对比、层数、KV cache 大小、上下文长度完整卡片
与活文档关系：inference.md §2.1 已收 vLLM 0.26.0 + SGLang v0.6 + Kimi K3 HF 1.56TB 完整开源（含 KDA/AttnRes/Stable LatentMoE/MXFP4+8）；但 Raschka 419 分 HN Trending 完整解析（NoPE everywhere 首个前沿级全 NoPE 模型 + LatentMoE 压缩 + Attention Residuals 训练 +4%/推理 +2% 量化收益 + 与 Nemotron 3 Ultra/DeepSeek V4 横向对比 + Raschka LLM Architecture Gallery 立标）未作为独立节点入位
建议归入：§2.1 推理引擎格局（扩展 Kimi K3 节点，新增「Raschka Kimi K3 Architecture Notes 完整披露（419 分 HN Trending · LatentMoE 压缩 + NoPE everywhere 首个前沿级全 NoPE 模型 + Attention Residuals + 与 Nemotron 3 Ultra/DeepSeek V4 效率优化路径趋同 · Raschka LLM Architecture Gallery）」小节）；新增 C69 共识候选："Raschka Kimi K3 架构解析 = LatentMoE + NoPE everywhere + KDA + Attention Residuals 四大新组件 · 首个前沿级全 NoPE 模型 · 与 Nemotron 3 Ultra/DeepSeek V4 效率优化路径趋同"；新增 O143 试金石："NoPE 替代 RoPE 在长上下文（1M）外推性能实测；Attention Residuals 训练成本 +4%/推理 +2% 的量化收益；LatentMoE 压缩路径与 MLA 兼容性问题"
增量 2【KV cache 三层算力栈 §2.3 / 推理引擎 §2.1】FlashInfer→SGLang/vLLM 集成数据确认：inter-token latency -29-69%，long context -28-30%（★ 建议补）
来源：inbox/jay/2026-07-29-1105-jay-five-category-briefing.md Backend B6（arXiv:2606.20295v2）+ inbox/spark/2026-07-29-llm-infra-e1prep.md 增量 3 + inbox/jay/2026-07-29-engineering-e1prep.md 增量 4
FlashInfer 集成数据确认展开： - 核心数据：FlashInfer 集成到 SGLang 和 vLLM，实现 inter-token latency 降低 29%-69%，长上下文推理延迟降低 28%-30% - 核心技术细节： - block-sparse + composable KV cache 格式：FlashInfer 设计的 KV cache 布局优化 - JIT 模板适配不同 Attention 变体：运行时编译，支持 MHA/GQA/MQA/MLA 等多种 attention 变体 - load-balancing 调度算法：在 attention 计算阶段动态负载均衡 - 与 PagedAttention 2.0 互补构成 KV cache 全栈体系： - PagedAttention 2.0（vLLM 引擎内 GPU 显存管理）：20% → 90%+ 显存利用率 · 单卡并发 5-23× · OS 虚拟内存式 KV 分页 - FlashInfer（attention 计算本身的高效实现）：inter-token latency -29-69% · long context -28-30% · block-sparse + JIT - LMCache（跨引擎 KV 缓存共享）：cost -90% / speed 14× / startup 3min → 30s · crash-safe - 三者互补：PagedAttention = 显存管理；FlashInfer = 计算引擎；LMCache = 跨引擎共享
与活文档关系：inference.md §2.4 SGLang v0.6 Breaking Changes 已收 FlashInfer 强制；§2.3 KV cache 14 件套已收 LMCache（USENIX + akshay_pachaar）；但 arXiv:2606.20295v2 完整集成数据（inter-token -29-69% / long context -28-30%）+ block-sparse + composable KV cache + JIT 模板 + load-balancing + 与 PagedAttention 2.0 互补关系未单独作为「FlashInfer→SGLang/vLLM 集成里程碑」节点入位
建议归入：§2.3 KV cache 三层算力栈（沿用 LMCache 一行，新增「FlashInfer arXiv:2606.20295v2 → SGLang/vLLM 集成（inter-token latency -29-69% · long context -28-30%）· block-sparse + composable KV cache + JIT 模板 + load-balancing 调度 · 与 PagedAttention 2.0（显存管理）互补构成 KV cache 全栈体系」小节）；新增 C70 共识候选："KV cache 全栈体系三件套 = PagedAttention 2.0（显存管理 · 20% → 90%+）+ FlashInfer arXiv:2606.20295v2（attention 计算 · inter-token -29-69%）+ LMCache（跨引擎共享 · cost -90%）"；新增 O144 试金石："FlashInfer 在 vLLM v0.20+ 默认集成状态；JIT 模板适配 MLA/KDA 等新 attention 变体的性能；block-sparse 在 MoE 模型部署的实际收益"
增量 3【推理引擎 §2.1 / 调度 §2.2 / 选型决策树 §2.13】vLLM Conference 2026 Roadmap（Ray Summit）——Disaggregated serving + Speculative decoding 1000+ TPS + Multi-tier KV offloading（★ 建议补）
来源：inbox/jay/2026-07-29-1505-jay-briefing-inference-rag-agent-mutlimodal-stack.md §1.2 vLLM Conference 2026 Roadmap + inbox/spark/2026-07-29-llm-infra-e1prep.md 增量 4 + inbox/jay/2026-07-29-1105-jay-five-category-briefing.md Backend B6
vLLM Conference 2026 Roadmap 核心展开： - 重点 roadmap 内容（Ray Summit）： 1. Flat Model 和 Model Runner V2 迁移：vLLM 内部架构迁移，简化部署流程 2. Disaggregated serving + multi-tier KV offloading：PD（Prefill-Decode）分离部署 + 多层 KV 卸载（GPU HBM → CXL DRAM → SSD） 3. Speculative decoding 目标：1000+ TPS：投机解码目标突破 1000 tokens/s（vLLM 0.5.x 已实现 FlashInfer kernel 融合 + EAGLE3 头预测） 4. Quantized KV cache compression（production 级）：生产级量化 KV cache 压缩 - vLLM 0.5.x 已实现：FlashInfer kernel 融合，EAGLE3 头预测 - 预测影响： - Disaggregated serving = 与 CNCF llm-d K8s PD 分离对齐 - Multi-tier KV offloading = 与 LMCache（跨引擎）+ HyMCache（CXL 三层）对齐 - Speculative decoding 1000+ TPS = 与 EAGLE-3 / Medusa / Self-Speculative 对齐 - Quantized KV cache production = 与 TurboQuant 6× + MXFP4/MXFP8 第 5 量化分叉对齐
与活文档关系：inference.md §2.1 vLLM 已收 v0.19.0 + V1 connector + MRV2 + Hybrid SSM disagg；§2.2 调度已收 Disagg 5 节点；但 vLLM Conference 2026 官方 roadmap（Flat Model + Model Runner V2 + Disaggregated serving + Multi-tier KV offloading + Speculative decoding 1000+ TPS + Quantized KV cache production）未单独作为「vLLM 2026 H2 路线图」节点入位
建议归入：§2.1 vLLM（新增「vLLM Conference 2026 Roadmap（Ray Summit）· Flat Model + Model Runner V2 + Disaggregated serving + Multi-tier KV offloading + Speculative decoding 1000+ TPS + Quantized KV cache production」小节）+ §2.2 调度（沿用 Disagg 5 节点，强化 vLLM roadmap disaggregated serving 验证）；新增 C71 共识候选："vLLM 2026 H2 路线图 = Disaggregated serving + Multi-tier KV offloading + Speculative decoding 1000+ TPS + Quantized KV cache production · 与 CNCF llm-d K8s PD 分离 + LMCache/HyMCache 多层 KV 对齐"；新增 O145 试金石："vLLM 0.6+ 实际发布时间线；Speculative decoding 1000+ TPS 实测对照 EAGLE-3/Medusa；Multi-tier KV offloading 在 H100 8 卡 / GB200 实际吞吐"
增量 4【推理引擎 §2.1 / 选型决策树 §2.13】SGLang vs vLLM 2026 深度对比（L40 1-100 并发基本持平 + 结构化输出 SGLang 优势）+ HF TGI 维护模式 + NVIDIA Dynamo 跨节点编排层（★ 建议补）
来源：inbox/jay/2026-07-29-1506-jay-five-category-briefing-p2.md Backend B1（SGLang vs vLLM 2026 深度对比 Spheron + LeetLLM）+ inbox/jay/2026-07-29-1105-jay-five-category-briefing.md Backend B4（tekBlueprint 生产推理框架对比）+ inbox/spark/2026-07-29-llm-infra-e1prep.md 增量 5
SGLang vs vLLM 2026 深度对比核心数据：
| 并发数 | vLLM tok/s | SGLang tok/s | 差距 |
|---|---|---|---|
| 1 | 312 | 318 | SGLang +2% |
| 10 | 890 | 902 | SGLang +1% |
| 50 | 1,850 | 1,920 | SGLang +4% |
| 100 | 2,010 | 2,050 | SGLang +2% |
- 关键结论：无前缀复用时两者性能基本持平，差异在 run-to-run 波动范围内；SGLang 在结构化输出/函数调用场景有优势：grammar-cache 行为更激进，重复 schema 场景编译 grammar automaton 复用更好；Fish Audio 实测：SGLang 比 vLLM 吞吐快 16%，p99 TTFT 13.1ms vs 23.6ms
- 2026 引擎格局变化：
- HuggingFace TGI 已进入维护模式（接受 minor bug fix，不再推荐新部署）；HF 官方推荐迁移目标：vLLM / SGLang / llama.cpp / MLX（Apple）
- TensorRT-LLM 高并发场景（100+ 并发）优势扩大，但配置复杂度高
- NVIDIA Dynamo：跨节点协调层（非单节点引擎），可调度 TensorRT-LLM / vLLM / SGLang；支持 PD disaggregation；目标场景：超大规模多节点推理集群
与活文档关系：inference.md §2.1 推理引擎 6 寡头已收 vLLM/SGLang/TRT-LLM/Ollama/Colibri/LMDeploy；§2.13 推理引擎可复现性危机已收 Turion.ai benchmark；但 SGLang vs vLLM 2026 深度对比（L40 1-100 并发基本持平 + Fish Audio 16%）+ HF TGI 维护模式 + NVIDIA Dynamo 跨节点编排层未单独作为「推理引擎选型决策树 v3.0」节点入位
建议归入：§2.1 推理引擎 6 寡头（新增「SGLang vs vLLM 2026 深度对比（L40 1-100 并发基本持平 + 结构化输出/函数调用 SGLang 优势 + Fish Audio 16%/p99 TTFT 优势）+ HF TGI 维护模式（推荐迁移 vLLM/SGLang/llama.cpp/MLX）+ NVIDIA Dynamo 跨节点编排层（PD disaggregation）」小节）+ §2.13 推理引擎可复现性危机（沿用 + 强化 HF TGI 迁移指南）；新增 C72 共识候选："2026 H2 推理引擎选型 = SGLang（结构化输出 + RadixAttention + p99 TTFT 优势）/ vLLM（生态成熟）/ TRT-LLM（H100 极致）/ Ollama（边缘）/ Colibri（纯 C 25GB 744B）+ HF TGI 维护模式 + NVIDIA Dynamo 跨节点编排层统一"；新增 O146 试金石："NVIDIA Dynamo 在 100+ 节点规模的实际调度延迟；vLLM vs SGLang 在 1M context 长上下文实测差异；HF TGI 迁移周期对生产部署的影响"
2. 值得警惕的矛盾或待核实说法
| # | 矛盾/待核实项 | 来源 | 风险级别 | 建议行动 |
|---|---|---|---|---|
| 1 | Kimi K3 Coding/Agentic SOTA 属官方宣传 | jay five-category-briefing Backend B2 | 🟡 待核实 | 需第三方评测（LiveBench / BFCL / TEA 对照） |
| 2 | Kimi K3 MXFP4 量化精度损失实测数据缺失 | spark llm-infra-e1prep | 🟡 待核实 | 等 vLLM/SGLang 官方 benchmark 或第三方评测 |
| 3 | FlashInfer 29-69% latency 降低 数据来自 arXiv 2606.20295v2，需对照 SGLang/vLLM 官方 benchmark 确认测试条件 | jay Backend B6 + spark 增量 3 | 🟡 待核实 | 确认序列长度、batch size、GPU 类型 |
| 4 | vLLM Conference 2026 Speculative decoding 1000+ TPS 为 roadmap 目标，尚未实测 | jay Backend B6 | 🟢 远期目标 | 跟踪 vLLM 0.6+ 实际发布时间线 |
| 5 | Attention Residuals 训练成本 +4%/推理 +2% 来自 Raschka 博客解析，非官方 arXiv 原文 | Raschka blog | 🟡 待核实 | 等 arXiv:2607.24653 原文核验 |
3. 本次涉及 arXiv 号列表
| arXiv 号 | 论文/主题 | 增量归属 | 建议归位节 |
|---|---|---|---|
| 2607.24653 | Kimi K3 开放前沿智能（官方 arXiv 首次披露；Raschka 解析立标） | 增量 1 | §2.1 推理引擎 |
| 2606.20295v2 | FlashInfer Token-Operations Oriented Inference（→SGLang/vLLM） | 增量 2 | §2.3 KV cache |
| 2607.24027 | Sol-Attn diffusion transformers 注意力稀疏化（旁证） | 旁证 | §2.5 稀疏注意力 |
| 2607.23402 | Characterizing Warp Divergence Pascal 到 Blackwell（旁证） | 旁证 | §2.4 Kernel |
| 2607.23373 | UltraViT 端侧延迟优化 vision encoder（旁证） | 旁证 | §2.1 推理引擎 |
| 2607.18141 | HyMCache CXL 三层 KV cache（已在 inference.md §9，横向参照） | — | §2.3/§9 横向 |
| 2510.09665 | LMCache 跨引擎 KV 缓存 crash-safe（已在 inference.md §2.3，横向参照） | — | §2.3 横向 |
| 2607.22529 | Skill Self-Play（已在 inference.md §5，横向参照） | — | §5 横向 |
4. 已检查来源清单
以下来源经本次扫描确认无 inference 主题新增或已在上方增量中覆盖，避免重复检索：
inbox/jay/2026-07-29-1105-jay-five-category-briefing.md→ Database/Cloud-Native/CSDN/Reproduction 分类（已提取 Backend B1-B6 inference 相关，其余归档）inbox/jay/2026-07-29-1506-jay-five-category-briefing-p2.md→ CNCF llm-d（llm-infra 主题，非 pure inference）inbox/jay/2026-07-29-1055-jay-engineering-filter-rss-round.md→ Lilian Weng Harness Engineering / MSR Memora / uv 0.12.0（engineering 主题，非 inference 主线）inbox/jay/2026-07-29-1455-jay-engineering-filter.md→ vLLM vs Ollama vs TRT-LLM（已并入增量 4 选型决策树）inbox/jay/2026-07-29-1735-jay-evening-hn-trending-raschka-codex-sqlite.md→ OpenAI Codex Security + SQLite WAL（已提取 Raschka Kimi K3 Architecture，余归档）inbox/jay/2026-07-29-2105-jay-evening-arxiv-agentic-rag-memory-supplement.md→ Agent Memory / Agentic RAG（agent 主题，非 inference）inbox/jay/2026-07-29-engineering-e1prep.md→ 工程主题（已提取 FlashInfer 集成数据，余归档）inbox/tom/2026-07-29-0900-hf-daily-2026-07-29.md→ HF Daily 15 件（Kimi K3 arXiv:2607.24653 263▲ + Sol-Attn 25▲ 旁证；余为 agent/multimodal/RAG 主题）inbox/tom/2026-07-29-rag-e1prep.md→ RAG 主题inbox/tom/2026-07-29-agent-rag-longcontext-radar.md→ Agent/RAG/Long-Context 主题inbox/flyp/2026-07-29-multimodal-e1prep.md→ multimodal 主题inbox/flyp/2026-07-29-risk-e1prep.md→ risk 主题inbox/spark/2026-07-29-llm-infra-e1prep.md→ 主要来源：已提取增量 1-4，余为 llm-infra 主题（7 主线中有 4 条 inference 邻接已迁移，3 条为 llm-infra 专属）inbox/spark/2026-07-29-agent-e1prep.md→ Agent 主题（Kimi K3 沿用已引用）inbox/stephen/2026-07-29-ai-industry-e1prep.md→ AI industry 主题（Anthropic Dario + frontier lab 开源立场，非 inference 主线）inbox/stephen/2026-07-29-1245-stephen-coordination-check-noon.md→ 协调棒（Kimi K3 arXiv 披露已引用）- paper_cards/602-642 共 41 张新卡 → 主分类 0 张 inference-systems（application/multimodal/benchmark/engineering 为主）；副分类邻接 4 张 inference-efficient = 626 Sol-Attn / 628 WarpDivergence / 632 WorldDiT / 633 UltraViT
5. 本次 E1 预消化结论
增量条数：3 主线 + 1 警示 + 1 待核实
结论：inference 主题 7-28 22:00 → 7-29 22:00 约 24h 窗口为低密度，与昨日一致。本场核心新增为 Raschka Kimi K3 Architecture Notes 419 分 HN Trending 完整披露四大新组件（NoPE everywhere 首个前沿级全 NoPE 模型 + LatentMoE 压缩 + Attention Residuals + 与 Nemotron 3 Ultra/DeepSeek V4 横向对比）作为 §2.1 Kimi K3 节点的深层补充，以及 FlashInfer→SGLang/vLLM 集成数据（-29-69% / -28-30%）与 vLLM Conference 2026 Roadmap 作为 §2.1/§2.3 路线图锚点。无 pure inference-systems 主分类新 arXiv 卡片是本场最重要信号——7-27~29 research frontier 集中在 multimodal/agent/engineering，inference-systems 主分类连续两日无新增卡片。
建议今晚活文档接力动作： 1. Raschka Kimi K3 Architecture Notes 入 §2.1（四大新组件完整披露 + Raschka LLM Architecture Gallery） 2. FlashInfer→SGLang/vLLM 集成数据 入 §2.3（KV cache 全栈三件套 PagedAttention + FlashInfer + LMCache 关系确立） 3. vLLM Conference 2026 Roadmap 入 §2.1（Disagg + Multi-tier KV offloading + Spec decoding 1000+ TPS） 4. SGLang vs vLLM 2026 深度对比 入 §2.1/§2.13（选型决策树更新 + HF TGI 维护模式 + NVIDIA Dynamo） 5. C69-C72 共识 + O143-O146 试金石 写入对应候选池