傍晚工程研究简报 · Jay · 2026-07-16 18:35

主题： RotorQuant 新型 KV 量化 · vLLM 0.15 最新动态 · Inference Engineering 职业化 · 推理引擎工程选型 Substack 全景 筛选标准： 命令、源码、实测数据、架构原理、真实排障 / 选型经验 覆盖范围： scrya-com/rotorquant GitHub · vllm.ai/blog Jul 2026 · Pragmatic Engineer · Dennis Kennetz Substack · The AI Engineer · DesignGurus · jamwithai Substack · arXiv 2603.20397 · deepseek.csdn.net

一、候选条目筛选结果

🔴 高价值保留条目

条目 1：RotorQuant — Clifford 代数重新定义 TurboQuant，10–19× 量化加速

• URL：https://github.com/scrya-com/rotorquant
• 发布：2026 年 3–4 月（持续更新中，1k stars，86 forks）
• 可信度：★★★★☆ GitHub 开源 + arXiv 论文 + 独立评测数据；可交叉验证
• 核心论点：RotorQuant 是 TurboQuant（ICLR 2026）的重新设计，用 Clifford 代数 Cl(3,0) 的几何旋转子替换 TurboQuant 中稠密的 d×d 随机正交旋转矩阵 Π，大幅降低旋转计算开销。

性能对比（Llama 3.1 8B on RTX 5090）： - PlanarQuant 3-bit 配置：decode 119 tok/s，PPL 7.05（vs TurboQuant 3-bit PPL 7.07） - Prefill 提速 5.3×（3,822 vs 722 tok/s） - Decode 提速 28%（119 vs ~93 tok/s） - 已集成 llama.cpp（推荐安装路径）；vLLM 支持请求：vllm#38291；TurboQuant 基础支持：vllm#38171

• 工程意义：RotorQuant 的核心价值在于量化/反量化速度而非精度——旋转步骤从 16,384 FMAs 降至约 100 FMAs，在 Apple Silicon M3 Max 上也有 9–31× 加速。对生产推理引擎而言，这意味着 KV cache 压缩与 decode 计算的流水线间隙几乎消失。与 TurboQuant 类似，RotorQuant 是数据无关的（无需校准数据集），可与 AWQ/GPTQ 权重压缩叠加使用。

• 建议后续：核实 vLLM 对 RotorQuant 的合并进度；对比 llama.cpp 集成路径的生产成熟度。

• 标签：KV-Cache / Quantization / TurboQuant / RotorQuant / Clifford-Algebra / ICLR-2026 / Inference-Engineering

条目 2：vLLM 0.15+ 最新动态（2026-07-15 截止）

• URL：https://vllm.ai/blog + https://github.com/vllm-project/vllm
• 发布时间：持续更新，2026-07-15 仍有活跃 commit
• 可信度：★★★★★ vLLM 官方博客 + GitHub
• 核心内容摘要：

博客重点文章（本期新增）：

1. Prefill/Decode Disaggregation on AMD MI300X（MORI-IO）

   • 单节点 8-GPU AMD MI300X 上实现 prefill/decode 分离
   • 通过 MORI-IO 协议高效传输 KV cache
   • 稳定化 ITL（inter-token latency），提升 goodput

2. vLLM × TileRT：分离式 decode 引擎

   • vLLM V1 新增 connector 接口
   • Prefill 使用原生 vLLM，decode 切换 TileRT 专用低延迟引擎
   • 零对 vLLM 本身的代码修改，双引擎共存于统一 serving layer

3. EAGLE-3 Speculative Decoding on AMD Instinct

   • AMD Quark 训练 + 量化 + 服务 EAGLE-3 draft tokens
   • Kimi-K2.5：吞吐量提升 2.00×；MiniMax-M2.5：提升 1.79×

4. vLLM TPU Backend 重新设计

   • 使用 tpu-inference + JAX-to-XLA lowering + Torchax
   • 支持 ragged paged attention
   • 统一 PyTorch 和 JAX 模型支持

5. vLLM OpenAI API 返回 token IDs 防止 retokenization drift

   • Agent RL 场景下关键：保持精确采样序列用于 on-policy 更新
   • 避免 agent 反馈回路中的累积误差

重要活动： - vLLM Conference 2026：Ray Summit（2026 年 8 月 24–26 日），首届官方 vLLM 大会

vLLM 生态项目矩阵（Jul 2026 最新）： - vllm-ascend：华为昇腾 NPU 支持（Jul 15 更新） - vllm-xpu-kernels：Intel XPU 后端 - vllm-metal：Apple Silicon（MPS 后端） - aibrix：K8s 上的 AI infrastructure - guidellm：LLM 性能评测 - llm-compressor：模型量化 - semantic-router：智能路由 - speculators：推测解码算法库 - vllm-omni：全模态模型支持

• 工程意义：vLLM 正在从"推理引擎"演化为"AI Inference OS"——多后端（NVIDIA/AMD/Intel/Huawei/TPU/Apple/CPU）、多调度策略（分离式 serving + speculation）、多模态统一入口。2026 下半年核心战场是 prefill/decode 分离和推测解码的生产落地。

• 建议后续：核实 vLLM v0.15.1 release note 精确版本号和 RotorQuant 支持状态。

• 标签：vLLM / Inference-Engine / Disaggregation / Speculative-Decoding / AMD-MI300X / TPU / MORI-IO / TileRT

条目 3：Pragmatic Engineer — 什么是 Inference Engineering？（工程职业教育视角）

• URL：https://open.substack.com/pub/pragmaticengineer/p/what-is-inference-engineering
• 作者：Gergely Orosz（Pragmatic Engineer，Pragmaticly 创始人，曾在 Uber/Gripped 任职）
• 发布时间：2026 年（浏览量高，工程社区广泛传播）
• 可信度：★★★★☆ 高质量工程 newsletter，读者以 Senior/Staff/Principal 工程师为主
• 核心论点：

Inference Engineering 定义：模型训练完成之后、负责模型推理全链条的工程学科。核心挑战不是模型本身，而是围绕模型的系统工程。

核心挑战列表： 1. Batching：如何将多个请求打包利用 GPU 并行度 2. Caching：KV cache 管理避免重复计算 3. Quantization：FP16→INT8/FP8 等降低推理成本 4. Serving infrastructure：如何构建高可用推理集群

与普通后端工程的本质区别： - LLM 推理是内存带宽受限（memory-bandwidth-bound）而非计算受限 - Prefill 阶段计算密集，Decode 阶段内存带宽受限 - 长上下文时 KV cache 可能超过模型权重本身占用

• 工程意义：这是目前看到的最清晰的"推理工程"职业定位文章。核心观点：2026 年随着开源模型能力提升，每个公司都需要自己的 inference engineering 团队，不再依赖模型厂商。这与 Inferact（vLLM 商业化）和 RadixArk（SGLang 商业化）的估值逻辑一致——inference stack 是下一个战略高地。

• 建议后续：补充 Gergely Orosz 的其他 inference 相关文章；与 Letta 的 AI agents stack 对比。

• 标签：Inference-Engineering / Career / LLM-Systems / Engineering-Education / Pragmatic-Engineer

条目 4：DesignGurus — LLM Inference at Scale：批处理、缓存、路由与成本控制

• URL：https://designgurus.substack.com/p/llm-inference-at-scale-batching-caching
• 作者：DesignGurus（系统设计领域 Substack，读者覆盖 FAANG 工程师）
• 发布时间：2026 年
• 可信度：★★★★☆ 系统设计视角，内容结构清晰，与 LeetCode/Exponent 读者群高度重合
• 核心内容：

为何 LLM 推理比普通 Web 请求更难： 1. Autoregressive decode：逐 token 生成，每个新 token 依赖全部历史 token 2. Memory-bandwidth-bound decode 阶段：GPU 计算单元等待内存带宽 3. 两个阶段的不同瓶颈：Prefill = 计算密集；Decode = 内存带宽受限

四大优化杠杆：

1. Batching

   • 静态批处理：简单但 GPU 利用率低（很多 GPU 在等待）
   • 连续批处理（Continuous Batching）：新请求可随时插入，vLLM 核心技术

2. Caching

   • Prompt caching：相同前缀只计算一次
   • KV cache：Attention 状态复用，避免重复计算
   • Prefix caching + RadixTree（SGLang）：跨请求共享公共前缀

3. Routing

   • 小模型处理简单请求，大模型处理复杂请求（级联路由）
   • 路由策略影响整体成本和延迟

4. Cost Control

   • 量化降低 per-token 成本
   • 流量调度避免 GPU 空转

• 工程意义：入门到中级的推理系统工程梳理，与 Pragmatic Engineer 那篇互补——后者偏向职业定位，前者偏向技术杠杆细节。

• 建议后续：可作为团队内部"推理工程入门"分享材料；对比 vLLM continuous batching 源码实现。

• 标签：Inference-Engineering / Batching / Caching / Routing / Cost-Optimization / DesignGurus

条目 5：jamwithai — LLM 推理延迟十大优化技术（工程落地视角）

• URL：https://jamwithai.substack.com/p/ml-and-llm-inference-latency-10-techniques
• 作者：jamwithai（AI/ML 工程实践 newsletter）
• 发布时间：2026 年
• 可信度：★★★☆☆ 工程实践类，以技术清单为主，源码分析较少

• 核心内容：10 种延迟优化技术，含 ML 通用（pruning/distillation/quantization）和 LLM 特有关（KV cache/paged attention/speculative decoding/batch dispatch）。Mental model 先于技术清单——先定位瓶颈类型再选技术。

• 建议用途：作为团队知识库的"推理优化技术清单"参考。

• 标签：Inference-Optimization / Latency / Engineering / Techniques

条目 6：The AI Engineer — vLLM vs Ollama vs SGLang vs TensorRT-LLM 工程选型

• URL：https://theaiengineer.substack.com/p/vllm-vs-ollama-vs-sglang-vs-tensorrt
• 作者：The AI Engineer（Letta 团队背景，最活跃的 AI Agent 工程 Substack）
• 发布时间：2026 年（广泛传播）
• 可信度：★★★★☆ 工程社区口碑好，内容直接面向 AI 工程师
• 核心内容摘要：

关键洞察： - Raw model.generate() 浪费 80% GPU 内存：每个请求分配完整上下文 - vLLM 的 PagedAttention 将 KV cache 切分为固定页，消除内存碎片 - SGLang 的 RadixTree 在多轮对话和共享系统提示词场景有 5 倍吞吐量优势 - TensorRT-LLM 适合对延迟有 SLA 要求的实时 API 服务（金融交易、实时客服）

• 工程意义：工程选型标准参考框架。注意：The AI Engineer 将 vLLM 定位为"生产默认"，SGLang 定位为"Agent 场景最优"，与 CSDN 的深度对比（QPS>50 时 SGLang 的断路器更有优势）形成互补。

• 建议后续：与 15:07 简报中的 vLLM vs SGLang 深度对比（CSDN）交叉阅读。

• 标签：Inference-Engine / vLLM / SGLang / TensorRT-LLM / Ollama / Engineering / Comparison / The-AI-Engineer

条目 7：CSDN DeepSeek 社区 — vLLM vs SGLang 生产级对比（断路器视角）

• URL：https://deepseek.csdn.net/69f5ec530a2f6a37c5a7658b.html
• 发布：2026-05-02
• 可信度：★★★☆☆ CSDN DeepSeek 技术社区，有实测数据，需注意中文社区常见的缺乏原始命令的问题
• 高价值内容：

核心论点：当前行业评测严重忽视断路器模式（Circuit Breaker）在异常流量场景下的作用。QPS>50 且请求长度差异显著时，纯批处理策略可能导致级联故障。

实测数据（8×A100-80G）： - SGLang 自适应窗口（5–50ms）：P99 延迟降低 35–40%，吞吐波动范围缩小至 ±10% - vLLM 固定 10ms 窗口：QPS 突发时小请求排队延迟增加 40–60ms，GPU 利用率波动 ±25%

故障案例： - vLLM OOM：5% 超长请求（>8000 tokens）→ 连续 3 次 OOM → 服务不可用累计 47 分钟 - SGLang 熔断成功案例：自动隔离 15% 复杂数学题请求，保障 85% 常规问答响应速度

SGLang 断路器配置示例： python sglang.init_runtime( circuit_breaker_threshold_ms=1800, recovery_window=15, fallback_model="qwen-7b-int8", monitoring_interval=30 # 秒级监控粒度 )

推荐混合架构：vLLM 处理 80% 标准请求，SGLang 处理 20% 特殊请求（长输出、结构化输出、复杂推理）

• 评价：这篇文章补齐了"选型评测"的盲区——不是比吞吐量，而是在异常流量下谁更难发生雪崩。断路器 + 熔断机制是生产部署中必须考虑但很少被写进评测报告的维度。

• 建议后续：建议加入 Jay 的 vLLM vs SGLang 对比知识库文档；核实 SGLang 断路器实现源码路径。

• 标签：vLLM / SGLang / Production / Circuit-Breaker / Fault-Tolerance / CSDN-DeepSeek / Engineering

🟡 补充参考条目

arXiv 2603.20397 — KV Cache 优化策略系统综述

• URL：https://arxiv.org/html/2603.20397v1
• 可信度：★★★★★ arXiv 系统综述论文

• 分类框架：将 KV cache 优化分为五大方向： 1. Cache Eviction（驱逐策略） 2. Cache Compression（压缩与重建） 3. Hybrid Memory Solutions（混合内存方案） 4. Novel Attention Mechanisms（新型注意力机制） 5. Combination Strategies（组合策略）

• 与本简报关联：RotorQuant 属于方向 2（Cache Compression）；CXL 池化属于方向 3（Hybrid Memory）；WAIT 调度策略属于方向 1 与 5 的交叉。

• 建议用途：作为 KV cache 优化领域的分类学参考，可用于主题页梳理。

Dennis Kennetz Substack — LLM Inference Curriculum（工程实践路径）

• URL：https://dkennetz.substack.com/p/llm-inference-curriculum
• 核心内容：从模型架构 → CPU/GPU 数据传输 → CPU offloading 的完整学习路径，强调"先小规模手写推理服务器，再 scale up 找到瓶颈"的学习方法论。
• 建议用途：作为 Jay 内部推理工程学习路径参考。

二、去重说明

以下今日条目已覆盖，不重复深度展开： - ✅ 15:07 简报：TurboQuant 基础（ICLR 2026）、Don't Waste Bits!（CVPR 2026）— 本期聚焦 RotorQuant（TurboQuant 的 follow-on） - ✅ 18:55 简报：DistServe 18 个月复盘、Nexus disaggregation — 本期聚焦 vLLM 的 MORI-IO disaggregation（AMD MI300X） - ✅ 10:50 简报：vLLM/SGLang 生产命令 — 本期聚焦工程选型哲学和故障模式（CSDN 断路器视角）

三、建议写入路径

草稿路径：/shared/research-kb/inbox/jay/2026-07-16-1835-evening-rotorquant-vllm-update-inference-engineering-substack.md

主题分类： - KV-Cache / RotorQuant / vLLM / Inference-Engineering / Production / Substack

四、建议行动

Jay · 2026-07-16 18:35 · Asia/Shanghai