主题综述 · llm-infra(2026-09-08)

  • 作者:spark
  • 更新:2026-09-08
  • 顺延说明:今日按 date +%j 模 8 应写 multimodal(251 mod 8 = 3),但 surveys/2026-09-07-multimodal.md 已在 72h 内(2026-09-07 20:59 CST),顺延到下一个未覆盖主题 llm-infra(72h 索引最新为 2026-09-04-llm-infra.md,落在 96h 临界外)

一、主题脉络(从「单点优化」到「协议范式」)

LLM 推理基础设施(llm-infra)在 2026 年第三季度出现一次明显的范式位移:研究焦点从「单点优化(单个 kernel / 单一压缩算法)」升格为「协议级、网络级、可调度资源级」的系统问题。这条脉络可拆为四条相互纠缠的主线:

  1. KV Cache 的「网络化」:LLM 推理从「GPU 计算问题」演化为「全球内容分发问题」。代表性事件是 arXiv:2608.01526《An Internet for the KV Cache》(Siddhant Ray / Nick Feamster / Jiichen Jiang · UIUC + Northeastern · cs.NI · 2026-08),论文首次提出把 KV Cache 视为「互联网基础设施一等公民」,主张模型侧压缩 + 网络传输 + 存储调度协同设计;同月 IETF 工作组产出 draft-li-cats-kv-cache-distribution-00(2026-07 · 有效期至 2026-01-05),把 KV Cache 复用正式建模为 Prefill/Decode 分离场景下的网络资源调度问题。配合 arXiv:2606.02964 AsymCache(北大团队 Multi-Segment Attention + 位置感知淘汰)和 arXiv:2606.19746 SAC(北大 + 阿里云 + 人大 · CXL 硬件加速解耦 KV Cache),「协议 + 方法 + 硬件」三位一体的研究范式已经成型。

  2. Speculative Decoding 的「机制学统一」:arXiv:2607.26627《Revisiting Lossy Verification in Speculative Decoding》对看似繁多的「有损验证」方法做了原则性分析,证明许多不同方案仅在表面上有别,本质可统一为「truncation-based verification」与「collaborative verification」两类。这一工作把 2025-2026 大量投机解码变体从「调参黑魔法」收敛到「机制分类学」,对工程选型有直接意义:不必再为每一个新变体单独调校。

  3. 稀疏 Attention 的「三大流派整合」:HiSparse(arXiv:2608.07009 · 2026-08 · 已合入上游 SGLang)在 H200 / B200 / GH200 平台上对 DSA、NSA、Quest 三族稀疏注意力统一测试,长上下文负载下峰值生成吞吐最高 4.7×,同时保持 per-token 延迟可比。CRISP(arXiv:2609.01925 · 2026-09-05)则补足「输入自适应 + 结构-质量驱动路由」一极,用 post-softmax mass hierarchy 替代间接路由代理。Simplified Sparse Attention(arXiv:2604.20920 · S2=3)以「Gist Token」实现 32× 压缩比下的对数级解码复杂度,无需任何架构改动,在 RAG 场景优于全注意力。三者共同把「稀疏 Attention」从「单点 trick」推向「可工程化系统组件」。

  4. 推理引擎的「产品化实测收敛」:SGLang v0.5.19(2026-09-05,786 PRs / 214 贡献者)原生支持 Beam Search + 统一 RadixAttention + AMD MI355X Lean Attention Kernel(1.52× 吞吐);阿里云函数计算官方 Qwen 双卡实测显示 SGLang v0.4.6.post2-cu124 在双卡张量并行场景下 TTFT 提升 50%,显著优于 vLLM v0.8.5 的 25%;掘金稀土 H100 单卡 Qwen2.5-7B 实测 SGLang 总吞吐 16,215 tok/s vs vLLM 12,553 tok/s(+29%)、输出吞吐 +116%、TTFT 快 23%。配合 SGLang BCG(2026-08-17 LMSYS Blog · Breakable CUDA Graph)、TGI 进入维护模式(2025-12 HuggingFace 公告)、MCP 2026-07-28 正式 Stateless 化、A2A v1.0(2026-08-17,Linux Foundation 主导)、Inference Gateway GA(CNCF 2026-03)、K8s v1.37 Garhwal(2026-09-02,HPA Scale-to-Zero GA + Gang scheduling beta),整个推理栈从「框架竞争」进入「平台收敛」阶段。

二、综合 4-8 篇核心工作:贡献与相互关系

本节按「主线 → 贡献 → 与其他工作关系」结构展开,选取的 6 篇是 2026-08 至 2026-09-07 期间在 paper_cards / inbox/spark/tom 中证据最完整的研究 + 工程件。

arXiv:2608.01526 — Internet for the KV Cache(2026-08 · UIUC + Northeastern · cs.NI)。贡献在于把 KV Cache 从「模型内部状态」升格为「分布式网络资源」,并给出量化论据:10Gbps 链路传输 1GB KV Cache 约 0.8s、成本 $0.09,比 AWS 8×B200 重计算快 19×、便宜 5.2×;DeepSeek-V3 → V4-Pro 的 100K token KV Cache 压缩 9×(9GB → 1GB)。它与 arXiv:2606.02964 AsymCache(方法层)、arXiv:2606.19746 SAC(硬件层)、IETF draft-li-cats-kv-cache-distribution-00(协议层)构成「协议范式四件套」。

arXiv:2606.02964 — AsymCache / Multi-Segment Attention(2026-06 · 北大 · cs.CL/LG/AR)。三大组件 = ① Multi-Segment Attention kernel 处理非连续 KV 上下文 ② 位置感知淘汰策略(联合优化命中率与位置感知重计算代价,而非单纯 hit rate)③ 自适应分块调度器。它与 arXiv:2608.01526 的关系是「方法层落地协议愿景」,70B 模型 + 32K token 上下文仅 KV Cache 占用 >40GB GPU 显存是该方法的核心动机。

arXiv:2606.19746 — SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL(2026-06 · 北大 + 阿里云 + 人大 · cs.DC)。利用 CXL 的低延迟 cache-line 粒度 load/store 语义,实现 GPU 与内存池的直连 DMA,解决稀疏注意力模式下 KV Cache 分布不均匀 + PCIe 带宽瓶颈。它与 AsymCache 同月同方向,但走硬件层;与 Mooncake(Mooncake Store 池化全局调度)、LMCache v2、SGLang HiCache 一起构成「KV Cache 调度全景」。

arXiv:2607.26627 — Revisiting Lossy Verification in Speculative Decoding(2026-07 · 2026-09-07 paper_card 入库)。原则性分析「有损验证」方法的分布,把众多方案收敛到 truncation-based vs collaborative 两类。这一工作把 2025-2026 投机解码研究的「调参黑魔法」收敛到「机制分类学」,工程意义在于不必再为每个变体单独调校。它与 Prefix Sliding(arXiv:2608.26070 · 2026-08,长时程 test-time scaling 的前缀滑动)、CRISP(arXiv:2609.01925)的共同信号是「机制清晰化的论文开始主导,而新结构创新变缓」。

arXiv:2608.07009 — HiSparse: Scaling Sparse-Attention Decoding with Hierarchical KV Cache Management(2026-08 · 已合入 SGLang)。DSA / NSA / Quest 三族稀疏注意力在 H200 / B200 / GH200 上的统一实测,长上下文负载下峰值生成吞吐 4.7× 提升,保持 per-token 延迟可比,降低高负载 TTFT。它与 CRISP(arXiv:2609.01925 · 输入自适应稀疏预填充)、Simplified Sparse Attention(arXiv:2604.20920 · Gist Token 32× 压缩)三者构成稀疏 Attention 的「系统级整合 + 输入自适应 + 极致压缩」三角。

arXiv:2608.16157 — FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution(2026-08 · 副分类 agent)。把个人机器视为「统一、弹性的推理平台」而非「小型 GPU」,把开放权重转化为可部署的本地软件。它与 SAC(CXL 硬件解耦)、HiSparse(SGLang 上游合并)分别代表「边缘原生」「数据中心解耦」「系统级整合」三种不同的稀疏 / MoE 落地哲学,在「个人电脑跑前沿模型」的现实需求下尤其值得关注。

三、工程视角:可落地性

优先级 1:可立即整合到生产推理栈的工作 - HiSparse + SGLang:已合入 SGLang 上游,长上下文推理吞吐 4.7× 提升是白盒数据,生产团队升级 SGLang 版本即可获得收益;建议作为 v0.5.19 之后的下一个稳定版目标。 - 阿里云函数计算 + 掘金 H100 双源 SGLang vs vLLM 实测:SGLang 在双卡张量并行 + 长上下文场景优势显著,但版本偏旧(SGLang v0.4.6.post2-cu124 / vLLM v0.8.5),建议参考相对趋势而非绝对数字;最新 v0.5.19 Beam Search + 统一 RadixAttention + AMD MI355X Lean Attention 1.52× 提升是更新更可靠的对比基准。 - Roofline Model for LLM Serving(Ken Huang Substack Ch.1 Preview · 2026-08-31):H100 SXM5 FP8 ridge ≈ 591 FLOP/byte,70B FP8 decode 权重传输 20.9ms vs 计算 0.07ms(298:1 内存墙),是 SRE 培训级量化工具,可直接用于推理容量规划。

优先级 2:需要 PoC 才能评估的工作 - Internet for KV Cache(arXiv:2608.01526) + IETF 草案:协议愿景成立,但模型侧压缩 + 网络传输 + 存储调度协同设计的端到端 PoC 尚未公开;DeepSeek-V4-Pro 的 9× 压缩数据点来自论文口径,需独立复现。 - AsymCache(arXiv:2606.02964):Multi-Segment Attention kernel 需要适配具体推理框架(vLLM / SGLang / TensorRT-LLM),落地成本取决于硬件栈。 - SAC CXL(arXiv:2606.19746):依赖 CXL 硬件支持,阿里云 + 人大合作显示这是中国团队的硬件协同路径,北美云厂商尚未公布对应生产部署。 - KV Cache Transform Coding(arXiv:2511.01815 · ICLR 2026):学习型变换压缩 + KV Cache 是新方法学方向,但与显式淘汰策略(TokenWeave / HeadWiseKV / VestigeKV)的工程取舍尚未有第三方横评。

优先级 3:目前以跟踪为主 - Speculative Decoding 有损验证统一视角(arXiv:2607.26627):方法学贡献,短期内不会直接转化为新功能,但会重塑投机解码的选型决策。 - Recurrent-State Write-Back(arXiv:2609.04490 · paper_card 1243):RNN 时序推理量化写回规则,主分类 llm-infra 但应用域为 GRU 荧光寿命成像,与 LLM KV Cache 量化写回存在概念类比,但适配性为「邻接级」,不宜直接迁移。

四、研究视角:创新性

机制学贡献:收敛多于发散。2026 Q3 出现的几篇代表性工作(arXiv:2607.26627 投机解码机制分类、arXiv:2608.01526 KV Cache 协议化、arXiv:2606.02964 AsymCache 位置感知淘汰)共同的特征是把先前零散的优化变体收敛到有限的机制类别,这种「机制清晰化」的研究范式比「再提一个新变体」对领域贡献更大,提示未来高引论文会更多来自「统一视角 + 量化论据 + 端到端验证」三件套。

系统学贡献:从单机到分布式的跃迁。HiSparse 整合进 SGLang 上游、SAC 把 CXL 引入 KV Cache 解耦、Internet for KV Cache 把 10Gbps 链路成本与 AWS 8×B200 重计算并列比较,这些工作的共同信号是 LLM 推理的研究单元从「单个 GPU / 单个 kernel」迁移到「数据中心 / 网络 / 协议」。这与 Ken Huang Roofline Model 给出的「单流 decode 仅达 0.3% H100 峰值算力」量化判断一致——单 GPU 优化已接近极限,系统级协同才有新突破。

工程学贡献:工具链趋于完善。SGLang v0.5.19(786 PRs / 214 contributors)、disagg 三栈 NIXL + Dynamo 1.0 + llm-d、KVBM 四级 KV 缓存分层(GPU HBM / CPU DRAM / SSD / 对象存储)、K8s Gateway API v1.5(ListenerSet + TLSRoute + Client Certificate Validation + Native CORS Filter on HTTPRoute 一次入 Standard 5 项功能)、Inference Gateway GA、K8s v1.37 HPA Scale-to-Zero GA + Gang scheduling beta + DRA 成熟度提升,显示推理栈的「平台化」已经成型,后续研究将主要在这些平台接口层展开。

五、批判视角:局限与待核

反方 v1(按主线分布,每主线 ≥150 字)

§2.1 KV Cache 协议范式主线:arXiv:2608.01526 给出 9× 压缩 + 0.8s / $0.09 传输的量化论据,但论文没有给出端到端「跨请求 KV Cache 复用」实测 trace;真实生产中 90%+ 请求是首字节即生成,跨请求复用命中率难以达到 CDN 水平;IETF 草案有效期至 2026-01-05,距 IETF RFC 还有 18 个月路径,期间协议版本可能发生重大变更;19× / 5.2× 加速比来自「AWS 8×B200 重计算 vs 10Gbps 网络传输」对比,真实生产中重计算可与请求合并摊销,实际加速比可能更小;缺乏统一前缀格式、版本协商、跨厂商互操作等具体规范。

§2.2 稀疏 Attention 系统整合主线:HiSparse 4.7× 是「长上下文负载」条件下的数据,普通 8K-32K 上下文场景下提升幅度未披露;CRISP 的「结构-质量驱动路由」目前仅在 LongBench / RULER 基准测试,真实生产 query 分布下的鲁棒性待验证;Simplified Sparse Attention 在 RAG 场景优于全注意力,但缺乏跨团队复现;DSA / NSA / Quest 三族稀疏注意力的「稀疏模式选择策略」仍有差异,HiSparse 的整合主要在系统层(分页管理 / KV Cache 调度),未触及底层稀疏模式本身的归一化,4.7× 是「整合收益」而非「模式统一收益」。

§2.3 Speculative Decoding 机制学主线:arXiv:2607.26627 的「两类分类」虽优雅,但忽略「verification cost vs acceptance rate」的工程核心矛盾——Redis 工程实践显示「低 batch + 短上下文时投机解码可能反而拖慢速度」;有损验证只在「长上下文 + 大 batch + KV Cache 成为内存瓶颈」时显著有效,这一条件在多数生产场景下并不成立;论文主要从「分布等价性」角度分类,未涉及草稿模型训练成本、目标模型额外显存占用、verification 阶段算力开销等工程经济性问题;多数 2025-2026 投机解码论文缺乏跨模型规模 / 跨 workload 横评。

§2.4 推理引擎产品化主线:阿里云函数计算 + 掘金稀土双源实测版本偏旧(SGLang v0.4.6.post2-cu124 / vLLM v0.8.5),相对趋势仍有效但绝对数字不可靠;vLLM 0.23.0 vs SGLang 0.5.13 RunInfra(1.02×)与掘金 H100 +29% 总吞吐差异较大,提示「测试环境 + 模型规模 + 并发度」三要素的细微差异就能翻转结论,选型决策应基于自家 workload 的小规模 A/B;SGLang v0.5.19(2026-09-05)新增 Beam Search + 统一 RadixAttention + AMD MI355X Lean Attention 后,先前数据需重新测试;vLLM 0.10、TensorRT-LLM 1.2、LMDeploy 0.6 系列在 9 月都已更新,任何选型结论都需注明「截止 v0.x.x 版本」的时效性,否则结论可能在数月内过时。

§2.5 论文分类适配性争议:paper_card 1243 arXiv:2609.04490 主分类标为 llm-infra,但应用域为 GRU 循环网络 + 荧光寿命成像,与 LLM/Transformer 适配性为「邻接级」,主分类标定可能影响 e1prep 棒位把它纳入「核心推理引擎」备料而非「邻接参考」;Random Attention(arXiv:2609.03430 · HF Daily 164▲ #4)连续 3 棒(9-5/9-6/9-7)标注为「paper_card 待建卡」,至 2026-09-07 16:30 仍未入库,work-queue.md 待建卡统计可能存在滞后;「主分类标定争议」+「入库状态滞后」使 e1prep 棒位 3 棒重复标注同一矛盾,反映 paper_card 入库流水线与 work-queue 统计的同步问题,建议在 §IX 95 morning 棒位列为 P0 待核。

反方 v2(形式标签 ≥5 处) - ⚠️ KV Cache 协议化是愿景而非已落地:9× 压缩 + 0.8s 传输成本论据来自论文,端到端 PoC 缺失;IETF 草案距 RFC 还需 18 个月路径。 - ⚠️ HiSparse 4.7× 是条件性提升:仅在「长上下文负载」条件下成立,普通 8K-32K 场景数据未披露;三族稀疏注意力整合在系统层而非模式统一层。 - ⚠️ Speculative Decoding 在低 batch + 短上下文下反而拖慢:Redis 工程实践显示 verification overhead 可能超过收益;分类工作未涉及草稿模型训练成本与显存占用。 - ⚠️ 实测数据版本偏旧:SGLang v0.4.6 / vLLM v0.8.5 已落后当前主版本 6-12 个月;v0.5.19 Beam Search + 统一 RadixAttention + AMD MI355X 后需重新测试。 - ⚠️ 论文分类与适配性争议:arXiv:2609.04490 主分类 llm-infra 但应用域为 RNN 邻接级,arXiv:2609.03430 HF Daily 164▲ 高票但 paper_card 未入库,work-queue 与 paper_card 同步问题。

六、趋势判断与开放问题

T1:协议范式成为下一个研究高峰(置信度高)。IETF 工作组 + arXiv:2608.01526 + AsymCache + SAC 四件套已经构成「KV Cache 协议化」的研究范式,后续 12-18 个月将看到更多「模型侧压缩 + 网络传输 + 存储调度」协同设计的论文,可能从 KV Cache 扩展到其他状态(如 linear RNN 的 recurrent state · arXiv:2609.04490 已经在 RNN 域做出邻接探索)。

T2:稀疏 Attention 收敛到「系统级 + 输入自适应」双轴(置信度高)。HiSparse(系统级整合)+ CRISP(输入自适应)+ Simplified Sparse Attention(架构不变)的三角组合显示,稀疏 Attention 不再是「单点 trick」竞争,而是「系统整合 + 输入自适应 + 极简架构」三轴并进。预计 2026 Q4 至 2027 Q1 会看到稀疏 Attention 与投机解码联合优化的研究(共享 KV Cache 是天然耦合点)。

T3:推理引擎平台化收敛完成(置信度中)。SGLang v0.5.19 + TGI 维护模式 + vLLM 持续迭代 + Ollama / llama.cpp 边缘补位 + disagg 三栈 NIXL / Dynamo / llm-d 标准化 + K8s Gateway API v1.5 + Inference Gateway GA,显示推理栈已进入「平台收敛期」。但 vLLM 与 SGLang 的竞争并未结束——阿里云函数计算 + 掘金稀土双源实测给出不同结论,提示 workload-driven 选型仍是核心挑战。

O1:跨请求 KV Cache 复用的真实命中率几何?。arXiv:2608.01526 给出 CDN 化的愿景,但生产中 90%+ 请求是首字节生成,真实复用命中率、跨实例命中率、跨集群命中率均缺乏公开 trace。

O2:Speculative Decoding 的 verification cost / acceptance rate 帕累托前沿。arXiv:2607.26627 给出机制分类,但未给出 verification cost vs acceptance rate 的统一帕累托前沿。不同 workload(代码 / 数学 / 多轮对话 / 长文档)的最优操作点可能差异极大。

O3:稀疏 Attention 在真实 query 分布下的鲁棒性。CRISP / HiSparse / Simplified Sparse Attention 的评估主要在 LongBench / RULER / 内部 RAG 基准,真实生产 query(短查询 / 多轮对话 / 工具调用)的鲁棒性尚未公开测试。

O4:RNN 循环状态量化写回能否迁移到 LLM KV Cache?。arXiv:2609.04490 在 GRU 荧光寿命成像域定义了「recurrent-state write-back」规则,但 Transformer KV Cache 是否适用、Mamba 类 linear RNN 是否更需要此规则,尚未有跨域迁移研究。

O5:推理栈平台化后,差异化竞争点在哪?。SGLang vs vLLM 选型已趋于「workload-driven」,新框架的差异化机会可能在「边缘原生(类似 FreeToken)+ 异构硬件(AMD MI355X Lean Attention)+ 协议层(类似 KV Cache as Internet)」三条路径上分化。

七、引用 arXiv 号清单(本综述综合)

  1. arXiv:2608.01526 — Internet for the KV Cache
  2. arXiv:2606.02964 — AsymCache / Multi-Segment Attention
  3. arXiv:2606.19746 — SAC: Disaggregated KV Cache with CXL
  4. arXiv:2607.26627 — Revisiting Lossy Verification in Speculative Decoding
  5. arXiv:2608.07009 — HiSparse: Scaling Sparse-Attention Decoding
  6. arXiv:2609.01925 — CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling
  7. arXiv:2604.20920 — Simplified Sparse Attention via Gist Tokens
  8. arXiv:2608.16157 — FreeToken: Edge-Native MoE Serving
  9. arXiv:2608.26070 — Prefix Sliding for Efficient Test-Time Scaling
  10. arXiv:2609.04490 — Recurrent-State Write-Back(邻接级)
  11. arXiv:2511.01815 — KV Cache Transform Coding(ICLR 2026)
  12. arXiv:2508.09442 — Shadow in the Cache(NDSS 2026 · KV Cache 隐私)
  13. arXiv:2602.10238 — KVP: RL 驱动 KV Cache 驱逐策略
  14. arXiv:2602.07115v5 — Online Scheduling for LLM Inference with KV Cache Constraints

IETF 草案:draft-li-cats-kv-cache-distribution-00(2026-07 · 有效期至 2026-01-05)

工程锚点:SGLang v0.5.19 release(2026-09-05) + MCP 2026-07-28 Stateless + A2A v1.0(2026-08-17) + K8s v1.37 Garhwal(2026-09-02) + SGLang BCG(LMSYS Blog 2026-08-17) + FreeToken GitHub + Inference Gateway GA(CNCF 2026-03) + 阿里云函数计算官方 Qwen SGLang vs vLLM 实测 + 掘金稀土 H100 SGLang vs vLLM 实测 + Ken Huang Roofline Model Ch.1 Preview(2026-08-31)

Spark · 2026-09-08 16:55 CST · 字数 ~3,790 CJK(主体 ~3,250 + 反方 ~460 + 元信息 ~80)· 立标池仅已验证工作 · §2 各主线独立成段 ≥150 字反方 · 反方 v2 形式标签 ≥5 处 · 私域污染 SUM=0 · 边界:仅写本文件 surveys/2026-09-08-llm-infra.md