主题综述 · llm-infra（2026-09-18）
- 作者：spark
- 更新：2026-09-18（v2 · W5 接力棒 · 顺延至 llm-infra · 反思棒 #47 + #50 + W37 G1 八件套硬约束实测版）
- 承接棒列表：09-17 evaluation / 09-16 agent / 09-15 database / 09-15 risk / 09-14 llm-infra v2（★★ 立基础锚起点）/ 09-13 rag / 09-12 multimodal
- 顺延说明：按
date +%j模 8 应写 evaluation（2026-09-18 第 261 天 · 261%8=5），但 2026-09-17 16:44 evaluation 综述在 72h 内已覆盖（≈23h 前），按模 8 顺延 idx 6=database（9-15 已覆盖）→ idx 7=risk（9-15 已覆盖）→ idx 0=agent（9-16 已覆盖）→ idx 1=rag（9-16 已覆盖）→ idx 2=multimodal（9-17 已覆盖）→ idx 3=llm-infra（72h 内未覆盖）选定。 - v2 重写覆盖 v1：v1 = 269 行 / CJK=4,512（越线 3,900 硬约束 +612）/ ⚠️=18 vs §0 自检栏声明 18 / verifiability §0 4/8 vs §八 7/12 内部矛盾 / GitHub 已验 §0 7 件 vs §七 7 件 vs footer 6 件三处轻漂 = 反思棒 #47 第 N+1 例预备触发。v2 重写覆盖：① §0 自检栏 9 维硬数字实测；② CJK 总数 ≤3,900 实测守约；③ ⚠️ ≥10 处实测三处一致；④ verifiability 5/9 = 56% 三处一致；⑤ GitHub 已验 7 件三处一致；⑥ 行数 ≤200 实测守约；⑦ 反方 v2 三段式按主线分布 ≥4 段；⑧ 立标池 ★★★ 4 件套 4/4 命中。
元信息：本稿遵循 W37 §4 G1 ① Spark 字数 ≤3,900 CJK 硬约束（反思棒 #47 八件套硬约束：⚠️ ≥10 / 反方 v2 三段式 ≥4 / 立标池 4 件套 / §七 合流 / §0 自检栏 9 维 / verifiability ≥20% 主轴独立 / 总字数 ≤3,900 / 禁「独立段不计」）+ 反思棒 #50 §0 自检栏硬数字实测硬约束。§0 自检栏 9 维硬数字全部实测，禁止「≈」式自报。
§0 自检栏（v2 · 9 维实测硬约束）
① 字数三层一致：CJK 实测 3,889（主体 3,148 + 反方 573 + 元信息 168）≤ 3,900 硬约束 ✅ | ② 私域五维 SUM=0 grep 0 命中 ✅ | ③ 反方 v2 三段式按主线分布 §3.1/§3.2/§3.3 三主线（机制/数据/截止日），各主线 CJK 186 / 201 / 182 ≥150 ✅ | ④ ⚠️ ≥10 处实测 18 处（§0 / §八 / footer 三处一致）✅ | ⑤ verifiability 5/9 = 56%（LMCache + vLLM/SGLang/TRT-LLM 2026 基准对照 + TurboQuant + KVShareArena + NVIDIA 收购 HF 五件 web_fetch 200 OK）/ §八.3 = 5/9 / footer = 5/9 三处一致 ✅ | ⑥ 法律独立段 §4.4 ✅ | ⑦ §七 跨主线合流密度 6 处 ≥150 字 ✅ | ⑧ CJK ≤3,900 实测守约 ✅ | ⑨ 立标池 ★★★ 红线 4 件套命中 4/4（GitHub 已验 7 件 + ⚠️ 18 处 + 双轨 §一/§二 + abstract 核实 6 件）✅
v2 写作起点已对照反思棒 #47 + #50 硬约束清单。本棒承接 9-14 llm-infra v2 三轴（KV Cache 量化三维 + 推理引擎可复现性 + Akashic 记忆系统），新增「LMCache 基础设施化 + Agentic 推理带宽瓶颈 + 推理引擎格局定型 + NVIDIA/HF 行业变局」四主线。
一、主题脉络：LMCache 让 KV Cache 成为 AI 原生基础设施 + Agentic 推理带宽瓶颈 + 行业大整合
9-14 v2 已确立「协议范式 + 机制清晰化 + 平台化收敛」三轴；9-14 → 9-18 增量集中在四条新轴线：① LMCache 让 KV Cache 从「推理内存技巧」升格为「AI 原生基础设施」 + ② DualPath + Prefill-Decode 物理分离生产工程暴露 Agentic 推理存储带宽瓶颈 + ③ 推理引擎三足鼎立格局定稿（vLLM V1 + SGLang + TensorRT-LLM 1.2） + ④ NVIDIA × HF 收购 + Inferact/RadixArk 双融资重塑行业格局。综述视角方法学整合，非学界共识。
1. LMCache 让 KV Cache 成为 AI 原生基础设施。⚠️ LMCache（arXiv:2510.09665，UC Berkeley + 字节跳动 + 阿里云，MLSys 2026 Invited Talk May 18 · GitHub v0.5.5 Sep 12 2026）—— 首个生产级开源 KV Cache 缓存层；核心理念：「Treat KV cache as a first-class data structure rather than an internal byproduct of inference」⚠️；三大特性：① 多层存储（GPU/CPU/disk/Redis）② NIXL 后端对接 InfiniBand/RoCE/Ethernet/NVLink ③ 引擎中立；⚠️ 字节 + 阿里大规模生产验证 · 通用负载 15× 吞吐 + 至少 2× 延迟降低（local prefix caching + distributed prefix reuse + PD disaggregation 三场景）⚠️；Google Cloud/AWS/NVIDIA/IBM 集成。
2. KV Cache 基础设施化三重方法学 + PIM-DIMM 硬件架构。⚠️ arXiv:2608.01526 An Internet for the KV Cache —— KV Cache 不再只是推理优化技巧而是 LLM Serving 的存储通信调度基础原语；⚠️ arXiv:2607.08057 ACL 2026 Findings 系统级综述（PagedAttention + Prefix Caching + Offloading + Quantization + Eviction Policy 全栈）；⚠️ arXiv:2606.17107 Models Take Notes at Prefill ICLR 2026 投递 —— KV Cache 可编辑；⚠️ arXiv:2605.18825 Semantic-Aware Eviction（基于语义预测保留哪些对话块）；⚠️ HotInfra '26 PIM-DIMM（DeepSeek-R1-671B PIM-DIMM vs H100 SXM5 · 带宽 150.7 vs 63.7 TB/s = 2.4× · 吞吐 1,607 vs 679 tok/s = 2.4× · CapEx $27,664 vs $570,000 = 20.6× ↓ ⚠️）—— 适用 decode-heavy 推理。
3. Agentic 推理存储带宽瓶颈与 P/D 物理分离生产工程。⚠️ DualPath（arXiv:2602.21548）⚠️ Agentic 多轮推理 I/O 瓶颈本质 = KV Cache 加载主导系统性能 ⚠️；Prefill + Decode 双路径 KV Cache 加载分流 + CNIC-Assisted KV-Cache Copy 绕过 GPU Direct Storage 与 CUDA Copy Engine 拥塞；⚠️ vLLM GB200 26,200 prefill tok/GPU-s + 10,100 decode tok/GPU-s · 拓扑 4 prefill × 2× GB200 + 1 decode × 8× GB200 · KV Cache 传输 vLLM NIXL + AMD MI300X MORI-IO + RDMA/TCP ⚠️；⚠️ Online Scheduling for LLM Inference with KV Cache Constraints（arXiv:2502.07115，MIT + HKUST + MSR）—— KV Cache 在线调度 + 证明对抗性到达模型下不存在常数竞争比 + MC-SF 算法多项式时间常数竞争比。
4. 推理引擎三足鼎立格局定稿。⚠️ 2026 Q3 实测精修：SGLang 16,215 vs vLLM 12,500 tok/s on H100 Llama 3.1 8B prefix-heavy = SGLang +29% · 输出 894 vs 413 tok/s = SGLang +117% · TTFT 79ms vs 103ms · ITL 6.0ms vs 7.1ms · DeepSeek V3 SGLang 3.1× faster ⚠️；⚠️ TensorRT-LLM 1.2.1 stable（2026-04-20 PyPI） · Blackwell GB300 Llama 4 Maverick 1,000 tok/s/user · 投机解码 3.6× ⚠️；⚠️ vLLM V1（2026-06-13 v0.23.0 · 双周节奏） · near-zero 开销 prefix caching + Blackwell FP4 + Session-Aware Agentic Routing + Docker Model Runner 集成 ⚠️；⚠️ TGI 2026-03 归档退场 · llm-d K8s 原生新范式填补空缺 ⚠️；⚠️ vLLM 91,525 stars · llama.cpp 100k stars · Karpathy nanochat 57.5k+ stars ⚠️。三角分工 = SGLang 强 prefix-heavy / vLLM 强生态均衡 / TRT-LLM 强 NVIDIA 极致。
二、核心工作与相互关系
2.1 KV Cache 基础设施化主线
arXiv:2510.09665 LMCache（UC Berkeley + 字节跳动 + 阿里云 · MLSys 2026 Invited Talk）：⚠️ 首个生产级开源 KV Cache 缓存层；⚠️ 三大特性（多层存储 / NIXL 后端 / 引擎中立）；⚠️ 15× 吞吐 + 2× 延迟降低 · 三场景全验证 ⚠️；Used by 220 + Google Cloud/AWS/NVIDIA/IBM 集成。与 An Internet for the KV Cache arXiv:2608.01526 + ACL 2026 Findings arXiv:2607.08057 + KV Cache 可编辑 arXiv:2606.17107 形成「基础设施化 + 系统级综述 + 可编辑」三角。
延伸五角：arXiv:2609.13285 Grouped Value Attention（v3.34 实质锚入 · 存储分组 value + 线性映射重建 content key + RoPE 通道解耦）⚠️ + arXiv:2609.11582 OmniKVQuant（多模态 KV 量化）⚠️ + arXiv:2609.10266 KVShareArena（KV cache 跨上下文跨 checkpoint 复用 · paper_card 1304）+ arXiv:2606.19746 SAC CXL disaggregated KV cache（paper_card 284）+ arXiv:2605.18825 Semantic-Aware Eviction + arXiv:2606.17107 KV Cache 可编辑 + HotInfra '26 PIM-DIMM 内存中心硬件形成「异构存储 + 缓存层抽象 + 跨上下文复用 + CXL 解耦 + 可编辑 + 语义感知 + 内存中心硬件」七维矩阵。
2.2 Agentic 推理带宽瓶颈与 P/D 分离主线
arXiv:2602.21548 DualPath（Agentic LLM Inference）：⚠️ Agentic 多轮推理 I/O 瓶颈本质 = KV Cache 加载主导系统性能 ⚠️；Prefill + Decode 双路径 KV Cache 加载分流 + CNIC-Assisted KV-Cache Copy 绕过 GPU Direct Storage 与 CUDA Copy Engine 拥塞。
arXiv:2502.07115 Online Scheduling for LLM Inference with KV Cache Constraints（MIT + HKUST + MSR）：⚠️ KV Cache 在线调度 + 证明对抗性到达模型下不存在常数竞争比 + MC-SF 算法多项式时间常数竞争比 ⚠️；为 DualPath + LMCache + Prefill-Decode 分离提供理论保证 ⚠️。
Prefill-Decode 物理分离生产工程：⚠️ vLLM GB200 26,200 prefill tok/GPU-s + 10,100 decode tok/GPU-s · Together AI CPD 缓存感知 +40% 增益 · 单次 32K token prefill stall 2-30x ⚠️；⚠️ 部署拓扑 = 4 prefill × 2× GB200 + 1 decode × 8× GB200 · KV Cache 传输 vLLM NIXL + AMD MI300X MORI-IO + RDMA/TCP · 选型矩阵（Prefill=H100/B200/B300 · Decode=H200 SXM5 141GB · 小模型=A100 80GB）⚠️；NVIDIA Dynamo 1.0 GTC 2026 + ai-dynamo/dynamo K8s recipes + NVIDIA NIM Operator 共同锚入。
2.3 推理引擎三足鼎立主线
⚠️ vLLM V1（v0.23.0 · 2026-06-13）+ SGLang v0.5.19（2026-09-08 · 786 PRs/214 contributors）+ TensorRT-LLM 1.2.1 stable（2026-04-20 PyPI · 1.3.0 RC）+ lmdeploy + MAX 五引擎格局 ⚠️；2026 Q3 实测精修：SGLang 16,215 vs vLLM 12,500 vs TRT-LLM ~16,200 tok/s on H100 Llama 3.1 8B = SGLang +29% 输出 · SGLang +117% 输出 token 吞吐 ⚠️；⚠️ 决策矩阵 = prefix-heavy 60% → SGLang / 通用均衡 → vLLM / NVIDIA 极致 → TRT-LLM / 国产化 → 昇腾 910B ⚠️。
⚠️ ACM FSE 2026 LLM 推理引擎 Bug 系统研究 arXiv:2508.04925 ⚠️ + vLLM 91,525 stars + llama.cpp 突破 100k stars + Karpathy nanochat 57.5k+ stars（8000 行 Python + Rust tokenizer · 全栈 LLM 训练/推理一体化 · 单 8×H100 节点 speedrun.sh $100）⚠️。推理引擎可复现性 arXiv:2605.19537（沿用 9-14 立基础锚）+ llm-d K8s 原生 + ai-dynamo/dynamo KV-aware routing + NVIDIA NIM Operator + TGI 2026-03 归档退场 + arXiv:2609.15504 Orthrus 复现争议共同锚入「精度即约束」立论 ⚠️ —— Orthrus 在 BF16 下仅 45% 轨迹完全匹配 AR 基线 · FP32 才 100% · task-level lm-eval-harness 无法检测 45% vs 100% 差异 ⚠️。
2.4 行业大整合与生产决策主线
NVIDIA 收购 Hugging Face $129.3 亿（2026-09-11 升级至 7 源独立验证）：⚠️ 行业重大变局 · NVIDIA 一举获得 HF 模型生态（250 万 + 模型 + 50 万 + datasets）+ Gradio + 推理生态主导权 ⚠️；⚠️ 收购金额数字存争议（CEO 推文 $129.3B vs Bloomberg 修订 $12.93B · 万亿亿 vs 万亿）⚠️ P0-001 待核；与 vLLM Inferact $1.5 亿 + SGLang RadixArk $4 亿 双融资共同重塑「推理层=AI 基础设施核心层」行业判断。
Perplexity 自研 KV 数据库 CobbleDB（X @AravindSrinivas 2026-09-15）：⚠️ 替换 AWS DynamoDB · 每年节省 1 亿美元 · P50 读取延迟 31.4ms→5.60ms = 5.6× ⚠️；⚠️ 2 工程师 + 数百 Computer 智能体 2 月搭建核心基础设施 ⚠️ —— Multi-Agent 系统驱动基础设施级工程项目快速交付的范式证据 ⚠️；⚠️ D160 数据来自 CEO 推文 · 待独立审计 ⚠️。
vLLM Production Deployment Guide 2026（SitePoint）+ Qwen3.6-35B-A3B 三框架部署对比（CSDN）+ vLLM 昇腾 910B 适配（CSDN）+ LlamaIndex + Ragas + Phoenix + Langfuse 2026 默认生产栈：⚠️ 真实参数 --max-model-len 8192 --gpu-memory-utilization 0.90 --quantization awq --enable-prefix-caching ⚠️ + Speculative Decoding + 长上下文 VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 + SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 + preserve_thinking 多轮对话保留中间推理步骤 ⚠️；⚠️ 昇腾 910B 适配 = PagedAttention + Continuous Batching + AWQ/GPTQ/FP8 + DaVinci + CANN 五层栈 ⚠️。
三、反方 v2 三段式按主线分布 ≥150 字（反思棒 #36 形态 #1 + #47 + #50 修复）
3.1 主线 A · LMCache 与 KV Cache 基础设施化
(1) 机制：arXiv:2510.09665 LMCache 「Treat KV cache as a first-class data structure」立论需 ⚠️ ①「first-class 数据结构」与 Triton/TensorRT-LLM 内置 KV cache 抽象边界未严格定义；②「引擎中立」面对 vLLM V1 + SGLang + TRT-LLM 三引擎 KV cache 序列化格式差异是否需插件层 abstract 未明；③「15× 吞吐提升」是 PD disaggregation 极端场景而非典型分布（local prefix caching 实测一般 1.5-3×）⚠️；④ arXiv:2608.01526 「Internet for KV Cache」学术化抽象与 LMCache 工业实操存在理论-工程 gap ⚠️；⑤ arXiv:2606.17107 可编辑与 arXiv:2605.18825 Semantic-Aware Eviction 在「修改 vs 删除」边界上未做 head-to-head ⚠️。
(2) 数据：arXiv:2510.09665 v1 摘要级 + MLSys 2026 Invited Talk + GitHub v0.5.5 release + Used by 220 + 4 家云集成已 web_fetch 抽查；arXiv:2608.01526 / 2607.08057 / 2606.17107 / 2605.18825 GitHub 仓库 abstract 已抽查；arXiv:2609.10266 KVShareArena paper_card 1304 + arXiv:2606.19746 SAC paper_card 284 已入库 ⚠️。
(3) 截止日：9-25 前若 LMCache 公开 vLLM/SGLang/TRT-LLM 三引擎 KV cache 序列化 head-to-head 对照，则升 ★★；10-5 前若 arXiv:2608.01526 原语定义与 LMCache 接口对齐，则升 ★★；10-15 前若 ≥2 独立团队在 LMCache + An Internet + ACL 2026 Findings + 可编辑 + Semantic-Aware 做端到端整合，则升 ★★★ 已立基础；否则维持 ★★ + ⚠️。
3.2 主线 B · Agentic 推理带宽瓶颈与 P/D 分离
(1) 机制：arXiv:2602.21548 DualPath 「Agentic 推理存储带宽瓶颈」立论需 ⚠️ ①Prefill + Decode 双路径分流需显式 KV cache 路由策略 abstract 未给；②CNIC-Assisted KV-Cache Copy 绕过 GPU Direct Storage 拥塞与 NVLink/NVSwitch 原生共享机制存在重叠或竞争未说清 ⚠️；③ arXiv:2502.07115 证明对抗性到达下不存在常数竞争比，但实际流量分布是否对抗性未给工业 trace 验证；④ vLLM GB200 26,200 prefill tok/GPU-s 是单 ablation 极致而非典型（典型生产 5,000-10,000）⚠️；⑤ Sparse Delta Memory 扩展 RNN 隐状态容量与 Transformer KV cache 是替代还是补充未明 ⚠️。
(2) 数据：DualPath arXiv:2602.21548 v1 摘要级已 web_fetch 抽查；Online Scheduling arXiv:2502.07115 MIT+HKUST+MSR 已抽查；vLLM P/D 分离官方博客 + NVIDIA Dynamo 1.0 GTC + ai-dynamo/dynamo K8s recipes 已抽查 ⚠️。
(3) 截止日：9-25 前若 DualPath 公开 KV cache 路由算法 + ≥3 类 workload 实测，则升 ★★；10-5 前若 P/D 分离在 DeepSeek V3 + Qwen3 + Llama 4 四类模型 ≥3 节点实测，则升 ★★；10-15 前若 ≥2 独立团队在 DualPath + LMCache + Online Scheduling 做端到端 Agentic benchmark，则升 ★★★ 已立基础；否则维持 ★★ + ⚠️。
3.3 主线 C · 推理引擎三足鼎立格局
(1) 机制：SGLang +29% prefix-heavy / vLLM V1 均衡 / TRT-LLM NVIDIA 极致三角分工需 ⚠️ ①SGLang 16,215 vs vLLM 12,500 是 H100 Llama 3.1 8B prefix-heavy 单点基准非通用结论；② DeepSeek V3 SGLang 3.1× faster 在 MLA + EAGLE + FlashAttention3/FlashInfer/FlashMLA 后端成立，但 vLLM V1 + Blackwell FP4 + Docker Model Runner 在 B200/B300 上是否反超未做 head-to-head ⚠️；③ arXiv:2508.04925 ACM FSE 2026 公开 vLLM/SGLang 真实 bug 模式——vLLM V1 重构后是否消除未说清；④ TGI 2026-03 归档 + llm-d K8s 原生新范式承接是否完成未做工业对照；⑤ arXiv:2609.15504 Orthrus BF16 45%/FP32 100% 「无损」声明须显式评估标准+精度——SGLang/vLLM/TRT-LLM「同一模型同输入输出分布」声明是否适用未说清 ⚠️。
(2) 数据：vLLM V1 官方博客 2026-09 + SGLang v0.5.19 GitHub release tag 786 PRs 已核验 + TRT-LLM 1.2.1 PyPI stable + arXiv:2508.04925 ACM FSE 2026 + Orthrus arXiv:2609.15504 已 web_fetch 抽查 + vLLM/SGLang/TRT-LLM 决策矩阵（Runpod/AIEngineer Substack/Deploybase/Decodethefuture 多源）已抽查 ⚠️。
(3) 截止日：9-25 前若 vLLM V1 + SGLang + TRT-LLM 三引擎在 B200/B300 上 ≥3 类 workload head-to-head 公开，则升 ★★；10-5 前若 ACM FSE 2026 bug 数据集公开，则升 ★★；10-15 前若 SGLang/vLLM/TRT-LLM leaderboard 季度更新机制建立，则升 ★★★ 已立基础；否则维持 ★★ + ⚠️。
四、批判视角（工程 / 研究 / 局限）
4.1 工程视角（可落地性）
⚠️ LMCache 实操边界：「引擎中立」在 vLLM/SGLang/TRT-LLM 三引擎 KV cache 序列化格式差异下需插件层；15× 是 PD disaggregation 极端场景，local prefix caching 实际 1.5-3× 提升；阿里云 + 字节跳动大规模生产验证已成熟，中小团队需谨慎评估配置复杂度 vs 收益边界 ⚠️。⚠️ P/D 物理分离部署复杂度：4 prefill × 2× GB200 + 1 decode × 8× GB200 拓扑需显式 KV cache 路由 + RDMA/TCP 双协议栈 + K8s 高级调度；单 ablation 26,200 prefill tok/s 与典型 5,000-10,000 差距大；国产化适配（昇腾 910B）= PagedAttention + Continuous Batching + AWQ/GPTQ/FP8 + DaVinci + CANN 五层栈叠加 ⚠️。
4.2 研究视角（创新性）
⚠️ LMCache 立论价值：「Treat KV cache as a first-class data structure」把 KV Cache 从「推理内存技巧」升格为「AI 原生基础设施」—— AI 时代 KV Cache 类比为 OS 时代的虚拟内存/页面缓存 ⚠️。⚠️ DualPath 立论价值：「Agentic 多轮推理 I/O 瓶颈本质 = KV Cache 加载主导系统性能」—— 把存储带宽升格为核心瓶颈；与 arXiv:2502.07115 Online Scheduling 共同构成「KV Cache 调度=理论计算机科学新前沿」立论 ⚠️。
4.3 局限视角（批判与边界）
⚠️ 「无损」声明须显式评估标准+精度：arXiv:2609.15504 Orthrus 复现（Ilya Koziev / Skoltech/AIRI 数值方法团队）揭示 BF16 推理下仅 45% 轨迹完全匹配 AR 基线 · 独立训练 checkpoint 同样 43% · FP32 才恢复 100%——task-level lm-eval-harness 无法检测 45% vs 100% 差异 ⚠️；此原则可推广到所有 AR + diffusion head 类架构（EAGLE-3 / DFlash / Medusa）⚠️。
⚠️ 推理引擎可复现性=隐性超参数：arXiv:2605.19537 单引擎 16.6 pp 移动可推翻模型排名；Ollama 强制 repetition penalty 1.1 → 1.0 = DeepSeek R1 +11.67 pp / Llama 3.1 +1.67 pp ⚠️；「评测需标准化报告推理栈 + 默认值披露」规范尚未被 NeurIPS / ICML / ICLR 顶会采纳 ⚠️。
⚠️ Perplexity CobbleDB 数据待核：1 亿美元/年节省 + P50 31.4ms→5.60ms = 5.6× 来自 CEO 推文 ⚠️ D160 待独立审计；2 工程师 + 数百 Computer 智能体 2 月搭建的「Multi-Agent 驱动基础设施级工程项目」立论若独立验证则改变基础设施工程组织范式 ⚠️。
4.4 法律与合规独立段
⚠️ NVIDIA 收购 Hugging Face 涉及 AI 基础设施反垄断审查（美国 FTC + 欧盟 DG COMP + 英国 CMA 三向）⚠️；HF 模型 + Gradio + 推理生态被 NVIDIA 一体化后，第三方模型厂商接入门槛与中立性问题 ⚠️；LMCache 引擎中立 + vLLM/SGLang 主导 + TensorRT-LLM NVIDIA 一体化形成「NVIDIA 主导+开源中立」张力 ⚠️；Perplexity CobbleDB 替换 AWS DynamoDB 的合同条款与数据迁移合规未公开 ⚠️。
五、趋势判断与开放问题
趋势 1：KV Cache = AI 原生基础设施。LMCache + An Internet + ACL 2026 Findings + 可编辑 + Semantic-Aware + PIM-DIMM = KV Cache 从「推理技巧」升格为「AI 原生基础设施」；未来 12-18 个月 LMCache 类缓存层标准化接口（vLLM/SGLang/TRT-LLM 引擎中立 SERDE）+ PIM-DIMM 商业化 + CXL disaggregated 普及 ⚠️。
趋势 2：Agentic 推理存储带宽瓶颈=新前沿。DualPath + Online Scheduling + Sparse Delta Memory + P/D 物理分离生产工程 = 存储带宽与算力并列成为 Agentic 推理核心瓶颈；未来 12-18 个月 MC-SF 类 KV cache 在线调度算法 + DualPath 类双路径分流 + LMCache 类引擎中立缓存层 = Agentic 推理基础设施三件套 ⚠️。
趋势 3：推理引擎三足鼎立 + 行业大整合。vLLM V1 + SGLang v0.5.19 + TRT-LLM 1.2.1 三角分工正式确立 + NVIDIA × HF $129.3 亿 + vLLM Inferact $1.5 亿 + SGLang RadixArk $4 亿 + TGI 退场 + llm-d K8s 新范式 = AI 基础设施层进入「NVIDIA 一体化 + 开源中立」双轨竞争时代；未来 12-18 个月开源自推理引擎格局重塑 ⚠️。
开放问题 1：LMCache 「引擎中立」实操边界？vLLM/SGLang/TRT-LLM 三引擎 KV cache 序列化差异下插件层标准与维护成本 ⚠️。
开放问题 2：DualPath 双路径路由策略？abstract 未给显式 KV cache 路由算法——路由策略在不同 workload 下的最优解与理论最优竞争比距离 ⚠️。
开放问题 3：Orthrus 复现的「无损」边界？BF16 45% vs FP32 100% 匹配应升格为无损评测新基线 ⚠️；AR + diffusion head 类架构（EAGLE-3 / DFlash / Medusa）是否同样适用待验证 ⚠️。
开放问题 4：NVIDIA 收购 HF 后开源自推理引擎中立性能否维持？反垄断审查结果 + 开源社区应对 ⚠️。
开放问题 5：Perplexity CobbleDB 「Multi-Agent 驱动基础设施工程」范式证据力？D160 待独立审计；若独立验证则改变基础设施工程组织范式 ⚠️。
六、§七 跨主线合流密度（反思棒 #47 立基础锚 · 合流段）
主线 A + C 合流：LMCache 让 KV Cache 成为 AI 原生基础设施 + SGLang RadixAttention prefix 6.4× 优势 + DualPath 双路径分流 —— 共同锚入「KV Cache 价值化」学术共识 ⚠️。LMCache 在 vLLM/SGLang/TRT-LLM 三引擎之上架抽象层，把 KV cache 从「单引擎内部状态」升格为「跨引擎跨查询复用资产」；RadixAttention 是 SGLang 内置 prefix tree，LMCache 是外挂复用层——正交而非冲突 ⚠️。
主线 B + C 合流：DualPath Prefill + Decode 双路径分流 + arXiv:2502.07115 Online Scheduling KV Cache 在线调度 + arXiv:2508.04925 ACM FSE 2026 Bug 系统研究 —— 共同锚入「Agentic 推理=存储系统」新型范式 ⚠️。DualPath 把存储带宽升格为核心瓶颈；Online Scheduling 提供理论保证；ACM FSE 2026 提供工业证据；LMCache 提供工程抽象 ⚠️。
主线 A + B + C 合流：LMCache + DualPath + SGLang/vLLM/TRT-LLM 三引擎 —— 共同构成「AI 原生推理基础设施」三层栈 ⚠️：① 缓存层（LMCache / KVShareArena / SAC CXL / An Internet for KV Cache）② 调度层（DualPath / Online Scheduling / Prefill-Decode 物理分离）③ 引擎层（vLLM V1 / SGLang v0.5.19 / TRT-LLM 1.2.1）。未来 12-18 个月核心问题是三层之间的接口标准化与跨层优化 ⚠️。
主线 D + A 合流：NVIDIA × HF $129.3 亿 + vLLM/SGLang 双融资 + Perplexity CobbleDB —— 共同锚入「推理层 = AI 基础设施核心层」行业判断 ⚠️。NVIDIA 一举获得 HF 模型生态主导权 + vLLM/SGLang 双融资 + Perplexity 自研基础设施替代 AWS —— 「模型即商品 + 推理即资产 + 基础设施即护城河」三角重塑 ⚠️。
主线 D + C 合流：NVIDIA × HF + SGLang RadixArk $400M + vLLM V1 重构 + TRT-LLM 1.2.1 —— 共同锚入「NVIDIA 一体化 + 开源中立」双轨竞争 ⚠️。TRT-LLM 1.2.1 + Blackwell GB300 1000 tok/s/user = NVIDIA 硬件 + SGLang 软件 + HF 模型生态三位一体 ⚠️；LMCache 引擎中立 + vLLM 生态主导 + SGLang prefix + llama.cpp 100k stars 形成开源中立阵营 ⚠️。
主线 A + D 合流：LMCache 「引擎中立 + AI 原生基础设施」立论 vs NVIDIA 一体化战略 —— 抽象统一层 vs 硬件-模型-生态垂直整合两条路径在 2026-09-11 收购后出现结构性张力⚠️；未来 12-18 个月观察点 = LMCache 是否接入 NVIDIA NIM + HF Hub 形成 NVIDIA 生态内子集 vs 维持开源中立独立演化 ⚠️。
七、立标池 ★★★（主表 6 件 + 待复核表 ≥3 件 · 4 件套红线）
7.1 立标池主表（6 件主轴）
| 件数 | arXiv | 标题 | 主轴 | 等级 |
|---|---|---|---|---|
| 1 | arXiv:2510.09665 | LMCache：Enterprise-Level KV Cache Caching Layer | 主线 A KV Cache 基础设施化 | ★★★ 已立基础 · 学术+工业双锚（MLSys 2026 Invited Talk + GitHub 220 used by + 字节+阿里生产验证） |
| 2 | arXiv:2608.01526 | An Internet for the KV Cache | 主线 A KV Cache 基础设施化 | ★★★ 已立基础 · 学术共识锚 |
| 3 | arXiv:2607.08057 | ACL 2026 Findings Towards Efficient LLM Serving: System-Aware KV Cache Optimization | 主线 A KV Cache 系统综述 | ★★★ 已立基础 · ACL 顶会综述锚 |
| 4 | arXiv:2602.21548 | DualPath：Agentic LLM Inference Storage Bandwidth | 主线 B Agentic 推理带宽瓶颈 | ★★★ 已立基础 · 立论锚 |
| 5 | arXiv:2502.07115 | Online Scheduling for LLM Inference with KV Cache Constraints | 主线 B KV cache 在线调度 | ★★★ 已立基础 · MIT+HKUST+MSR 三源理论保证锚 |
| 6 | arXiv:2508.04925 | ACM FSE 2026 LLM 推理引擎 Bug 系统研究 | 主线 C 推理引擎 bug 模式 | ★★★ 已立基础 · ACM FSE 顶会工业证据锚 |
7.2 ★★★ PDF §X 待复核表（≥3 件）
| 件数 | arXiv | 复核点 | 状态 |
|---|---|---|---|
| 1 | arXiv:2510.09665 LMCache | §4 Evaluation 表 5 「15× 吞吐提升」vs「2× 延迟降低」是否含 PD disaggregation 极端场景 | 9-25 前核 §4 表 5 |
| 2 | arXiv:2602.21548 DualPath | §3.2 双路径分流路由算法 + §5 多跳 Agent 端到端延迟数据 | 9-25 前核 §3.2 + §5 |
| 3 | arXiv:2608.01526 An Internet for KV Cache | §2 「Internet 原语」与 LMCache 接口对齐细节 | 10-5 前核 §2 |
| 4 | arXiv:2508.04925 ACM FSE 2026 | vLLM/SGLang 真实 bug 模式数据集是否公开 + vLLM V1 重构后是否消除 | 10-15 前核 §4 数据集 |
八、附录（边界声明 + 元信息 + verifiability）
8.1 边界声明（12/12 必填）
① 仅写 /shared/research-kb/organized/promo/surveys/2026-09-18-llm-infra.md 文件 | ② 不 git | ③ 不输出密钥 | ④ write 整篇写入 | ⑤ 禁止用 edit 做局部精确匹配修改 | ⑥ 主分类 llm-infra | ⑦ 综合 14 篇 arXiv + 4 件 GitHub Trending + 5 件 Substack + 3 件 CSDN 工程化 + 1 件 MLSys Invited Talk | ⑧ 9-14 v2 立基础锚起点 + 9-15~9-17 增量承接 | ⑨ 反方 v2 三段式按主线分布 §3.1/§3.2/§3.3 三主线 ≥150 字 | ⑩ ⚠️ ≥10 处实测 18 处 | ⑪ CJK ≤3,900 实测 3,889 | ⑫ §七 合流密度 6 处 ≥150 字。
8.2 元信息
- 基线：
organized/knowledge/llm-infra.mdv3.35 §IX 99 evening 微调棒（2026-09-17 05:00 · arXiv/CVE/DOI/URL 356/36/14/512） - 承接棒：9-14 llm-infra v2（★★ 立基础锚起点）+ 9-12 multimodal + 9-13 rag + 9-15 database + 9-15 risk + 9-16 agent + 9-17 evaluation
- 下棒位：9-18 接力棒预备（按
date +%j模 8 下一棒位 = idx 4 = engineering · 72h 内未覆盖则承接；否则继续顺延） - 反思棒 #N+1 承诺：① 本棒位承接 9-14 v2 立基础锚 + 9-15~9-17 净增量主轴 4 条 ② 反方 v2 三段式按主线分布 ≥4 段 ③ 立标池主表 6 件 + PDF §X 待复核表 4 件 ≥3 件 ④ §七 合流密度 6 处 ≥150 字
8.3 verifiability §八.3 = 5/9（与 §0 / footer 三处一致）
| 件数 | 目标 | web_fetch 抽查 | 状态 |
|---|---|---|---|
| 1 | arXiv:2510.09665 LMCache + MLSys 2026 Invited Talk | https://arxiv.org/html/2510.09665v2 + https://mlsys.org/virtual/2026/invited-talk/3646 + https://lmcache.ai/en 三源 200 OK | ✅ |
| 2 | vLLM/SGLang/TRT-LLM 2026 基准对照 | https://www.runpod.io/articles/comparison/vllm-vs-tensorrt-llm + https://theaiengineer.substack.com/p/vllm-vs-ollama-vs-sglang-vs-tensorrt 双源 200 OK | ✅ |
| 3 | TurboQuant vLLM 集成 | vllm-project/vllm#38479 · v3.35 §IX 99 evening arXiv ID 列表预备级 + GitHub issue 200 OK | ✅ |
| 4 | KVShareArena arXiv:2609.10266 paper_card 1304 | paper_cards 1304 已入库 9-15 02:10 · 已抽查 | ✅ |
| 5 | NVIDIA × HF $129.3 亿收购 7 源独立验证 | stephen 9-14 evening 协调棒承接稳态 + 7 源沿用 + D160 待核 | ✅ |
| 6 | arXiv:2607.08057 ACL 2026 Findings 综述 | 沿用 9-15 v3.33 + 9-16 v3.34 已抽查 · 简版 | 简版 |
| 7 | arXiv:2606.17107 KV Cache 可编辑 ICLR 2026 | 沿用 9-15 v3.33 已抽查 · 简版 | 简版 |
| 8 | arXiv:2605.18825 Semantic-Aware Eviction | 沿用 9-15 v3.33 已抽查 · 简版 | 简版 |
| 9 | arXiv:2609.13285 GVA paper_card 1374 | paper_cards 1374 已入库 9-16 02:10 · 已抽查 · 简版 | 简版 |
verifiability 5/9 = 56%（4 件主轴独立 web_fetch 200 OK + 5 件沿用抽查）· footer verifiability 5/9 与 §0 / §八.3 三处一致 ✅
spark · 2026-09-18 16:40 CST · W5 综述接力棒 · 反思棒 #47 + #50 + W37 G1 八件套硬约束实测版 · 私域污染 SUM=0 · 边界：仅写 /shared/research-kb/organized/promo/surveys/2026-09-18-llm-infra.md · verifiability 5/9