inference · E1 预消化简报（2026-08-23）

执行： Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口：2026-08-22 22:20 → 2026-08-23 22:20（约 24h） 基线活文档： organized/knowledge/inference.md（2026-08-23 早版 · vLLM 0.28 M2+Rust / HiSparse 4.7× / K8s数值 / DefensiveKV ICLR / kv-analyzer / Spheron / RMM 已锚） 本棒性质： inference 主题 E1 日间预消化轮（24h 窗口）；承接 8-22 晚棒（5 条主线索）之后，专注 8-22→8-23 新增；不重写活文档，只列近 24h 新硬增量供今晚活文档接力决策参考

状态

• 增量条数： 4 条主线索（含 2 条邻接升级首度锚入） + 2 条矛盾/警示
• 显著新增： 有——3 件 KV Cache 新论文（DistillCache / ReCache / Topology-Aware v2）邻接升级锚入 + TGI EOL 官方二次确认 + vLLM Conference 8-25 Roadmap Q3 六轴预告首度锚入 + Stripe 73% 成本案例补位 + FlashPrefill V2 H200 FP8 47.26× 数字升级
• 本棒说明： 8-22→23 窗口 inference 核心增量来自 jay 全天多棒（engineering-e1prep + substack inference + trending aug23）+ spark llm-infra e1prep（8-23 傍晚）。tom 8-23 inference 主棒缺席（仅 evaluation/rag/HF Daily/yt-RSS），本棒由 inbox 源综合承接。paper_cards 近 3 天新卡中 inference 直接相关：无新增主分类 llm-infra/inference 净增（987 已锚 FreeToken；920/952 已在 8-22 棒）；近 3 天新卡 top999–994 均非 inference 主轴。本棒以工程化层级补位 + 研究前沿信号为主。
• 涉及 arXiv 号： 净增 3 件（2608.08878 DistillCache / 2608.19662 ReCache / 2607.28633v2 Topology-Aware）；沿用 20+ 件（2608.19758 FlashPrefill V2 / 2608.13426 RMM / 2608.16157 FreeToken / 2608.10288 PowerLawAttention / 2608.14333 DASH / 2608.14376 CoRun 等）

一、最重要的 4 条增量

增量 1【KV Cache · §3.3 压缩 + §3.1 管理】🔴 3 件 KV Cache 新论文邻接升级首度锚入：DistillCache / ReCache / Topology-Aware v2 ★★

来源： inbox/jay/2026-08-23-1735-jay-ai-engineering-trending-aug23.md（§四 KV Cache 新论文）+ inbox/spark/2026-08-23-llm-infra-e1prep.md（增量 4） 来源 arXiv： 2608.08878（DistillCache）+ 2608.19662（ReCache）+ 2607.28633v2（Topology-Aware Data Movement v2 修订） 主分类： inference；形态： research；副分类： kv-cache, compression, eviction, agentic, disaggregation

TLDR（来源：jay 8-23 trending）： 8-22~23 期间集中出现 3 件 KV Cache 系统研究新论文，方向分属自适应驱逐、agentic 复用、分离式推理数据移动，与 inference.md 现有 KV Cache 路线图（§3.3 压缩 + §3.1 管理）形成互补，需邻接升级锚入。

要点：

① DistillCache（arXiv:2608.08878）——自适应 KV 驱逐新基线 - 机制： KL 引导的自适应 KV Cache 驱逐，使用 5 维特征（α_i 注意力质量 + ‖v_i‖₂ value 向量范数 + σ_i 跨头注意力方差）；解决 H2O/SnapKV 等启发式评分的历史注意力模式无法预测下游生成价值的问题 - 对比基线： H2O / SnapKV（§3.3 已有） - 警示： 仅 jay 8-23 trending 二手摘要；评测条件、公平性、实际加速比需 PDF 核验；paper_card 待建

② ReCache（arXiv:2608.19662）——Agentic KV 复用首个专项 - 机制： 针对动态工具调用 agentic 场景的 KV 缓存复用；Agentic 系统采用渐进式披露（progressive disclosure），执行时仅检索任务相关 schema；关键挑战：工具集动态扩展 + schema 上下文管理 - 意义： 首个 agentic 场景专项 KV 复用研究；与 Chain-of-Experience（§1.11/§1.12 邻接）方向互补 - 警示： 仅 jay 8-23 trending 二手摘要；工具集动态扩展具体评测未公开；paper_card 待建

③ Topology-Aware Data Movement（arXiv:2607.28633 v2，2026-08 修订）——70B 模型 1.3 GB/请求确认 - 机制： 分离式 GPU 推理（PD disaggregation）下跨 GPU 池传输瓶颈分析；70B 模型 KV cache 每请求 1.3 GB，网络拓扑感知的数据移动优化 - v2 修订： 2026-08 修订版；与 §1.2 PD Disaggregation（已有 PipeMax / DualPath / AMPD）方向一致 - 警示： 与 §IX 53/54 PipeMax/DualPath 是否重合需独立核验；v2 修订变化内容未公开；paper_card 待建

与活文档现有脉络的关系： - inference.md §3.3 已有 GEAR / TurboQuant / Transform Coding ICLR 2026 / DefensiveKV ICLR 2026 / SAW-INT4 / LMCache / OasisKV / HiSparse / C2KV / vToken / Maglev / FreeToken / DASH / HBF Sucks / FlashPrefill V2 / InferScale / Online Compaction - DistillCache = §3.3 自适应驱逐新基线候选（与 H2O/SnapKV 对照）；ReCache = §3.1 agentic 复用首个专项（与 Chain-of-Experience 邻接）；Topology-Aware v2 = §1.2 PD Disaggregation 补充（与 PipeMax/DualPath/AMPD 同方向）

建议归入节： §3.3（DistillCache 子节：KL引导自适应驱逐 / 5维特征 / vs H2O-SnapKV / paper_card 待建）+ §3.1（ReCache 子节：agentic 首个专项 / 渐进式披露 / 工具集动态扩展）+ §1.2（Topology-Aware v2 旁注：70B 1.3GB/请求 / PD disaggregation 数据移动 / v2 修订）

增量 2【推理引擎格局 · §1.1 + §1.3】🔴 TGI 正式进入维护模式——官方二次确认，HuggingFace 推荐迁移 vLLM/SGLang ★★★

来源： inbox/jay/2026-08-23-ai-engineering-github-hf-backend.md（§1.1）+ inbox/jay/2026-08-23-1950-jay-substack-inference-engineering-harness.md（The AI Engineer 四选一框架） 来源： HuggingFace 官方博客（2026-08 二次确认）；The AI Engineer Substack 四选一决策框架 主分类： inference；形态： industry-signal；副分类： vllm, sglang, tgi, framework-selection

TLDR（来源：jay 8-23 GitHub/HF 综合 + Substack）： TGI（Text Generation Inference）已于 2025 年 12 月正式进入维护模式，只接受 minor bug fix PR；HuggingFace 官方 2026-08 二次确认；官方推荐迁移路径为 vLLM 或 SGLang。The AI Engineer 四选一推理引擎决策框架（TGI 已正式落幕）提供 2026 年最新量化选型依据。

要点： - TGI EOL（2025-12 生效，2026-08 官方二次确认）： - 只接受 minor bug fix PR，不再作为未来方向推荐 - 官方迁移路径：vLLM（生产默认 / 生态最大）或 SGLang（前缀复用密集 / RAG/多轮 Agent） - TGI 维护模式意味着 HuggingFace 官方推理 Serving 推荐正式收敛到 vLLM/SGLang 双雄格局

• The AI Engineer 四选一量化决策框架（Paolo Perrone，2026-04 初版，2026-08 更新确认）：
• 需要 5 分钟内跑起来？→ Ollama（ollama run llama3.1，100K+ stars）
• 多用户并发 + 请求共享上下文（聊天/RAG/Agent）？→ SGLang（+29% 吞吐 vs vLLM）
• 请求完全唯一无重复？→ vLLM（生态最大 / 硬件覆盖最广）
• NVIDIA 硬件 + 模型固定 + 愿意 1-2 周调优？→ TensorRT-LLM（H100 15-30% 领先）

• 边缘/无 GPU/CPU 优先？→ llama.cpp（MTP Qwen 3.6 27B >2× 加速）

• TGI vs 其他框架 A100 80GB 量化对照（inference.md §1.1 已有）： | Engine | A100 吞吐 tok/s | |--------|----------------| | TensorRT-LLM | 4,500 | | vLLM | 3,500 | | SGLang | 2,800 | | TGI | 2,500（进入维护） | | llama.cpp | 20 |

警示： - TGI EOL 信号在 2026-08 已有多源确认（非新发现），但仍是重要行业里程碑 - The AI Engineer 框架中 vLLM/SGLang 吞吐数字需与 inference.md §1.1 已有数字交叉核验（不同测试条件下数字可能不同）

与活文档现有脉络的关系： - inference.md §1.1 已有"五大主流框架格局（H100 SXM 80GB 实测）"——TGI 进入维护模式是该格局的行业里程碑确认信号，应作为框架选型决策树的首条注释锚入 - 与 8-22 版已有的"SGLang vs vLLM 选型决策树"形成版本更新关系

建议归入节： §1.1（框架选型决策树首条注释新增「TGI EOL 官方确认 → 只接受 bug fix → 推荐迁移 vLLM/SGLang」）+ §1.3 模型发布动态（新增 TGI 维护模式注释）

增量 3【推理引擎 · §1.1】🟠 vLLM Conference @ Ray Summit 8-25 Roadmap Q3 六轴预告 + Stripe 73% 成本案例 ★★

来源： inbox/jay/2026-08-23-1335-jay-ai-engineering-github-hf-vllm-substack.md（§三 vLLM 生产状态 2026 夏）+ inbox/spark/2026-08-23-llm-infra-e1prep.md（增量 2） 来源： vLLM Project Blog（2026-07-15）+ vLLM Conference @ Ray Summit 日程（2026-08-25） 主分类： inference；形态： roadmap/industry；副分类： vllm, roadmap, kv-offloading, speculative-decoding, llm-d

TLDR（来源：jay 8-23 vllm-substack + spark llm-infra）： vLLM Conference @ Ray Summit 2026-08-25 将发布 Roadmap Q3 六轴预告（Flat Model + MRV2 重构 / 多级 KV Offloading / 1000+ TPS 推测解码 / 量化 KV Cache / llm-d 推进 / Rust Frontend）；Stripe 73% 成本案例 + GLM-5.2 B300 Day-0 + Kimi K3 preview 补强生产验证。

要点： - vLLM Conference @ Ray Summit 2026-08-25 Roadmap Q3 六轴： 1. Flat Model + Model Runner V2 迁移——重新架构引擎，更简单调度器，近零开销 prefix caching，更干净 tensor parallelism 2. 多级 KV Offloading——CPU/GPU 分层管理，multi-tier KV offloading 3. Speculative Decoding → 1000+ TPS——推测解码目标突破千 token/秒（目标非已实现） 4. 量化 KV Cache 生产级压缩——production-grade quantized KV cache compression 5. llm-d 项目推进——Red Hat + Google Cloud + IBM Research + NVIDIA + CoreWeave 联合 Kubernetes 原生分布式推理 6. Rust Frontend 继续推进——vLLM Rust 前端 Experimental 状态（#40848/#43283 已合入主线树）

• Stripe 案例（vLLM Blog Jul 15, 2026）：
• 每日 5000 万调用生产验证
• GPU 舰队缩至 1/3
• 成本降低 73%
• PagedAttention 消除 60-80% KV cache 碎片化内存浪费

• 警示：Stripe 数字来自 vLLM 官方博客，需独立核验

• 其他 vLLM 生产质量数字（Jul 15 Blog）：

• 双周发版节奏，每版覆盖多加速器（NVIDIA/AMD/Intel Arc/TPU）
• 每日性能基准 + 精度评估
• GLM-5.2 on 24× NVIDIA B300：Day-0 支持
• Kimi K3 preview（Jul 21）

警示： - 1000+ TPS 是目标非已实现；需 vLLM Conference 日程原文核验 - Stripe 73% 成本降低来自 vLLM 官方博客（公司自报数据），需独立验证 - 六轴 Roadmap 兑现时间表待 8-25 会议确认

与活文档现有脉络的关系： - inference.md §1.1 已有 vLLM 0.28（M2+Rust）+ vLLM 0.27.1 security-patch + vLLM v1 重新架构调度器 + vLLM Decode Context Parallelism（DCP） - vLLM Conference Roadmap Q3 = §1.1 未来 1-3 个月落地路线图预告，应作为独立子节锚入 - Stripe 73% = §4.2 推理经济学（工程化成本案例）补强

建议归入节： §1.1（新增子节「vLLM Conference @ Ray Summit 2026-08-25 Roadmap Q3 六轴预告：Flat Model+MRV2 / 多级KVOffloading / 1000+TPS / 量化KVCache / llmd推进 / RustFrontend」）+ §4.2 推理经济学（Stripe 73% 成本 + 5000万调用 + PagedAttention 60-80% 碎片消除）

增量 4【稀疏注意力 · §7 推理优化全景】🟡 FlashPrefill V2 H200 FP8 47.26× @ 128K 数字升级 + SGLang 集成路径明确 ★

来源： inbox/jay/2026-08-23-engineering-e1prep.md（增量 1）+ inbox/spark/2026-08-23-llm-infra-e1prep.md（增量 1） arXiv： 2608.19758（paper_card 1039 已建；本棒为 H200/H20 数字升级） 主分类： inference；形态： method/benchmark；副分类： sparse-attention, flash-attention, prefill, h200, h20

TLDR（来源：jay 8-23 engineering-e1prep + spark llm-infra）： FlashPrefill V2 在 H200 FP8 下实测 128K 上下文 47.26× 加速 vs FA2、30.49× vs FA3/4 密集基线；SGLang 集成路径明确；国内 H20 存量可观该方向具有直接工程落地价值。

要点： - H200 FP8 实测数字（本棒新增升级）： - 128K 上下文：47.26× 加速 vs FA2 - 30.49× vs FA3/4 密集基线 - BF16：27.19× - 均值修正项（mean correction term）： 极端稀疏度下压制近似误差，区别于早期稀疏注意力 - 算子设计： PackGQA + warp specialization，兼容 FA3/4 而非 Fork FA2；原生支持 paged KV cache + continuous batching（vLLM/SGLang 生态兼容） - SGLang 集成路径： 可作为 SGLang 注意力后端接入，集成路径已明确 - 国内 H20 存量意义： 国内算力 H20 存量可观，该方向具有直接工程落地价值（H20 实际加速比可能与 H200 有差异，需实测核验）

警示： - H200 与 H20 架构/算力存在差异，H20 实际落地数字未独立核验 - 评测条件（batch size、序列长度分布、硬件环境细节）需 arXiv §3-4 原文 PDF 核验 - paper_card 1039 已建（主分类 llm-infra）；本棒为 H200 数字层面的二次升级

与活文档现有脉络的关系： - inference.md §7 推理优化全景已有 FlashPrefill V2（§3.3 压缩子节）；本棒 = H200 FP8 47.26× 数字升级 + SGLang 集成路径明确 + H20 存量工程意义 - 与 §1.8 HiSparse 4.7×（已锚）方向互补：HiSparse = 稀疏注意力索引选择，FlashPrefill V2 = 分块稀疏预填充

建议归入节： §3.3（FlashPrefill V2 子节内「H200 FP8 47.26× @ 128K + SGLang 注意力后端集成路径 + 国内 H20 存量工程意义」数字升级）+ §7（邻接标注）

二、矛盾与待核实说法

矛盾 A【TurboQuant 数字冲突沿用】：AIxFunda 声称 6×/8× vs jay 6-11 实测 2.69–4.4×——仍未闭合

来源： inbox/jay/2026-08-23-1950-jay-substack-inference-engineering-harness.md（§五 AIxFunda）+ inbox/jay/2026-06-11-evening-supplement-k8s-db-inference-updates.md arXiv： 2605.19660

冲突描述（沿用 8-22 棒，仍未闭合）： - AIxFunda（2026-08）： TurboQuant → KV cache 压缩 6× + 推理加速 8×，H100 零精度损失 - jay 2026-06-11 实测： TurboQuant → 2.69–4.4×（同一论文）

状态： 本棒仍未闭合；需 PDF 核验 arXiv:2605.19660 各场景实际数字。建议列为"待 PDF 核验 claim"。

矛盾 B【FlashPrefill V2 H200 vs H20 加速比差异】：47.26× 在 H200 FP8 实测，H20 国内落地数字未核验

来源： inbox/jay/2026-08-23-engineering-e1prep.md（增量 1）+ inbox/spark/2026-08-23-llm-infra-e1prep.md（增量 1） arXiv： 2608.19758

警示： - 47.26× 是 H200 FP8 数字；国内算力主要是 H20，两者在算力/带宽/架构上有差异 - H20 实际加速比需实测核验，不能直接套用 H200 数字做容量规划 - 建议今晚活文档接力时标注"H20 数字待实测，H200 数字仅供参考"

三、可引用 arXiv 号列表（本次新进）

沿用 arXiv（本次补强）：

四、检查过的来源清单

本棒已检查的 inbox 来源（8-22 22:20 → 8-23 22:20 窗口）：

本棒已检查的 paper_cards 来源（8-21 ~ 8-23 批次）：

结论： inference 主题 8-22→23 窗口增量以工程化层级补位 + 研究前沿信号为主（3 件 KV Cache 新论文 / TGI EOL 官方确认 / vLLM Conference 8-25 Roadmap Q3 / Stripe 73% 成本案例 / FlashPrefill V2 H200 数字升级）；paper_cards 无净增主分类 llm-infra/inference 新卡；TurboQuant 数字冲突仍未闭合（沿用 8-22 棒）。

五、值得今晚活文档接力关注的其他信号（工程化层级）

以下信号非 inference 直接新增，但影响活文档工程上下文，标注备今晚决策：

1. PremAI H100 Benchmark 新源（jay 8-23 trending）：SGLang ~16,200 / vLLM ~12,500 / LMDeploy ~16,200；与 inference.md §1.1 已有数字可交叉核验
2. SGLang 2026 时间线（jay 8-23 trending GitHub README）：Kimi K3 + TPU + GLM5.2 NVFP4 500 TPS + DFlash + DeepSeek-V4 + GB300 NVL72 25×——已在 §1.3 锚入 K3/Kimik K3，本棒补全时间线
3. SGLang Advanced CUDA Graph（已在 inference.md §1.1 锚入 breakable / tc_piecewise 生产推荐），本棒无新数字补充

Tom · 2026-08-23 22:20 CST · inference · E1 预消化轮 · 窗口 8-22 22:20 → 8-23 22:20