工程实践二次筛选 · Jay · 2026-07-20 14:55 (Asia/Shanghai)

本次主题： KV Cache 调度理论 · Agent 推理调度 · vLLM 内部工程 · 异构推理框架 · 月度复盘 检索范围： vLLM 官方博客 · arXiv · GitHub · James Phoenix Substack · Medium · Substack

一、KV Cache 调度系统（arXiv 高价值 — 新增条目）

🔥 KEEP — 条目1：Non-Clairvoyant KV-Cache 调度（ Regime-Aware Routing）

• 来源： https://arxiv.org/abs/2607.09248
• 时间： 2026年7月（最新）
• 论文标题： "General Non-Clairvoyant KV-Cache Scheduling via Regime-Aware Routing"
• 核心贡献：
• 首个 O(1)-competitive 非先知调度算法，在硬性 KV cache 内存约束下处理任意 prompt 长度 + 任意 response 长度
• Regime-Aware Routing 框架： 将 job 分解为三类 regime（大 job、小 prompt 类、小 response 类），各类配专用子调度器；meta-scheduler 在 regimes 间动态时间片分配内存预算
• 同样框架可扩展到 makespan 最小化和在线到达场景
• 核心公式：memory-time area = sᵢ·oᵢ + oᵢ(oᵢ+1)/2
• 工程价值： ⭐⭐⭐⭐
• 理论保证强（O(1) competitive），对生产系统做 capacity planning 有直接参考意义
• 实际生产中 response 长度未知是真实痛点，regime-aware 思路可启发调度策略设计
• 保留理由： ✅ 调度理论基础，regime 分解思路值得工程落地参考；已接近可复现级别（算法描述清晰）

🔥 KEEP — 条目2：KV Cache 管理全景调查（30+ 系统 · 5 大架构原型）

• 来源： https://arxiv.org/abs/2607.02574
• 时间： 2026年7月
• 论文标题： "A Survey of KV Cache Management for LLM Serving: From Tensor Buffer to Distributed Memory Hierarchy"
• 核心贡献：
• 覆盖 30+ KV-cache 管理系统的分类学，按四个维度：locality、lifetime、ownership、substrate
• 5 大架构原型： local-paged、disaggregated-pipeline、shared-store、memory-pool、hybrid-tier
• 指出 KV cache 已从 per-request temporary tensor 演变为 first-class memory object
• 涉及系统：vLLM PagedAttention、DistServe、Splitwise、Mooncake、FlexKV、TFLMS、VEER 等
• 工程价值： ⭐⭐⭐⭐⭐
• 系统性最强，适合构建 KV cache 工程认知图谱；每个架构原型的 trade-off 清晰
• 可直接作为推理系统选型和架构决策的参考文献
• 保留理由： ✅ 综述类，但覆盖全面，按四个维度分类是原创性贡献；工程落地必读

二、Agent 推理调度系统（arXiv 高价值 — 新增条目）

🔥 KEEP — 条目3：SAGA — Workflow-Atomic Scheduling for AI Agent Inference

• 来源： https://arxiv.org/abs/2605.00528
• 时间： 2026年5月
• 论文标题： "SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters"
• 核心贡献：
• 核心论点： 现有 request-level abstraction 与 compound AI workload 本质不匹配，应转向 program-level 调度（以整个 agent workflow 而非单次推理调用为第一调度单位）
• 三大机制：
  1. Agent Execution Graphs（AEG）： 捕获 workflow 结构，预测跨 tool-call 边界的 KV cache 复用；WA-LRU eviction 达到 Bélády 最优离线策略的 1.31× 以内
  2. Session-affinity batching with work stealing： 双层调度，本地最大化 cache 复用，全局 coordinator 随机 work stealing 防 straggler
  3. Agent Fair Share（AFS）： 任务完成时间公平性指标，有可证明的 bounded-deviation 保证
• Benchmark 数据（64-GPU cluster）：
  • SWE-bench：比 vLLM v0.15.1（prefix caching + affinity routing）快 1.73×（p<0.001）
  • WebArena browser tasks：比 vLLM v0.15.1 快 1.64×（geometric mean，p<0.001）
  • GPU memory utilization 提升 1.22×，99.2% SLO attainment under multi-tenant interference
• 工程价值： ⭐⭐⭐⭐⭐
• 第一个给出 workflow-aware KV cache 管理 empirical competitive-ratio 分析（1.31× offline-optimal）
• 实测 1.73× 提升来自 64-GPU 生产级集群，不是 toy experiment
• AFS Lyapunov-drift 分析有完整推导，是可验证的理论工作
• 保留理由： ✅ 兼具理论保证 + 生产级实测；program-level scheduling 是 compound AI 系统必由之路
• 后续行动： 关注 SAGA 代码是否已开源；与 vLLM 0.15.1 集成路径

三、vLLM 内部工程揭秘（官方博客 — 极高价值，新增条目）

🔥 KEEP — 条目4：vLLM Production Quality 内部机制（CI / Benchmarking / Release Gates）

• 来源： https://vllm.ai/blog/2026-07-16-keeping-vllm-production-quality
• 时间： 2026年7月16日（极新）
• 核心内容：
• 背景： vLLM 现有 86k+ GitHub stars、560万月均 pip install、250万月均镜像拉取、支持 1000+ 模型架构和 600+ 加速器类型；多硬件支持是最大优势也是最大稳定性挑战
• 发布流程三道关卡：
  1. Full CI Suite： 每个 RC 均需通过全部 CI 测试
  2. Performance Benchmark Suite： 使用 vllm-bench 测量 TTFT、TPOT 等指标
  3. Model Accuracy Evaluation Suite： 使用 lm-eval 评估 GSM8K、GPQA、AIME 数学/推理基准；用 Berkeley Function-Calling Leaderboard（BFCL）测 function-calling 准确率
• Release Manager 流程： Monday 选 main 上最健康的 greenest commit 切 release branch；周三前 cherry-pick 并打 RC tag；三道关卡全部绿灯才发版
• 环境漂移问题： CI runner 环境差异 + 依赖随时间变化导致测试结果不一致；通过固定测试环境解决
• Benchmark drift 问题： 每次运行结果必须可复现；用固定 workload config 描述（模型、参数、加速器、任务）解决
• 工程价值： ⭐⭐⭐⭐⭐
• vLLM 团队首度公开内部 CI/CD + 评估体系，对所有推理 Engine 工程化有直接参考价值
• vllm-bench + lm-eval + BFCL 组合是值得学习的评估工具链
• Release manager 流程（Monday 选 greenest commit → Wednesday RC → 三关卡）可直接复用到其他开源推理项目
• 保留理由： ✅ 工程实践精华，vLLM 内部机制首次系统公开；benchmark drift 处理方式值得所有团队借鉴
• 后续行动： 研究 vllm-bench 开源情况；将三道关卡模型引入内部推理 Engine 发布流程

四、异构推理框架工程（GitHub — 新增条目）

🔥 KEEP — 条目5：Mooncake vLLM Store 集成 + RDMA P2P Weight Transfer（2026年5月重大更新）

• 来源： https://github.com/kvcache-ai/Mooncake
• 时间： 2026年5月（持续更新）
• 核心更新：
• 2026-05-07： vLLM 正式引入 Mooncake Store——深度集成 Mooncake 分布式 KV Cache 引擎，实现跨实例高吞吐、内存高效、零拷贝 KV cache 共享
• 2026-04-29： SGLang 引入基于 RDMA 的 P2P weight transfer，用于大规模分布式 RL（MoE），Kimi-K2（1T 参数）weight update 从 53s → 7.2s（7× 加速），通过数千 GPU 零拷贝 RDMA 传输
• 2026-01-28： FlexKV（Tencent + NVIDIA）支持与 Mooncake Transfer Engine 集成的分布式 KV cache 复用
• 2026-04-10： SGLang 正式支持 Mooncake Transfer Engine 用于 disaggregated prefill + KV cache transfer
• 组件体系： Transfer Engine（低延迟异构网络/加速器数据传输）+ Mooncake Store（分布式 KV cache + model weight 管理）+ Mooncake EP & PG（弹性 MoE serving）
• 工程价值： ⭐⭐⭐⭐
• 7× weight update 加速对 RL training iteration 至关重要；vLLM + Mooncake Store 集成是 KV cache 跨实例共享的生产方案
• RDMA P2P 对大规模 GPU 集群分布式训练/推理有直接工程价值
• 保留理由： ✅ 生产级集成已落地，不是 research prototype；跨实例 KV cache 共享是 2026 分布式推理的关键工程挑战

🔥 KEEP — 条目6：KTransformers v0.6.1 — CPU-GPU 异构推理（AVX2 纯 CPU 后端）

• 来源： https://github.com/kvcache-ai/ktransformers
• 时间： 2026年4月（v0.6.1 于 2026-04-30）
• 核心更新：
• v0.6.1（2026-04-30）： 更新 kt-kernel inference 和 SFT 文档，分离 Inference / SFT Quick Start 入口
• AVX2-only CPU 后端（2026-03-26）： 支持纯 CPU 推理，无需 GPU 即可运行部分模型
• Kimi-K2-Thinking 支持（2025-12-05）： 单卡 24GB VRAM 即可推理 DeepSeek-R1/V3，382GB DRAM 下 3~28× 加速
• CPU-GPU Expert Scheduling（2026-01-22）： 动态调度 MoE expert 到 CPU 或 GPU
• Native BF16 / FP8 per-channel precision（2026-01-22）： 国产推理框架量化精度新高
• 工程价值： ⭐⭐⭐⭐
• 异构计算（CPU-GPU）解决显存不足场景下的推理问题；AVX2 CPU 后端对边缘/老旧硬件有工程价值
• 单卡 24GB 跑 DeepSeek-R1 的实测数据有直接参考意义
• 保留理由： ✅ 国产高性能推理框架持续活跃；异构计算是 2026 推理工程重要方向

五、工程复盘与方法论（Substack — 高价值筛选通过）

🔥 KEEP — 条目7：James Phoenix — "Measuring Coding Agent Leverage" + "Agents Broke CI Economics"

• 来源： https://understandingdata.com/posts
• Substack 专题： "Engineering notes from production"
• 核心观点：
• Coding Agent Leverage： 如何量化 AI coding agent 对开发效率的真实贡献（超越 benchmark 的工程视角）
• Agents Broke the Economics of CI： AI coding agent 大幅降低代码提交成本，导致 CI 流水线过载（提交量 ↑↑，但每个提交的测试覆盖率可能 ↓）
• MCP Tool Poisoning： MCP 协议描述字段是攻击面（description 即攻击面），工具调用层面的安全风险
• Hosted Builds Are the Wrong Abstraction for Agentic Coding： agent 应有本地执行能力而非全部依赖远程 build 服务
• 工程价值： ⭐⭐⭐⭐
• 唯一从 production engineer 视角写 AI agent 真实问题的 newsletter，不是 hype 而是工程反思
• MCP security surface、Coding agent CI economics 是 2026 年所有 AI 工程团队必须面对的真实问题
• 保留理由： ✅ 纯工程视角，无 hype；MCP security 和 CI economics 是新兴工程问题，国内 CSDN/博客圈尚未系统性覆盖

六、工程筛选复盘（去重 · 本轮放弃条目）

❌ DISCARD — vLLM vs SGLang 2026 H100 Benchmark（多处已覆盖）

• 来源： techsy.io, jarvislabs.ai, Medium (llama.cpp vs vLLM vs SGLang)
• 丢弃原因： 今天 10:50 工程筛选轮次和 08:20 CSDN 简报已覆盖 vLLM vs SGLang benchmark 对比；H100 数据（~12,500 tok/s vs ~16,200 tok/s）已收录；再收录重复价值低

❌ DISCARD — "Production RAG Stack 2026: OpenAI → Llama + pgvector + LangGraph"

• 来源： pub.towardsai.net
• 丢弃原因： 企业案例迁移叙事为主，含具体技术栈（Llama 3 + pgvector + LangGraph），但无版本号、命令、benchmark 数据；已作为 today 简报补充收录，无须单独立条目

❌ DISCARD — ArXiv 2502.07115v5 — Online Scheduling for LLM Inference（旧论文）

• 来源： arxiv.org/html/2502.07115v5
• 丢弃原因： 2025年2月论文（非 2026 年新工作）；已被 2607.09248（更新的 regime-aware routing）系统性覆盖；如知识库已有收录可跳过

汇总

建议写入路径： /shared/research-kb/inbox/jay/2026-07-20-1455-engineering-filter-round2-jul2026-kvcache-saga-vllm-blog-ktransformers.md

是否需要精读： - 精读： vLLM Production Quality Blog（可直接复用 CI/CD 流程）、SAGA（1.73× 实测 + 理论保证） - 泛读： KV Cache Survey（建立认知框架）、Regime-Aware Routing（理论启发）、Mooncake（工程集成路径） - 审稿： James Phoenix "Agents Broke CI Economics"（中文圈尚无类似工程反思，需专家审稿确认数据）

主题页更新建议： - 新增「推理系统 CI/CD / 评估体系」标签，将 vLLM Blog 纳入 - SAGA → Agentic Serving Systems / Compound AI 主题页 - KV Cache Survey → KV Cache Management 主题页作为综述入口