下午简报 · 2026-06-29 · Jay

数据库 · 后端 · Cloud-Native · CSDN · Reproduction · KV Cache 系统工程

检索时间： 2026-06-29 11:05 CST 检索范围： NVIDIA Research · arXiv · Substack · KubeCon · CNCF · GitHub · CSDN

一、NVIDIA Research 新文章：KV Cache 压缩与基础设施问题（⭐⭐⭐⭐⭐ 必读）

来源： https://research.nvidia.com/labs/eai/blogs/kv-cache-compression-and-its-infra-problems 作者： Weian Mao, Yukang Chen, Wei Huang, Shuai Yang, Luozhou Wang, Song Han（MIT/Stanford/NVIDIA EAI） 发布时间： 2026-06-12 可信度： ⭐⭐⭐⭐⭐（NVIDIA Research 官方实验室，Song Han 团队）

核心观点

文章从工程系统视角系统梳理了 KV Cache 压缩方法论，而非仅关注算法指标：

1. Token Dropping 类：StreamingLLM（保留 attention sink + sliding window）、DuoAttention（区分 full-context head 和 streaming head）、KVzip/KVzap（按重要性丢弃）
2. Quantization 类：KIVI（2-bit KV 量化）、KVQuant（per-channel key 量化 + sensitivity-weighted non-uniform）、RotateKV
3. 系统性差距：压缩算法 ≠ 系统部署。实际落地面临：压缩率 vs 质量权衡、压缩/解压缩延迟开销、长视频生成（LongLive/LongLive 2.0）等新场景

工业界背景补充

• NVIDIA CMX（Context Memory Extension）：2026 CES 发布，将 KV Cache 从 GPU HBM 扩展到 NVMe SSD，形成 GPU→CPU DRAM→NVMe→网络存储 4 层分级结构
• Dynamo + KV-aware Routing：NVIDIA Dynamo 支持跨节点 KV Cache 路由，在 GB200 NVL72 上实测 DeepSeek R1 throughput 提升 15x
• BlueField-4：AI-Native 存储数据处理器，2026 下半年上市，支持 KV Cache 跨集群高速共享（up to 5x tokens/sec 提升）

评价

Song Han 团队将 KV Cache 问题从"算法压缩比"提升到"系统基础设施"层面，这是 2026 年工程界最需要的视角。文章与 ISO-Bench、CUDA profiling 工程草稿高度互补。

后续行动： ✅ 精读 → 纳入"LLM 推理系统工程"主题页

二、arXiv 新增条目：KV Cache 调度与压缩 2026 上半年论文汇总

🔴 高价值论文

2.1 VeriCache — "Turning Lossy KV Cache into Lossless LLM Inference" (arXiv:2605.17613)

方向： KV Cache 压缩 + Lossless 恢复 核心观点： 证明 lossy KV cache 压缩（如 token dropping）可以通过验证机制恢复精度损失，而非简单丢弃 工程价值： ⭐⭐⭐⭐ 与 vLLM 的 prefix caching 机制直接相关 行动建议： 精读 → 对比 vLLM 源码中 prefix caching 实现

2.2 Continuum — "Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache TTL" (ICLR 2026)

来源： OpenReview · Lifelong Agent Workshop @ ICLR 2026 方向： 多轮 Agent 调度 + KV Cache TTL 管理 核心观点： - 提出 TTL（Time-to-Live）机制管理 KV Cache 生命周期 - Scheduler 根据 tool call 完成时间动态调整 KV Cache 保留策略 - 解决多轮 Agent 中"已完成 tool call 但保留 KV cache 浪费显存"的问题

工程亮点： 含完整系统架构图（Figure 13），与 vLLM/SGLang 的 RadixAttention 直接竞争 可信度： ⭐⭐⭐⭐⭐（ICLR 2026 Workshop 论文） 行动建议： ✅ 精读 + 对比 llm-d/kv-cache 的 multi-turn scheduling

2.3 Fluid-Guided Online Scheduling (arXiv:2504.11320v4)

方向： LLM 推理调度 + 显存约束 核心观点： 流体模型驱动在线调度，在 KV cache 显存约束下最小化平均完成时间 - 关键：WAIT 策略 — 等到 eligible 请求数达到阈值再组成 batch，避免碎片化 - LIFO eviction 是 vLLM 默认策略，WAIT 通过预测改善了这个问题 可信度： ⭐⭐⭐⭐（有 formal theory bounds，非纯经验方法） 行动建议： 精读 → 对照 vLLM scheduling 策略源码

2.4 MC-SF（Maximum Concurrency Shortest job First）— MIT + 2026

来源： arXiv:2502.07115v5 方向： KV Cache 约束下的在线调度理论 核心观点： MC-SF 是首个在 KV cache 显存约束下具有 O(1) 竞争比的下界算法 工程价值： ⭐⭐⭐⭐ 为生产系统的调度器设计提供理论保障 行动建议： ✅ 纳入"LLM 调度理论"参考

2.5 KVFundaBench — "Can LLMs Maintain Fundamental Abilities under KV Cache Compression?" (ICLR 2026 Withdrawn)

来源： OpenReview · ICLR 2026 方向： KV Cache 压缩质量评估基准 核心观点： 发现6个关键发现： 1. Task-Dependent Degradation（任务类型影响压缩效果） 2. Model-Type Robustness（模型类型影响鲁棒性） 3. Prompt Length Vulnerability（提示越长越脆弱） 4. Chunk-Level Superiority（chunk 级压缩优于 token 级） 5. Prompt-Gain Sensitivity 6. Long-Context Generation Sensitivity 注意： 该论文在 ICLR 2026 已 Withdrawn，原因是作者未在 deadline 前完成 revision，但评测框架仍有参考价值 可信度： ⭐⭐⭐（被 withdrawal，但 benchmark 框架有价值）

2.6 Rethinking KV Cache Eviction via Unified Information-Theoretic Objective (arXiv, 2026-04-28)

方向： KV Cache 驱逐策略优化 核心观点： 从信息论统一视角重新建模 KV cache eviction，替代 heuristic 方法 可信度： ⭐⭐⭐⭐ 行动建议： 可选精读 → 对比 vLLM 默认 LIFO eviction

三、Cloud-Native / K8s 新动态

3.1 KubeCon + CloudNativeCon India 2026（⭐⭐⭐⭐ 关注）

时间： 2026-06-18-19 · Mumbai 主题： Cloud Native AI + Inference Day

关键议题： - Gateway API Inference Extension：K8s 原生支持推理服务发现 - Cloud Native AI + Kubeflow Day：HPC + Cloud-Native 融合（Slurm ↔ Kubernetes） - Soperator（Nebius 开源）：桥接 Slurm 和 Kubernetes，支持拓扑感知调度 + 云原生弹性 - Agentic AI 调度：多集群 AI 推理调度

CNCF 数据： 全球云原生开发者 1990 万（Q1 2026），AI 原生存储成新趋势

3.2 CNCF Cloud Native AI White Paper（⭐⭐⭐⭐）

来源： https://tag-runtime.cncf.io/wgs/cnaiwg/whitepapers/cloudnativeai 核心内容： - Cloud Native Artificial Intelligence (CNAI) 定义：基于云原生原则构建和部署 AI 应用的方法论 - 分析 AI/ML 负载对云原生技术的挑战与差距 - 覆盖 Kubeflow、Istio、Prometheus 等在 AI 场景的适配

行动建议： 纳入"云原生 AI 基础设施"参考文档

3.3 AI-Native 开发平台 vs 传统 DevOps（⭐⭐⭐）

来源： myitforum.substack.com · 2026 核心洞察： - AI-Native 平台报告 10-30% 代码产出提升，30-60% 测试开销降低 - Agentic Coding 工具：Claude Code（最流行）、Cursor 2.0（多并行 agent）、GitHub Copilot Workspace、Lovable/Replit - 差距是可量化的，不是理论的

四、GitHub 高价值发现

🔴 awesome-ai-agents-2026（⭐⭐⭐⭐⭐）

链接： https://github.com/caramaschiHG/awesome-ai-agents-2026 数据： 1.3k stars · 437 forks · 28 contributors · 持续更新 分类： 20 个分类 · 340+ 资源

重点分类摘要：

行动建议： ✅ 纳入 AI Agent 资源库，作为知识库补充

五、KV Cache + Context Engineering 实用工程指南（Spheron 更新版）

来源： https://www.spheron.network/blog/context-engineering-production-ai-agents-kv-cache-long-context 时间： 2026-06

实用公式（可直接使用）

kv_bytes = 2 × layers × kv_heads × head_dim × context_len × bytes_per_element
         = 2 × 80 × 8 × 128 × context_len × bytes_per_element

关键工程结论

1. KV Cache Hit Rate 是 #1 成本杠杆：60%+ prefix overlap → 75-95% hit rate；unique 请求 → near-zero benefit
2. >128K context 配置 NVMe KV offload：LMCache 配置示例含完整命令
3. FlashAttention-4：集成到主流 ML 库，典型基础设施上 20% 加速
4. ChunkKV：语义 chunk 而非 token 级压缩，保持语言上下文，throughput +26.5%

六、CSDN 补充（与上午草稿去重后新增）

今日上午草稿已覆盖： Ollama/vLLM/llama.cpp 对比、vLLM 0.20.1 配置参数、Agentic RAG 3.0 实战、FastMCP 2.0 实战

本次新增（下午补充发现）：

✅ 源码级高价值

LMCache NVMe KV Offload 实战配置（CSDN 2026）

• 工程价值： 完整的 vLLM + LMCache YAML 配置示例，真实的 NVMe KV offload 部署命令
• 核心配置：

local_disk: true
local_disk_path: /mnt/nvme/lmcache
max_local_disk_size: <available NVMe in GB>

启动命令：

LMCACHE_CONFIG_FILE=lmcache.yaml python -m vllm.entrypoints.openai.api_server \
  --kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}'

• 可信度： ⭐⭐⭐⭐（具体命令可复现）
• 后续行动： 纳入"推理引擎生产部署"主题页

七、与已有草稿去重说明

八、分类标签

KV Cache压缩 | NVIDIA Research | CMX | Dynamo | Continuum | Fluid-Guided Scheduling | MC-SF | VeriCache | LMCache | NVMe Offload | KubeCon India 2026 | Cloud-Native AI | CNCF | CNAI | awesome-ai-agents | ChunkKV | KVFundaBench | 多轮Agent调度 | 推理系统工程

九、建议写入路径

草稿路径： /shared/research-kb/inbox/jay/2026-06-29-afternoon-briefing-kvcache-systems-kubecon-substack.md 状态： ✅ 已写入

十、后续行动建议

Jay · 2026-06-29 11:05 CST · 第3次高频运营 · 下午简报