Jay · 工程简报 · 2026-08-05 10:50（第2次/日）
主题： arXiv LLM Agents × KV Cache 优化 × 长上下文推理工程 检索范围： arXiv cs.CL / Papers with Code / Hugging Face Trending / GitHub Security / FMS 2026 去重依据： 08:20 草稿已收录 vLLM/SGLang/LMDeploy 框架对比、RadixAttention、EU AI Act；本篇聚焦 agent 专用优化和 arXiv 新论文
🔴 高价值①：Online KV Cache Compaction for LLM Agents（arXiv 2026-08-02）
来源： arXiv
2608.00902| 作者团队：LinkedIn 研究团队（含实习生） 可信度： 高（arXiv peer view、LinkedIn 工程背景、Github repo 可复现） 链接： https://arxiv.org/abs/2608.00902 | PDF: https://arxiv.org/pdf/2608.00902 领域： LLM Agent / KV Cache / 推理系统工程
核心问题： LLM Agent 执行长时任务（软件工程、深度研究、Web 浏览）时，搜索结果、文件 diff、执行痕迹持续入 context，KV cache 线性膨胀导致显存瓶颈。现有 compaction 方法（TE/AM）在 agent 场景面临两个独特挑战：
- 未来相关性未知： compaction 信号仅来自当前 context，但被压缩的 cache 可能在多轮之后才被使用
- 时间预算约束：compaction 必须在合理时间内完成，不能无限等待
工程方法： - 对比两种 sequence-level compaction 家族：Token Eviction（TE） 和 Attention Matching（AM） - TE：用 proxy queries 对缓存位置打分，保留注意力权重最高位置的原始 KV - AM：在选择之上额外拟合加性注意力偏置，重建值使输出与完整 cache 匹配 - 核心发现：立即 compaction 通常会降精度；延迟到使用 agent 自身后续 generation 的 queries 时，能恢复大部分精度损失
关键工程数据（可复现）：
| 模型 | Compaction 方法 | Peak KV 压缩比 | Throughput 提升 |
|---|---|---|---|
| Qwen3.5-27B | Attention Matching | 272.1K→99.6K（3.5x） | 217→918 q/h（4.2x） |
| Qwen3.5-27B | Token Eviction | 272.1K→121.3K（2.7x） | 217→717 q/h（3.3x） |
| Gemma-4-31B | Attention Matching | — | 1.7x |
| Gemma-4-31B | Token Eviction | — | 1.5x |
延迟 Compaction 比例 0.2（保留 20% KV）：在大部分任务上保留无 compaction 精度，同时： - Qwen3.5-27B：峰值 KV foot print 降低 3.5x，吞吐量提升 4.2x - Gemma-4-31B：峰值 KV foot print 降低 2.7x，吞吐量提升 1.7x
工程评价： 这是目前最贴近生产 Agent 场景的 KV cache compaction 实证研究。论文明确将 OpenClaw 列为生产级 Agent 框架参照（与 Anthropic/OpenAI/Google 并列）。数据翔实，有 github repo 可复现。强烈建议精读，重点关注 TE 方法的鲁棒性和延迟 compaction 的工程实现细节。
🔴 高价值②：LiveMem — 长期 Agent 的状态连续性（arXiv 2026-08-03）
来源： arXiv（同一批次 cs.CL，2026-08-03 17:17 UTC） 可信度： 高（state continuity formulation 原创性强，LongMemEval benchmark 验证） 链接： https://papers.cool/arxiv/cs.CL 领域： LLM Agent / Memory / 长上下文推理
核心问题定义： 现有 context retention、summarization、retrieval 都无法在 working context 变化时保持持久状态。提出新抽象——state continuity under context turnover：通过固定容量 memory state 承载历史信息，生命周期独立于 active context。
技术方案： - 在 pretrained full-attention LLM 上额外增加 memory state - Main attention path 保留 bounded KV window（如滑动窗口） - Memory state 携带全生命周期历史信息，即使 supporting evidence 已从当前 context 移除，仍能回答相关问题 - 属于 intrinsic memory 方法（无需 extra model）
实验结果： - LongMemEval benchmark 验证：即使 evidence 已从当前 context 移除，LiveMem 仍能基于 memory state 回答问题 - Evidence-distance 分析表明有用信息持续存在于 active window 之外 - 在评估系统中领先其他 intrinsic memory 方法
工程评价： State continuity 是 LLM Agent 推理系统的新抽象维度，与 KV cache compaction（①）互补。建议精读，评估是否可与 Premai/vLLM 等Serving 层集成。
🟡 中高价值③：Global Optimization + Inference-Time Region Grafting for Agentic Workflows
来源： arXiv cs.CL（2026-08-03 15:07 UTC） 可信度： 中高（与 ①② 同批次，方法论未经大规模复现） 链接： https://papers.cool/arxiv/cs.CL 领域： LLM Agent / 推理时优化 / Workflow
核心思路： 在推理时对 agentic workflow 进行全局优化和区域嫁接。推测为在执行过程中识别可优化区域并进行动态重组。
工程评价： 与 ①② 同为 8月3日 arXiv 高质量批次，建议三篇联动精读。
🟡 中高价值④：C2KV + Lynx — KV Cache 系统层加速（本周热点）
C2KV（Position-Agnostic KV Cache）： - 来源：Weekly AI Newsletter 2026-07-27 至 08-02 - 架构：lightweight sidecar extractor + learnable compression tokens，投影位置无关 KV 表示，无需改动 base model 参数 - 数据：17x 推理加速（极端 context length），同时保持任务精度 - 工程评价：极高工程价值，sidecar 架构对现有 Serving 系统侵入性小
Lynx（Split-Stream KV Cache）： - 将 KV cache 数据分片为高优先级 anchor stream 和低优先级 residual stream - 优先传输最重要 bit 表示，解码过程无需等待完整高精度 cache 传输即可开始 - 数据：TTFT 降低 30%，INT4 级传输延迟 + 全 INT8/BF16 推理精度 - 工程评价：对预填充延迟敏感场景（如 Agent 实时响应）直接有效
分类标签： #KVCache #InferenceOptimization #SystemArchitecture #H100 #Production
🟡 中等价值⑤：GoS — 模拟计算内存中 KV Cache 选择性保护
来源： arXiv
2607.29076v1领域： KV Cache / 模拟计算 / 硬件协同优化
核心方向： 针对 Analog Compute-In-Memory（CIM）系统的 KV cache 噪声保护。Context window 从 2023 年约 10K 增长到 2026 年超 10M（三个数量级），CIM 上执行 KV cache attention 面临独特噪声挑战。
工程公式：
KV cache (bytes) = 2 × num_layers × num_kv_heads × head_dim × context_length × dtype_bytes
实例： Llama 3 8B，FP16，128K context → KV cache ≈ 16 GB（等于模型权重本身）
工程评价： 硬件/算法协同设计方向，偏学术。SitePoint 的 KV Cache Survival Guide 对同样公式有更清晰的教育性解释，可作为团队内训材料。
🟡 中等价值⑥：Supermicro — Tiered KV Cache（HBM → NVMe）
来源： FMS 2026（Future of Memory and Storage），2026-08-04 可信度： 中（厂商工程会议演讲） 领域： KV Cache / 存储层次 / Enterprise Infrastructure
内容： Supermicro 提出分层 KV Cache 架构，将 KV cache 从 HBM 逐出到 NVMe，解决长 context 的显存压力。
工程评价： Enterprise 方向，但 KV cache 分层管理是生产部署痛点。可关注后续开源实现或三星/SK海力士等内存厂商的配合方案。
💡 工程洞察汇总
| 主题 | 关键数据 | 适用场景 | 优先级 |
|---|---|---|---|
| 在线 KV Compaction（TE/AM） | 4.2x throughput ↑ / 3.5x KV ↓ | 多轮 Agent、高并发 Serving | 🔴 立即跟进 |
| LiveMem | State continuity 抽象 | 长期记忆、跨 session Agent | 🟡 精读评估 |
| C2KV | 17x 加速 | 极致长 context | 🔴 跟进 sidecar 架构 |
| Lynx | TTFT -30% | 实时 Agent 响应 | 🟡 工程验证 |
| Tiered KV Cache | HBM↔NVMe 分层 | 企业级长 context 部署 | 🟡 关注 |
建议写入路径
/shared/research-kb/inbox/jay/2026-08-05-1050-jay-kvc-agents-arxiv-weekly.md ✅
后续行动
- [ ] 精读 arXiv:2608.00902（Online KV Cache Compaction）PDF，重点看 TE vs AM 延迟策略的消融实验
- [ ] 核验 C2KV 原始论文和 Lynx 论文（确认 17x 和 30% 数据可复现）
- [ ] 评估 LiveMem 与 vLLM RadixAttention 的互补性
- [ ] 更新 知识库节点：KV Cache 优化 > Agent Memory Systems