Jay 五类简报 · 2026-09-28 下午场（15:05）
主题: IETF CATS KV Cache 标准草案 · TokenDance · Edge Multi-Agent KV Persistence · HF W39 Papers 检索范围: Tavily 搜索 · IETF Datatracker · arXiv · HF Daily · Substack · CSDN 去重参考: 早/午/晚简报已覆盖：Continnum、ECHO、C2C、Cognee、InferenceBench、The AI Agents Stack 2026
一、Database · KV Cache 系统工程（新增条目）
🔴 [重要] IETF CATS KV Cache Distribution 草案（2026-07 已发布）
来源: IETF Datatracker · draft-li-cats-kv-cache-distribution-00 · 2026-07-04
类型: IETF 标准草案（Informational）
作者: Z. Li / Z. Du / J. Wang / W. Cheng / G. Zhang / X. Sun / C. Zhao（China Mobile、Centec、Inesa、SAIA）
可信度: 高（IETF 正式草案，China Mobile 主推）
标签: IETF CATS KV-cache distributed-inference standardization
核心问题： 分布式 LLM 推理中，KV Cache 在多个实例间分布。传统 CATS（Computing-Aware Traffic Steering）只考虑计算负载和网络指标，无法感知 KV Cache 可用性——即请求调度到哪个实例会影响是否命中已缓存的 prefill 状态，从而影响 TTFT。
核心方案： 草案提出在 CATS 框架中增加 Cache-State Metric（缓存状态指标）： - Cache Hit Metric：实例级 KV Cache 可用性 - Cache Distance Metric：请求与缓存实例间的"距离"（含网络跳数、缓存一致性） - Multi-tier Cache Sync：GPU HBM / CPU Memory / SSD 多层缓存的同步策略
工程价值： - 这是首个将 KV Cache 分布纳入网络流量调度标准化的尝试 - 预示着未来分布式推理编排层（llm-d、vLLM disaggregated）可能需要暴露 KV Cache 拓扑 API - 与 Mooncake（ disaggregated prefill/decode）、LMCache 的路线图直接相关
链接: https://datatracker.ietf.org/doc/html/draft-li-cats-kv-cache-distribution-00
后续行动：纳入「LLM 推理基础设施标准」跟踪列表；关注 2026-2027 是否进入 RFC 流程
🟠 [新] TokenDance：同步轮次 KV Cache 共享（arXiv:2604.03143）
来源: arXiv:2604.03143 · 2026（多作者联合）
类型: 学术论文 + 系统
可信度: 高（arXiv，已制作可视化页面）
标签: arxiv KV-cache multi-agent all-gather synchronized-rounds vLLM
核心问题： OpenClaw、MoltBook 等多 Agent 平台采用"同步轮次"架构（synchronized rounds）：每个 Agent 产生输出，中央调度器收集所有输出，再统一分发给每个 Agent 进入下一轮。这形成"All-Gather"模式——每个 Agent 的下一轮 prompt 都包含"私有历史 + 所有 Agent 的共享输出块"，导致 N 个 Agent 各自存储完整的共享 KV，造成 N× 内存浪费。
TokenDance 核心方案： 将"一轮"视为一个集体对象（collective object），而非 N 个独立副本： - Master Cache + Sparse Deltas：存储一个主缓存 + 每个 Agent 的稀疏差分，而非 N 份完整副本 - Round-level Reuse > Request-level Reuse：在轮次层面而非请求层面做 KV 复用优化 - 前提：共享文本完全对齐（exact token alignment），Agent 输出同步到达
关键数据： - 相比 per-request PIC（位置无关缓存）：prefill 提速最高 1.9× - 相比 Prefix Caching（相同 SLO 下）：并发 Agent 数提升最高 2.7× - sibling cache similarity 热力图显示：成对 block 相似度达 90% 时，diff-aware 存储远优于 N 份副本
适用场景：OpenClaw、MoltBook 这类同步轮次多 Agent 框架；社交模拟、协作编码 Agent 局限：当 token 对齐不完美或异步 straggler 主导时收益下降
链接: https://arxiv.org/html/2604.03143v1 交互可视化: https://podcast.do-not-panic.com/viz/2026-04-22-tokendance
后续行动：与 OpenClaw 官方确认是否已在生产中引入 round-level KV 优化；关注 vLLM 调度层集成可能性
🟡 [新] Edge Multi-Agent Q4 KV Cache 持久化（arXiv:2603.04428）
来源: arXiv:2603.04428v1 · 2026-02（Yakov Pyotr Shkolnikov）
类型: 学术方法论文
可信度: 中高（有量化数据和开源）
标签: arxiv KV-cache edge-computing multi-agent quantization apple-silicon
核心问题： Apple M4 Pro（10.2 GB 缓存预算）8K context 仅能容纳 3 个 Agent；10-Agent 工作流必须不断驱逐/重载 KV——每次驱逐后重新 prefill 需 15.7 秒（4K context）。
核心方案： 将每个 Agent 的 KV Cache 以 Q4（int4）格式持久化到磁盘，直接恢复到 attention 层： - Block Pool：per-agent 隔离的 Q4 KV Cache（safetensors 格式） - BatchQuantizedKVCache：并发推理时同时处理多个 Agent 的量化缓存 - Cross-phase Context Injection：跨对话阶段的 attention 状态累积
关键数据（Apple M4 Pro）： - TTFT 降低：Gemma 3 12B：22~136×（4K~32K）；DeepSeek-Coder-V2-Lite 16B：11~76×；Llama 3.1 8B：24~111× - Q4 量化精度损失：Gemma -0.7% PPL；Llama +2.8%；DeepSeek +3.0%（均为可接受范围） - 内存效率：Q4 比 FP16 多容纳 4× Agent 上下文
链接: https://arxiv.org/html/2603.04428v1
后续行动：关注该方法在 Android Edge 场景的复现可行性（相比 Apple M 芯片的统一内存架构）
二、Backend · 推理引擎与 Serving 系统
🟡 PolyKV：非对称压缩 KV Cache 共享池（arXiv:2604.24971 · Apr 2026）
来源: arXiv:2604.24971 · 2026-04-27（Ishan Patel et al.）
类型: 学术系统论文
可信度: 高（有 GitHub 代码）
标签: arxiv KV-cache multi-agent quantization asymmetric-compression TurboQuant
核心方案： 多个并发 Agent 共享单一非对称压缩 KV Cache 池，而非每个 Agent 独立分配： - Keys：int8（q8_0）量化，保持 softmax 稳定性 - Values：FWHT 旋转 + 3-bit Lloyd-Max 量化（TurboQuant MSE） - 通过 HuggingFace DynamicCache 对象注入 N 个独立 Agent 上下文
关键数据（Llama-3-8B-Instruct，15 个并发 Agent，4K context）： - KV 内存：19.8 GB → 0.45 GB（压缩 97.7%） - PPL 损失：+0.57%（不随 Agent 数增长） - BERTScore F1：0.928 - 1,851 coherent tokens 时 PPL 改善：-0.26%
链接: https://doi.org/10.48550/arXiv.2604.24971
🟡 "An Internet for the KV Cache"（arXiv:2608.01526v1 · Aug 2026）
来源: arXiv:2608.01526v1 · 2026-08
类型: 系统愿景论文
可信度: 中（概念性，非具体系统）
标签: arxiv KV-cache infrastructure-vision cross-model reuse
核心论点： KV Cache 不只是"另一个数据结果"，而是一种"表达性工具"——它将自然语言知识转换为可共享、可复用、可跨知识库/输入/甚至跨模型传递的表达形式。论文提出 KV Cache 应成为 LLM 推理中的第一等公民（first-class primitive），其角色包括： - Storage Primitive：持久化、跨请求复用 - Communication Primitive：模型间 KV 直接传递（C2C） - Scheduling Primitive：调度决策基于 Cache 可用性（如 CATS 草案）
与 C2C（ICLR 2026）的关联：C2C 是该愿景的具体实现路径之一
链接: https://arxiv.org/html/2608.01526v1
三、Cloud-Native · 分布式推理与网络
🟡 HotInfra 2026：PIM-DIMM KV Cache Server 经济性分析
来源: HotInfra '26（June 28, 2026）· Khyati Kiyawat & Kevin Skadron
类型: 学术论文 + 经济性分析
可信度: 高（学术会议 + 完整数据）
标签: HotInfra2026 PIM CXL KV-cache cost-analysis inference-economics
核心数据（DeepSeek-R1-671B，32K tokens 生成）：
| 指标 | H100 SXM5 Cluster | PIM-DIMM KV Cache Server | 对比 |
|---|---|---|---|
| 设备 | 19× H100 + 2× CXL switches | 23× 64GB PIM-DIMMs | — |
| 总内存 | 1,520 GB | 1,472 GB | 相近 |
| 聚合带宽 | 63.7 TB/s | 150.7 TB/s（2.4×↑） | PIM 优势 |
| 吞吐量 | 679 tok/s | 1,607 tok/s（2.4×↑） | PIM 优势 |
| CapEx | $570,000 | $27,664（20.6×↓） | PIM 压倒性 |
| OpEx（cloud+电费） | $59.23/hr | $3.53/hr（16.8×↓） | PIM 优势 |
| Tokens/Watt | 0.051 | 1.507（29.5×↑） | PIM 压倒性 |
| Cost/Mtokens | $24.24 | $0.61（39.7×↓） | PIM 压倒性 |
工程解读：PIM（Processing-in-Memory）DIMM 在 KV Cache 密集型推理中展现出惊人的成本/能效优势，CapEx 降低 20×、Cost/Mtoken 降低 40×。这是 Mooncake 之后 disaggregated KV serving 方向的重大进展。
链接: https://hotinfra.org/2026/papers/hotinfra26-final59.pdf
四、CSDN · 高价值技术文章
🟡 2026年RAG技术深度解析：从核心原理到企业落地的全景指南
来源: CSDN · 2026-07-08 · 2万字长文
类型: 技术综述（高覆盖但缺一手复现数据）
可信度: 中（综述性质，二次汇编为主）
标签: CSDN RAG survey enterprise 2026
核心内容（高价值部分）： - RAG 三代演进：Naive RAG → Advanced RAG → Agentic RAG - GraphRAG 适用边界：关联推理/全局摘要 vs. 构建维护成本高/延迟高 - Self-RAG / CRAG：让模型自己"批改作业"的原理与工程权衡 - 长上下文 vs RAG 的博弈结论：RAG 不可替代，但场景分化；未来趋势是融合
筛选理由：综合综述质量较高，但属于汇编内容；核心价值在于提供了 RAG 2026 年全景框架，可作为团队内部知识对齐参考，不适合作为一手工程依据。
🟡 AI Agent工程化实战：LangGraph+RAG+Agent Skills全流程解析
来源: CSDN · 2026-09-04 · 450+ 阅读
类型: 工程实战（LangGraph 状态机 + RAG + Skills）
可信度: 中（实操性强，有代码结构）
标签: CSDN LangGraph Agent-Skills RAG production
核心内容： - LangGraph 状态机机制管理复杂工作流（分支/循环/持久化） - Checkpointer 机制的"时间旅行调试"价值 - Agent Skills 原子工具封装模式
筛选理由：LangGraph v1.0 已经在 Uber、JP Morgan 等生产落地，这篇文章提供了工程师视角的架构解读，有一定参考价值但深度有限。
五、Reproduction · 可复现性与工程验证
🔴 ICML 2026 Agents Reproduction Challenge 获奖名单
来源: Hugging Face YouTube 直播 + HF 博客
时间: 2026 年活动（具体日期未确认）
可信度: 高（Hugging Face 官方主办）
标签: reproduction ICML2026 agent-harness HF-GPU-credits
获奖者： - 第 1 名（$2,000 HF GPU Credits）：SSH Procreations - 第 2 名 + 最佳 Overall（$1,000 HF GPU Credits）：多人团队
核心内容： Hugging Face 在 ICML 2026 期间发起 Agent Reproduction Challenge，参赛者使用 AI coding agent 复现尽可能多的 Agent 相关论文。直播中宣布了获奖者名单，并展示了获奖作品画廊。
工程价值： - 这代表了"AI agent 复现 AI research"的范式验证——用 AI agent 做 ML research 的循环 - HF GPU Credits 作为奖励机制表明了云端推理资源的稀缺性 - 值得关注：复现成功率 vs 人工复现的差距缩小速度
链接: https://www.youtube.com/watch?v=8qpEDpNhzWY
🟠 HF Daily Papers 高价值条目（W39 · 2026-09-22 批次补充）
来源: Hugging Face Papers Daily
可信度: 各条目独立评估
标签: HF-papers ICML2026 agent-reproduction
| 论文 | 来源 | 核心 | 标签 |
|---|---|---|---|
| CodeMidas | HF Daily · Xiaomi | 从代码本身规模化构建 agentic coding RL 环境 | HF-papers agentic-coding RL |
| Grounded Skill Synthesis | HF Daily · ant-intl | 从大规模代码综合 grounded skills | HF-papers skill-synthesis |
| GAVEL | HF Daily · Duke | 图世界模型用于可验证 LLM 任务规划 | HF-papers LLM-planning graph |
| SiliconBench | HF Daily · PennState | 统一内存桌面 LLM Serving 性能基准 | HF-papers LLM-serving benchmark |
| spmind | ICML 2026 | 自主 AI Agent 端到端空间蛋白质组学 | HF-papers ICML2026 AI-agent |
| ClawBio | HF Daily | 首个生物信息学原生 AI agent skill library，871+ GitHub stars，OpenClaw 构建 | HF-papers bioinformatics AI-agent |
六、分类标签汇总
| 类别 | 标签 |
|---|---|
| KV Cache 系统 | IETF CATS KV-cache distributed-inference TokenDance PolyKV Edge-KV-persistence |
| 推理引擎 | vLLM SGLang TurboQuant FWHT PIM CXL |
| Multi-Agent | multi-agent all-gather synchronized-rounds OpenClaw MoltBook |
| 基础设施经济性 | HotInfra2026 CapEx OpEx Tokens/Watt PIM-DIMM |
| CSDN | CSDN RAG LangGraph Agentic-RAG 2026-survey |
| Reproduction | ICML2026 agent-reproduction HF-GPU-credits challenge |
| HF Papers | HF-papers agentic-coding skill-synthesis SiliconBench spmind ClawBio |
七、建议写入路径
路径: /shared/research-kb/inbox/jay/2026-09-28T1505-jay-five-category-briefing.md
八、精读 / 审稿 / 主题页更新建议
🔴 优先精读（Top 3）
- IETF CATS KV Cache Distribution 草案 — 首个 KV Cache 网络标准化尝试，China Mobile 主推，与 llm-d/vLLM 路线图直接相关
- TokenDance（arXiv:2604.03143） — 同步轮次多 Agent KV 共享，与 OpenClaw 生产实践直接相关，有交互可视化
- HotInfra 2026 PIM-DIMM 经济性分析 — Cost/Mtokens 降低 40× 的数据需要核验，但方向性极强
🟡 建议审稿（准确性核验）
- PolyKV 97.7% 压缩率 claim — 需要对照开源代码确认压缩率与精度损失的权衡条件
- Edge Q4 KV PPL 损失（+3% DeepSeek） — 需要对照独立 benchmark 数据
🟡 建议主题页更新
- 新增「KV Cache 网络标准化」词条：纳入 IETF CATS 草案
- 新增「Multi-Agent KV Cache 共享技术」词条：纳入 TokenDance、PolyKV
- 更新「分布式推理能效经济性」：补充 PIM-DIMM vs H100 CapEx/OpEx 对比表
- 更新「Agent Reproduction」跟踪：ICML 2026 Challenge 获奖名单
Jay · 2026-09-28 15:05 (Asia/Shanghai) · 第 5 次当日简报 · 数据库/后端/云原生/CSDN/复现五分类