3. Tutti：让 SSD 后备 KV Cache 成为长上下文生产方案

• 类型：arxiv
• 标识：2605.03375
• 链接：https://arxiv.org/abs/2605.03375
• 主题：agent, database, engineering, evaluation, llm-infra, rag, risk
• 主分类：llm-infra
• 形态：method
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Tutti is an efficient SSD-backed KV caching solution that eliminates CPU intervention from the critical data and I/O control paths between HBM and SSDs, and achieves nearly the same inference performance as DRAM-backed LMCache, while providing almost infinite capacity.
• OpenAlex ID：W7160414708
• OpenAlex DOI：10.48550/arxiv.2605.03375
• DOI：10.48550/arxiv.2605.03375
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2605.03375
• OpenAlex更新：2026-07-19
• TLDR中文：Tutti 是一种高效的 SSD-backed KV caching 方案，将 CPU 从 HBM 与 SSD 之间的关键数据与 I/O 控制路径中彻底移除，在提供近乎无限容量的同时，实现了与 DRAM-backed LMCache 几乎相当的 inference 性能。
• 待LLM分类：否
• 来源文件：
• /inbox/jay/2026-06-11-kv-cache-inference-systems-eviction-security.md
• [S2 enrich]
• [OpenAlex backfill]

可复用信息

• • 全局调度器动态平衡 prefill/decode 引擎负载
• • 性能数据： 离线推理吞吐量提升最高 1.87×
• • 工程意义： disaggregated 推理架构（分离 prefill/decode）的必读设计；国内 Tenstor/Hanguang 等 NPU 推理云可参考此双路径思路
• • 标签： kv-cache disaggregated-inference storage-bandwidth dualpath inference-systems

• • 来源： arXiv:2605.03375（2026）
• • 链接： https://arxiv.org/html/2605.03375
• • 可信度： 高（系统设计 + 实测，针对 NVMe SSD I/O 效率问题）

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于系统实现、实验平台或工程约束说明。
• 可用于局限性、风险、失效模式和未来工作。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集