4️⃣ Tangram · 多轮对话非均匀KV Cache — arXiv:2606.06302（⭐⭐⭐⭐ 新鲜 arXiv）

• 类型：arxiv
• 标识：2606.06302
• 链接：https://arxiv.org/abs/2606.06302
• 主题：agent, engineering, evaluation, llm-infra, multimodal, rag
• 来源文件：
• /inbox/jay/2026-06-10-inference-kv-serve-supplement.md

可复用信息

• • 明确 draft length、acceptance rate、verifier-drafter size ratio 如何在不同负载下影响延迟
• • 工程价值：理解生产环境中投机解码效果波动的根因分析框架，对配置 SGLang/vLLM 的 speculative decoding 参数有直接指导意义
• • 关键结论：SD 加速在高负载时缩减——这是生产调优者常踩的坑，本文给出量化解释
• • 标签：arXiv 投机解码 延迟建模 生产调优 系统工程
• • 建议动作：审稿；纳入推理引擎配置知识条目

---

• • 链接：https://arxiv.org/html/2606.06302v1
• • 核心问题：多轮对话中 KV Cache 呈线性增长，固定 budget 无法适配不同 attention head 的重要性差异

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
• 可用于系统实现、实验平台或工程约束说明。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集