4️⃣ Tangram · 多轮对话非均匀KV Cache — arXiv:2606.06302（⭐⭐⭐⭐ 新鲜 arXiv）

  • 类型：arxiv
  • 标识：2606.06302
  • 链接：https://arxiv.org/abs/2606.06302
  • 主题：agent, engineering, evaluation, llm-infra, multimodal, rag
  • 主分类：llm-infra
  • 形态：method
  • 被引：0
  • 被引来源：Semantic Scholar + OpenAlex
  • S2被引：0
  • OpenAlex被引：0
  • 影响力被引：0
  • TLDR：Tangram is a serving framework that statically resolves what prior systems handle dynamically, and serves as a drop-in substrate for existing non-uniform compression methods, matching their accuracy while improving end-to-end throughput by up to $2.6\times over the full-KV baseline.
  • OpenAlex ID：W7163670017
  • OpenAlex DOI：10.48550/arxiv.2606.06302
  • DOI：10.48550/arxiv.2606.06302
  • DOI来源：OpenAlex
  • 开放获取：green
  • 开放获取链接：https://doi.org/10.48550/arxiv.2606.06302
  • OpenAlex更新：2026-07-19
  • TLDR中文：Tangram 是一种 serving 框架，将先前系统动态处理的内容静态解析，可作为现有 non-uniform 压缩方法的即插即用底座，在匹配其精度的同时，端到端吞吐量较 full-KV 基线最高提升 2.6×。
  • 待LLM分类：否
  • 来源文件：
  • /inbox/jay/2026-06-10-inference-kv-serve-supplement.md
  • [S2 enrich]
  • [OpenAlex backfill]

可复用信息

    • 明确 draft length、acceptance rate、verifier-drafter size ratio 如何在不同负载下影响延迟
    • 工程价值：理解生产环境中投机解码效果波动的根因分析框架，对配置 SGLang/vLLM 的 speculative decoding 参数有直接指导意义
    • 关键结论：SD 加速在高负载时缩减——这是生产调优者常踩的坑，本文给出量化解释
    • 标签：arXiv 投机解码 延迟建模 生产调优 系统工程
    • 建议动作：审稿；纳入推理引擎配置知识条目
    • 链接：https://arxiv.org/html/2606.06302v1
    • 核心问题：多轮对话中 KV Cache 呈线性增长，固定 budget 无法适配不同 attention head 的重要性差异

写作用途

  • 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
  • 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
  • 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
  • 可用于系统实现、实验平台或工程约束说明。

待补齐

  • BibTeX / 正式引用格式
  • 方法与实验设置细节
  • 与现有工作的差异点
  • 是否有代码和数据集