条目E4：arXiv 2605.04595 — KV Cache 队列论理与稳定性分析

  • 类型：arxiv
  • 标识：2605.04595
  • 链接：https://arxiv.org/abs/2605.04595
  • 主题：agent, engineering, evaluation, llm-infra, rag
  • 主分类：llm-infra
  • 形态：method
  • 被引：2
  • 被引来源：Semantic Scholar
  • S2被引：2
  • OpenAlex被引：0
  • 影响力被引：0
  • TLDR：This paper introduces the first queueing-theoretic framework that explicitly incorporates both computation and GPU memory constraints into the analysis of LLM inference, and derives rigorous stability and instability conditions that determine whether an LLM inference service can sustain incoming demand without unbounded queue growth.
  • OpenAlex ID：W7160493955
  • OpenAlex DOI：10.48550/arxiv.2605.04595
  • DOI：10.48550/arxiv.2605.04595
  • DOI来源：OpenAlex
  • 开放获取：green
  • 开放获取链接：https://doi.org/10.48550/arxiv.2605.04595
  • OpenAlex更新：2026-07-19
  • TLDR中文：本文提出首个将计算与 GPU 显存约束显式纳入 LLM 推理分析的排队论框架，并推导了严格的稳定性与不稳定性条件，用以判定 LLM 推理服务能否在持续到达的请求下避免队列无界增长。
  • 待LLM分类：否
  • 来源文件：
  • /inbox/jay/2026-06-15-evening-engineering-filter.md
  • [S2 enrich]
  • [OpenAlex backfill]

可复用信息

    • DeepSeek Sparse Attention（DSA）= Lightning Indexer（top-2048 token 选择）+ 细粒度 token 选择
    • K 固定为 2048 tokens，active compute KV footprint 恒定约 0.6 GB
    • 128K 上下文时密集注意力约需 180,000 TFLOPs，DSA 减少约 98% 计算量
    • 标签：SGLang NSA DeepSeek-V3.2 Blackwell Sparse-Attention DSA TRT-LLM CLI
    • 建议分类：LLM Engineering / Long-Context Inference
    • 后续行动：交叉验证 DeepSeek V4 的 NSA 参数（v0.5.12 中合并）；对比 vLLM DSA 实现差异
    • 来源：arXiv（https://arxiv.org/abs/2605.04595）

写作用途

  • 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
  • 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
  • 可用于系统实现、实验平台或工程约束说明。

待补齐

  • BibTeX / 正式引用格式
  • 方法与实验设置细节
  • 与现有工作的差异点
  • 是否有代码和数据集