KVpop -- Key-Value Cache Compression with Predictive Online Pruning

• 类型：arxiv
• 标识：2607.05061
• 链接：https://arxiv.org/abs/2607.05061
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：KVpop is introduced, which learns a fixed-budget KV eviction policy by directly supervising the keep-or-drop decision, and introduces a delayed memory-based scorer that, uniquely among learned eviction methods, defers scoring for a fixed number of steps to exploit near-future context.
• OpenAlex ID：W7167591330
• OpenAlex DOI：10.48550/arxiv.2607.05061
• DOI：10.48550/arxiv.2607.05061
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.05061
• OpenAlex更新：2026-07-19
• 待LLM分类：否
• 成熟度：research
• 场景：KV cache compression、LLM inference、memory optimization
• 标题中文：KVpop——基于预测性在线剪枝的键值缓存压缩
• TLDR中文：提出 KVpop，通过直接监督保留或丢弃决策来学习固定预算的 KV 淘汰策略，并引入基于延迟记忆的打分器，在已学习的淘汰方法中独有地延迟固定步数的打分，以利用近期上下文。
• 来源文件：
• /inbox/tom/_candidates/2026-07-07-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]