Systems 补充候选

类型：arxiv
标识：2510.09665
链接：https://arxiv.org/abs/2510.09665
主题：agent, engineering, evaluation, llm-infra, multimodal, rag, risk
主分类：llm-infra
形态：method
被引：124
被引来源：Semantic Scholar
S2被引：124
OpenAlex被引：1
影响力被引：23
TLDR：This work presents LMCACHE, the first and so far the most efficient open-source KV caching solution, which extracts and stores KV caches generated by modern LLM engines out of the GPU memory and shares them across engines and queries.
OpenAlex ID：W4417150458
OpenAlex DOI：10.48550/arxiv.2510.09665
DOI：10.48550/arxiv.2510.09665
DOI来源：OpenAlex
开放获取：green
开放获取链接：https://arxiv.org/pdf/2510.09665
OpenAlex更新：2026-07-19
TLDR中文：本工作提出 LMCACHE，首个也是目前最高效的开源 KV 缓存方案，可将现代 LLM 引擎生成的 KV 缓存从 GPU 显存中提取并存储，并跨引擎和查询共享。
待LLM分类：否
来源文件：
/inbox/stephen/2026-06-15-stephen-coordination-check.md
[S2 enrich]
[OpenAlex backfill]

可复用信息

1. NetKV: Network-Aware Decode Instance Selection for Disaggregated LLM Inference
- 来源：arXiv:2606.03910v1
- 链接：https://arxiv.org/html/2606.03910v1
- 核心观点：在 disaggregated inference 中，长上下文 RAG 请求的 KV cache 传输可达 GB 级，decode instance selection 应考虑网络拓扑与拥塞。
- 可信度：中高。适合补充 disaggregated serving / KV routing 主题。
- 分类：systems disaggregated-inference kv-transfer network-aware-scheduling
1. An Efficient KV Cache Layer for Enterprise-Scale LLM Inference
- 来源：arXiv:2510.09665v2