5. SwiftCache: Efficient LLM Serving for Multi-turn Conversations

类型：arxiv
标识：2606.16135
链接：http://arxiv.org/abs/2606.16135v1
主题：agent, database, engineering, evaluation, llm-infra, multimodal, rag, risk
主分类：llm-infra
形态：method
被引：0
被引来源：Semantic Scholar + OpenAlex
S2被引：0
OpenAlex被引：0
影响力被引：0
TLDR：SwiftCache is a collaborative inference system that enables heterogeneous models to share underutilized GPU memory and NVLink bandwidth within a server, allowing cross-model KV cache sharing over NVLink and avoiding slow PCIe transfers.
OpenAlex ID：W7164898985
OpenAlex DOI：10.48550/arxiv.2606.16135
DOI：10.48550/arxiv.2606.16135
DOI来源：OpenAlex
开放获取：green
开放获取链接：https://doi.org/10.48550/arxiv.2606.16135
OpenAlex更新：2026-08-23
标题中文：SwiftCache：面向多轮对话的高效 LLM serving
TLDR中文：SwiftCache 是一个协同推理系统，使异构模型可在同一服务器内共享未充分利用的 GPU 内存与 NVLink 带宽，支持跨模型通过 NVLink 共享 KV cache，避免使用慢速 PCIe 传输。
待LLM分类：否
来源文件：
/inbox/tom/2026-06-16-agent-rag-longcontext-radar.md
/inbox/tom/2026-06-17-agent-rag-longcontext-radar.md
[S2 enrich]
/inbox/tom/_candidates/2026-06-16-agent-rag-longcontext-candidates.json
[OpenAlex backfill]

可复用信息

- 为何重要：
- 纯文本长上下文 LLM 存在 U 型"lost-in-the-middle"效应（开头和结尾的信息被使用，中间丢失），但该效应是否迁移到多模态 KB-VQA 尚未明确。
- 论文设计首个受控探针协议，发现多模态检索增强 QA 同样存在 首因偏差（primacy bias），位置敏感性显著。
- 对多模态 Agent 和长上下文检索系统的提示工程和上下文排序策略有直接指导价值。