14. LLM 推理在线调度：hindsight optimal benchmark

类型：arxiv
标识：2502.07115
链接：https://arxiv.org/abs/2502.07115
主题：agent, database, engineering, evaluation, llm-infra, multimodal, rag
主分类：llm-infra
形态：benchmark
被引：20
被引来源：Semantic Scholar
S2被引：20
OpenAlex被引：1
影响力被引：4
TLDR：This work model LLM inference with KV cache constraints theoretically and proposes a novel batching and scheduling algorithm that minimizes inference latency while effectively managing the KV cache's memory, and demonstrates the algorithm's strong empirical performance by comparing it to the hindsight optimal in a synthetic dataset.
OpenAlex ID：W4407424128
OpenAlex DOI：10.48550/arxiv.2502.07115
DOI：10.48550/arxiv.2502.07115
DOI来源：OpenAlex
开放获取：green
开放获取链接：https://arxiv.org/pdf/2502.07115
OpenAlex更新：2026-07-19
TLDR中文：本文在 KV cache 约束下对 LLM 推理进行理论建模，提出一种新型批处理与调度算法，在有效管理 KV cache 内存的同时最小化推理延迟，并通过在合成数据集上与后视最优的对比展示其强劲的实证性能。
副分类：evaluation
待LLM分类：否
来源文件：
/inbox/jay/2026-06-11-database-backend-cloudnative-inference.md
/inbox/jay/2026-06-17-1100-ml-sys-inference-kv-llmops-cloudnative.md
[S2 enrich]
[OpenAlex backfill]

可复用信息

- 模拟人类记忆系统：短期记忆（HBM，高精度）vs 长期记忆（DRAM，低精度）
- 三个维度：Tier Layout（存储分层）/ Tier Content（按时间 proximity 分配）/ Tier Interaction（block-wise streaming attention 隐藏慢层延迟）
- 性能数据：
- 128K context 任务：跨层流量减少 5.94x
- 延迟降低 76%，吞吐量提升 2x
- 评价： HBM+DRAM 分层方案在长上下文推理场景有明确工程价值；值得关注国内是否有类似硬件配置的生产实现
- 标签： kv-cache long-context memory-hierarchy llm arXiv
- 来源： arXiv:2502.07115v5