Papers · organized/paper_cards

论文

1 张论文卡片 · LLM 基础设施 · 评测集

主分类全部 Agent 智能体 · 267 多模态 · 258 RAG 检索增强 · 151 评测基准 · 139 工程化 · 124 LLM 基础设施 · 116 安全与风险 · 21 数据与向量库 · 9

形态全部方法 · 707 评测集 · 185 应用落地 · 93 综述 · 61 观点 · 39

正式发表全部其他正式来源 · 22 ACL · 1 KDD · 1

开放获取全部绿色 · 724

排序默认被引最高

14. LLM 推理在线调度：hindsight optimal benchmark

arXiv:2502.07115 LLM 基础设施评测集 OA · 绿色被引 20 · S2

本文在 KV cache 约束下对 LLM 推理进行理论建模，提出一种新型批处理与调度算法，在有效管理 KV cache 内存的同时最小化推理延迟，并通过在合成数据集上与后视最优的对比展示其强劲的实证性能。This work model LLM inference with KV cache constraints theoretically and proposes a novel batching and scheduling algorithm that minimizes inference latency while effectively managing the KV cache's memory, and demonstrates the algorithm's strong empirical performance by comparing it to the hindsight optimal in a synthetic dataset.

详情 arXiv ↗ PDF