一张地图读懂 LLM 推理服务：2025 年最值得工程团队读的综述

  • 关联论文：2504.19720

把大模型跑起来只是开始，让它在生产环境里又快又便宜又稳定，才是真正的硬仗。这篇由苏州大学与华为云联合发表的综述《Taming the Titans: A Survey of Efficient LLM Inference Serving》，把近两年散落在系统、调度、存储、硬件等方向的优化手段，第一次按四级层级串成了一张可索引的地图。

为什么重要：业界正在从"工程调优"走向"理论优化"。如果你的团队正在做推理引擎、Agent 平台、或 RAG 服务，这份综述值得放在桌上。

核心机制：作者用四级分类法把 LLM Serving 拆开。实例级关注单卡单请求的优化——模型放置、请求调度、解码长度预测、KV cache 管理、prefill/decode 解耦。集群级把视角拉到数据中心，讨论异构 GPU 池化、多实例负载均衡、云上弹性。新兴场景则把通用推理方法与具体 LLM 用法对接——长上下文、RAG、MoE、LoRA、投机解码、增强型 LLM、Test-Time Reasoning。最后是杂项但关键的工程角落——硬件适配、隐私推理、模拟器、公平性、能耗。

其中几个反直觉但高价值的判断值得记住。一是 SJF 调度在 LLM 推理中复活：先处理"预估输出短"的请求，P99 延迟显著下降，因为长短请求不再撞车。二是 Prefill/Decode 解耦已成新范式：把算力密集的输入阶段和带宽密集的自回归生成阶段放到不同实例上独立扩缩，代表工作有 DistServe、Mooncake。三是 KV cache 显存增长比权重更激进——它是 O(L × batch × hidden)，长上下文 + 大 batch 跑起来 OOM 比想象中来得快。

证据边界与工程局限：v1 仅 11 页正文，作者自己标注 work in progress；综述不报实验，无法直接给出"哪个组合性价比最高"的工程推荐。Awesome-LLM-Inference-Serving 仓库作为配套资源存在，但版本号不固定。理论深度上缺乏统一数学模型把不同子方向纳入同一优化框架，分类法强，但跨子方向可比的"全局最优"尚未出现。综述对边缘推理（CPU / 端侧）、多租户隔离、故障恢复、成本核算等真实生产问题仍浅尝辄止，工程团队需要自行补齐。指标体系上 TTFT、TPOT、TBT、Normalized Latency、P99 已成为业内通用口径，但单纯报 tokens/s 已不够——吞吐与尾延迟此消彼长，必须同时盯住。

对落地的直接启发：先看调度，再看模型——一个简单的 SJF + prefill/decode 解耦，往往比换底层 attention 实现收益更高；上线前必须跑 percentile 指标；KV cache 显存要按 vLLM 的 estimate-memory 实测；Agent 时代 SLO 的形状已从"一次响应多快"变成"整条链路多稳"，这对可观测性提出 trace 级要求。

三个标题变体

  1. 一张地图读懂 LLM 推理服务：2025 年最值得工程团队读的综述
  2. 你的 GPU 在空转吗？一篇综述把 LLM Serving 的所有优化点串成一张图
  3. 从 SJF 到 Prefill/Decode 解耦：LLM 推理服务的四级分类法

小红书卡片文案

🧠 你以为调大模型只是改 prompt？ 真正的硬仗，是让 70B / 200B 的模型在生产里又快又便宜又稳。

这篇苏州大学 × 华为云的综述，把近两年 LLM Serving 的所有优化点，串成了一张四级地图： 🔹 实例级：调度、KV cache、解耦 🔹 集群级：负载均衡、弹性 🔹 新兴场景：RAG、Agent、Test-Time Reasoning 🔹 杂项但关键：能耗、公平性

三个反常识结论👇 ① SJF 调度在 LLM 推理里复活了——先处理"短请求"反而降低 P99 ② Prefill/Decode 解耦是新范式，KV 传输是瓶颈 ③ KV cache 显存比权重涨得更狠，长上下文 + 大 batch 直接 OOM

⚠️ 局限也诚实：v1 仅 11 页，不报实验，无统一 benchmark。 但作为工程地图，它已经是 2025 年最值得打印贴在工位上的那张。

LLM #推理优化 #大模型 #AI基础设施 #RAG #Agent