Jay 工程实践筛选 · 2026-07-30 晚间档

本次主题

二次筛选：推理引擎排障 · LLM Bug 实证研究 · vLLM OOM 诊断 · 推理框架 Benchmark 精筛

筛选依据

• ✅ 有真实环境、命令、CUDA 错误信息
• ✅ 有可复现步骤或性能数字（附硬件/版本约束）
• ✅ 源码分析、benchmark methodology 说明
• ❌ 概念综述、无数字支撑的对比、无版本标注的"最佳实践"
• ❌ 与下午档简报重复条目

✅ 保留条目

1. A First Look at Bugs in LLM Inference Engines — arXiv:2506.09713v2

类型: 实证研究（arXiv, 2025/06 更新） 标签: LLM推理 Bug研究 vLLM TensorRT-LLM SGLang 调试 CUDA 可信度: ★★★★ 高（实证研究，180 个 Bug 案例） 工程含量: 极高——有 Bug 分类体系、修复时间统计、诊断启发式

核心内容: 对 vLLM、TensorRT-LLM、SGLang、Ollama 180 个 Bug 报告的系统分析：

Bug 分类体系（4大类）: - RE（Resource 相关）：OOM、内存泄漏、异常内存增长 → 修复耗时中位数 15 天，均值 79.5 天，37.8% 为极难案例 - FC（Functional Correctness）：功能逻辑错误 - PE（Performance）：性能退化 - SE（Security）：安全问题

关键诊断启发式:

"内存问题（OOM/泄漏/异常增长）不一定源于资源管理模块本身的 Bug——LLM 推理资源需求巨大，错误的功能逻辑会导致过度资源分配或不释放资源。"

具体案例: - vLLM issue #7472：多 GPU 环境下未检测不同 CUDA compute capability，导致 misallocation - TensorRT-LLM issue #1190：IPC 环境下资源可能多次释放

原文链接: https://arxiv.org/html/2506.09713v2 建议: 精读；纳入"推理引擎排障"主题页；作为 vLLM/TensorRT-LLM 调试困难度的量化参考

2. vLLM OOM Errors: Root Cause Diagnosis Guide — ParallelIQ (2026-05)

类型: 工程排障指南 标签: vLLM OOM CUDA 排障 KV cache 2026 可信度: ★★★★ 高（原创排障指南，含错误信息解读） 工程含量: 极高——4 类 OOM 根因 + 时序诊断表 + CUDA 错误信息解读 + 具体命令

核心内容:

4 类 OOM 根因: | 时机 | 很可能原因 | |------|-----------| | 模型加载时 OOM | 模型体积超出 VRAM | | 首批请求 OOM | Batch size 配置错误 | | 仅长请求 OOM | KV cache overflow | | 运行数小时后 OOM | 内存碎片化 |

CUDA 错误信息解读:

torch.cuda.OutOfMemoryError: CUDA out of memory.
Tried to allocate 20.00 GiB (GPU 0; 79.20 GiB total capacity;
71.45 GiB already allocated; 3.81 GiB free; 73.12 GiB reserved)
→ 解读：79.20 - 71.45 = 7.75 GiB 可用，但请求 20 GiB → KV cache 溢出

vLLM 官方排障命令:

# 隔离 CUDAGraph 问题
vllm serve model --enforce-eager
# 或 Python
llm = LLM(model="...", enforce_eager=True)

# 使用 Dummy 权重跳过模型下载加载
vllm serve model --load-format dummy

原文链接: https://www.paralleliq.ai/blog/vllm-oom-errors-root-cause-diagnosis 建议: 纳入"vLLM 生产排障"知识节点；与 arXiv Bug 研究互相印证

3. vLLM vs TensorRT-LLM vs SGLang: H100 Benchmark 2026 — Spheron

类型: 工程 Benchmark（2026 最新） 标签: 推理引擎对比 vLLM TensorRT-LLM SGLang H100 FP8 Benchmark 2026 可信度: ★★★★ 高（Spheron，自建 benchmark，Llama 3.3 70B @ H100 80GB FP8） 工程含量: 高——3 框架同一硬件/模型/精度对比，有 TTFT/TPOT/Throughput 数字

核心性能数字: - TensorRT-LLM：延迟最优，但有 ~28 min 编译开销；高并发时比 vLLM 快 13% - vLLM：通用首选，冷启动快（分钟级），TTFT 150-200ms，Throughput ~3,500 tok/s（A100） - SGLang：共享前缀场景（RadixAttention）有真实收益；无共享时介于两者之间

关键工程洞察:

"If you already have vLLM in production and want the multi-GPU deployment guide, see vLLM Multi-GPU Production Deployment 2026."

Benchmark checklist（工程选型建议）: - TTFT p50（首 token 延迟） - TPOT（per-token 输出时间） - Concurrency 下 Throughput - 运维成本（编译时间、冷启动、可操作性）

原文链接: https://www.spheron.network/blog/vllm-vs-tensorrt-llm-vs-sglang-benchmarks 建议: 收录推理引擎选型主题页；注意标注为 benchmark 数字（非生产实测）

4. vLLM 官方 Troubleshooting 文档 — vLLM Docs

类型: 官方文档 标签: vLLM 官方 排障 CUDAGraph OOM enforce-eager 可信度: ★★★★★ 官方 工程含量: 高——官方排障步骤，与 ParallelIQ 指南互补

核心内容:

# CUDAGraph 错误隔离（定位具体 CUDA 操作）
vllm serve model --enforce-eager
# 或 Python API
llm = LLM(model="...", enforce_eager=True)

# 模型加载问题隔离
vllm serve model --load-format dummy

# OOM 应对策略
# 1. 启用 quantization (FP8/INT4)
# 2. 减少 max_num_seqs
# 3. 启用 tensor_parallel_size > 1

原文链接: https://docs.vllm.ai/en/latest/usage/troubleshooting 建议: 纳入 vLLM 排障知识节点；与 ParallelIQ 指南合并

5. DeployBase: Best LLM Inference Engine 2026 — vLLM/SGLang/TGI/LMDeploy/TensorRT-LLM/llama.cpp

类型: 工程对比综合 标签: 推理引擎对比 vLLM SGLang LMDeploy TensorRT-LLM llama.cpp Benchmark 2026 可信度: ★★★ 中（行业博客，引用 LeetLLM benchmark） 工程含量: 中——6 框架 feature matrix，llama.cpp 显存计算命令，量化配置命令

关键命令（llama.cpp GPU offload）:

./main -m model.gguf -ngl 80 -p "Your prompt"   # GPU offload
./main -m model.gguf -t 16 -p "Your prompt"      # CPU-only multithread

原文链接: https://deploybase.ai/articles/best-llm-inference-engine 建议: 收录为推理引擎全景对比参考，标注数据来源为 benchmark 而非生产实测

6. BatchLLM vs vLLM/SGLang Prefix Caching — arXiv:2412.03594v3

类型: 学术研究（arXiv:2412.03594v3） 标签: KV cache Prefix Caching BatchLLM vLLM SGLang LLM推理 可信度: ★★★★ 高（学术基准，量化对比） 工程含量: 高——BatchLLM 在共享前缀 16000 tokens + share degree 16 场景下 token reuse ratio 92.6%，远超 vLLM 6.3% 和 SGLang 5.2%

核心发现: - LRU-based KV cache（vLLM/SGLang）在全局大批次共享前缀任务中存在结构性低效 - BatchLLM 通过显式批量管理实现 92.6% reuse ratio（vs vLLM 6.3%）

原文链接: https://arxiv.org/html/2412.03594v3 建议: 精读；纳入 KV cache / Prefix Caching 主题页；与 SGLang RadixAttention 对比

7. vLLM Korea Meetup 2026 — vLLM Blog

类型: 社区活动总结 标签: vLLM vLLM Korea Meetup vLLM V1 Prefill-Decode Disaggregation 2026 可信度: ★★★★ 高（vLLM 官方博客） 工程含量: 中——vLLM V1 更新、Prefill-Decode disaggregation（AMD MORI-IO @ 8-GPU MI300X）

关键内容: - vLLM V1 新增特性：community growth, production stack adoption, accelerator integration - Prefill-Decode disaggregation on AMD MI300X（8-GPU）：提升 ITL 稳定性 + goodput

原文链接: https://vllm.ai/blog 建议: 收录 vLLM 生态追踪；关注 Prefill-Decode disaggregation 方向

8. Red Hat Developer: vLLM 免费课程（DeepLearning.AI + Andrew Ng）

类型: 教程资源 标签: vLLM 免费课程 DeepLearning.AI Andrew Ng LLM Compressor KV cache 2026 可信度: ★★★★ 高（Red Hat + DeepLearning.AI 官方） 工程含量: 中——课程内容：LLM Compressor quantization、GuideLLM、KV cache sizing、serving、memory tradeoffs、disaggregated inference

原文链接: https://developers.redhat.com/blog/2026/06/03/learn-optimize-deploy-and-benchmark-llms-vllm-new-free-course 建议: 纳入学习资源；vLLM 入门/进阶路径

9. AdaSpec: Adaptive Speculative Decoding — arXiv:2503.05096v2

类型: 学术论文 + 实现（扩展 vLLM ~2000 行 Python） 标签: Speculative Decoding vLLM AdaSpec SLO 2026 可信度: ★★★★ 高（arXiv + vLLM 集成实现） 工程含量: 高——扩展 vLLM 实现（2000 行 Python），提出 per-request 自适应 speculative length

关键洞察:

"现有 speculative decoding 方法对 batch 内所有请求应用统一 speculative length，忽略不同查询间 token 接受率的显著差异。"

原文链接: https://arxiv.org/html/2503.05096v2 建议: 关注；纳入 Speculative Decoding 主题页

10. DesignGurus Substack: LLM Inference at Scale — Batching/Caching/Routing/Cost

类型: Substack 工程分析 作者: System Design Nuggets 标签: LLM推理 Continuous Batching KV Cache Routing 成本控制 2026 可信度: ★★★ 中（Substack 工程师作者） 工程含量: 中——连续 batching 原理、KV cache 复用机制、路由策略、cost math

核心观点: - 连续 batching（in-flight batching）已是现代推理系统标准 - 生产部署成本公式：成本 ∝ (输入 tokens × 单位价格) + (输出 tokens × 单位价格) + 冷启动开销

原文链接: https://designgurus.substack.com/p/llm-inference-at-scale-batching-caching 建议: 收录为推理成本控制参考

❌ 丢弃条目

📋 本次筛选统计

• 总候选条目: 18
• 保留: 10（全部已在上文）
• 丢弃: 8
• 精读建议: #1 Bug研究、#2 OOM诊断、#6 BatchLLM
• 主题页更新建议: vLLM排障、KV cache主题页、推理引擎选型

📝 知识库写入建议

本次草稿写入: /shared/research-kb/inbox/jay/2026-07-30-1955-jay-engineering-filter.md