工程筛选报告 · 2026-09-17 · LLM Inference & Serving 深度工程

任务元信息

  • 筛选时间: 2026-09-17 19:50 (UTC+8)
  • 执行实例: Jay
  • 检索范围: vLLM / SGLang / TensorRT-LLM / LMDeploy / MLOps Engineering / RAG Pipeline / AI Agent Systems
  • 检索平台: Tavily (time_range=month)

一、高价值条目（保留）

✅ 条目 1

来源: vLLM vs SGLang vs TensorRT-LLM in 2026: Deep Benchmark
评分: 0.84 | 类型: Benchmark + 工程选型
保留理由: 完整四引擎对比表（含许可证、硬件支持、量化方式、prefix caching支持），SGLang 400k+ GPU生产数据，2026生产规模选择框架
核心内容摘要: - vLLM: PagedAttention + 统一调度器(V1)，成熟生态，OpenAI兼容API，默认prefix caching - SGLang: RadixAttention前缀树，token级自动共享前缀发现，vendor报告400k+ GPUs / day - TensorRT-LLM: 编译引擎图，静态执行计划构建 - LMDeploy: TurboMind混合4/8-bit精度，CUDA 13.0/Blackwell支持（Aug 2026） - 选择结论: prefix-heavy agentic traffic → SGLang；ecosystem breadth → vLLM；最大throughput/美元 → LMDeploy

后续行动: 建议精读Engine Arguments文档，对比四引擎生产部署checklist

✅ 条目 2

来源: vLLM vs SGLang 2026: H100 Benchmarks Inside
评分: 0.81 | 类型: Benchmark + 性能分析
保留理由: 具体tok/s数字、结构化输出性能差异、多轮对话并发测试数据
核心内容摘要: - Speculative Decoding: 两者能力相当，moderate concurrency下SGLang略优；适合memory-bound长输出场景，2-3x加速 - Structured Outputs: vLLM guided decoding在batch size≥8时throughput显著下降；SGLang overlapped mask generation开销极小 - Prefix Caching: SGLang radix tree token级自动发现；vLLM block管理需手动对齐cache边界 - 多轮对话实测: RunPod benchmark → SGLang ~30-31 tok/s（高并发稳定）；vLLM 22→16 tok/s（cache压力增加时下降） - 批量推理: vLLM对templated prompts（固定system prompt）足够用

后续行动: 建议审稿，关注结构化JSON输出场景的engine选型

✅ 条目 3

来源: LLM Inference Optimization: Reduce Latency and Cost
评分: 0.78 | 类型: 工程实战命令
保留理由: 真实vLLM启动flag、量化命令、生产配置建议
核心内容摘要: - --max-num-seqs 64: 双A6000s + 量化70B的起始值；过高OOM，过低浪费GPU - --disable-log-stats: 生产环境消除每batch数ms日志开销 - --quantization fp8: H100原生FP8 tensor cores，VRAM下降~50% vs BF16，生成类workload吞吐量提升1.6x - AutoAWQ量化（A10G，<30分钟）: 模型权重int8压缩，VRAM减半，矩阵乘法加速 - Agentic workflow: SGLang RadixAttention对1k+ token system prompt + tool definitions效果显著，TTFT降低 - Chunked prefill: --enable-chunked-prefill（vLLM V1默认on），2048 token chunk budget，控制长prompt的prefill阻塞

后续行动: 直接可写入工程checklist，这些flag可以直接复制到生产配置

✅ 条目 4

来源: LLM Inference Latency Optimization: Megakernel With Mirage
评分: 0.68 | 类型: 可复现Kernel工程
发表: 2026-09-15 | 保留理由: 从干净GPU到Qwen3-8B megakernel完整流程，可复现
核心内容摘要: - 问题: 每个transformer forward pass都有独立CUDA kernel launch（QKV projection、RoPE、attention、output projection、RMSNorm等），每步decode重复 - 方案: Mirage Persistent Kernel (MPK) 将整个forward pass编译为单一fused GPU kernel（megakernel） - 步骤: 1) 租用GPU → 2) 安装依赖 → 3) 模型加载 → 4) MPK编译 → 5) benchmark测量 - 可测量指标: TTFT、inter-token latency、throughput、GPU利用率

后续行动: 建议精读，验证能否在H100上复现

✅ 条目 5

来源: PagedAttention vs mmap: Engineering Teardown
评分: 0.66 | 类型: 工程内部分析
保留理由: vLLM/Ollama内部机制对比，chunked prefill详解，prefix caching hash机制
核心内容摘要: - Ollama第二后端: MLX on Apple Silicon M5-class，统一内存+神经加速器；Qwen3.5-35B: prefill 1154→1810 tok/s (+57%)，decode 58→112 tok/s (+93%) - vLLM Continuous Batching: 动态batch调度，max_num_seqs控制并发 - Chunked Prefill: --enable-chunked-prefill（默认2048 tokens/chunk），长prompt分块，decode可穿插 - Prefix Caching: hash-based KV cache复用；相同system prompt多请求场景效果显著 - Disaggregation主流化: prefill和decode拆分到不同硬件池（compute-dense vs bandwidth-dense），KV跨池传输； speculative decoding/MTP更吸引人（攻击decode bound）

后续行动: 建议归档，对理解vLLM内部机制有帮助

✅ 条目 6

来源: GPTQ vs AWQ vs GGUF: Speed, Accuracy & Cost 2026
评分: 0.67 | 类型: 量化benchmark
保留理由: H200单卡量化对比、perplexity/HumanEval分数、INT4 AWQ生产建议
核心内容摘要: - 2026 vLLM量化benchmark: H200 serving Qwen2.5-32B-Instruct，GPTQ/AWQ各两个kernel路径 + Marlin加速 + GGUF Q4_K_M - INT4 AWQ适用场景: A100/L40S/RTX 4090；70B模型从2个A100 80G(BF16)压缩到1个A100(INT4 AWQ)，质量损失~1-3% - LMDeploy TurboMind: 自研AWQ kernel path，跨平台量化部署选项 - KV Cache Quantization: KIVI INT2方法，Sep 2026更新

后续行动: 建议写入量化选型参考表

✅ 条目 7

来源: LMCache Examples - vLLM Disaggregated
评分: 0.41 | 类型: 可运行代码
保留理由: disagg_proxy_server.py真实命令，prefill/decode分离的完整示例
核心内容摘要:

python3 disagg_proxy_server.py \
    --host localhost --port 9000 \
    --prefiller-host localhost --prefiller-port 8100 \
    --decoder-host localhost --decoder-port 8200

# Benchmark命令
vllm bench serve --port 9000 --seed "$(date +%s)" \
    --model meta-llama/Llama-3.1-8B-Instruct \
    --dataset-name random --random-input-len 7500 --random-output-len 200 \
    --num-prompts 200 --burstiness 100 --request-rate 3.6

后续行动: 直接可复现的prefill/decode disaggregation实验

✅ 条目 8

来源: Production-Ready RAG Pipeline 2026
评分: 0.85 | 类型: RAG生产工程
保留理由: 量化生产指标，hybrid retrieval + reranking组合效果
核心内容摘要: - 最大改进: hybrid retrieval + reranking组合 → faithfulness scores突破0.85门槛 - 69%错误率下降: hybrid retrieval + contextual techniques同时应用（Kapa.ai, 2026） - Hybrid retrieval: BM25 + dense vector search → recall +17%，延迟<6ms - Semantic chunking: vs fixed-size chunking → retrieval accuracy +70%（2026 benchmark） - 元数据过滤: 在向量距离计算前先用文档类型/日期/部门过滤，减少噪声 - 72%企业RAG生产采用率（Q1 2026），evaluation infrastructure成必需品

后续行动: 建议写入RAG工程checklist，可验证具体数值

✅ 条目 9

来源: Qwen3.8-27B Benchmarking DFlash2 vs MTP
评分: 0.34 | 类型: Benchmark数据
保留理由: 具体tok/s数字，DFlash2 vs MTP对比数据
核心内容摘要: - Throughput (decode tok/s, DFlash2 → vLLM): code 32.6→19.8, reasoning 47.3→25.4, prose ~21→~13, math 55.8；DFlash2约2.5x faster，3.4x better wall clock - SGLang+DFlash2 (greedy): Quality 91/100, Responsiveness 43, Median turn 3.6s, Wall time 929s - vLLM+MTP (greedy): Quality 90/100, Responsiveness 19, Median turn 7.8s, Wall time 2386s - Greedy beats thinking sampler: 工具调用场景，greedy策略更优

后续行动: 建议归档，对比数据可信

✅ 条目 10

来源: AgentX InferenceXv3: Does CUDA Moat Hold (SemiAnalysis Substack)
评分: 0.61 | 类型: 行业分析
保留理由: B300/B200 vs AMD MI355X性能数据，Claude Code作为agentic拐点
核心内容摘要: - Aug 21 2026前: AMD MI355X匹配B200 vLLM性能/美元；B300 vLLM和B200 SGLang仍优于MI355X - Aug 21 2026后: vLLM优化（Inferact+Nvidia）使B200性能/美元超越MI355X - E2E延迟: ATOM MI355X beats B200 vLLM（但beat不了B300/B200 SGLang）；ATOM生产功能缺失多 - Claude Code拐点（Nov 2025）: 长上下文、多轮agentic workload快速增长，2026年4月OpenAI企业agentic支出超过ChatGPT - 中文AI lab: 阿里主Qwen团队不用ATOM（功能问题），仅1个小业务部门使用

后续行动: Substack线索，建议追踪后续SemiAnalysis更新

✅ 条目 11

来源: Production RAG Checklist (ActiveWizards)
评分: 0.70 | 类型: 工程checklist
保留理由: RAG生产完整性检查清单，context engineering学科化
核心内容摘要: - Context engineering = 设计系统在运行时管理LLM context的架构学科（token budgets、memory hierarchies、retrieval patterns） - Prompt engineering只是context engineering的一个子集

后续行动: 建议写入RAG工程规范参考

✅ 条目 12

来源: RAG Prototype to Production Failures (STXNext)
评分: 0.62 | 类型: 失败案例分析
保留理由: 真实生产失败场景，日期版本冲突
核心内容摘要: - 日期版本冲突: 2022旅行政策(PLN 200/day) vs 2026修订政策(PLN 300/day)；向量搜索认为语义相同，无版本元数据时LLM无法判断 - 生产失败通常始于: 简单demo架构遇到更大、更乱、更分散的企业数据

后续行动: 建议写入RAG避坑指南

✅ 条目 13

来源: LLM Inference Engineering GitHub
评分: 0.61 | 类型: 学习路径
保留理由: 系统化学习路线，DistServe/Splitwise/Sarathi-Serve/Mooncake论文引用
核心内容摘要: - Prefill vs Decode优化 - KV cache机制详解 - DistServe (OSDI 2024)、Splitwise (ISCA 2024)、Sarathi-Serve (OSDI 2024) - Mooncake (FAST 2025)、LMCache (2025) - 论文引用: SGLang #5450, SGLang #7211 工程讨论

后续行动: 建议归档学习路径索引

二、丢弃条目

来源 丢弃理由
llmengg.com Production RAG Workshop 无具体命令/数据， workshop广告性质，内容泛化
Joyatres Technology Agentic stack 社交媒体post，无工程深度，仅框架性描述
Medium "7 AI Tools Every Engineer" 无技术细节，工具列表类内容
ChipAgents "AI Engineers into Architects" 无具体工程数据，IC方向延伸
Instagram技术视频(Reels) 短视频格式不适合工程内容，深度不足
Facebook/Meta posts 社交内容，非深度技术分析

三、分类标签

#LLM-Inference #vLLM #SGLang #TensorRT-LLM #LMDeploy #Megakernel #CUDA-Kernel #Quantization #AWQ #GGUF #Speculative-Decoding #DFlash2 #MTP #Chunked-Prefill #Prefix-Caching #Disaggregation #Prefill-Decode #KVCache #PagedAttention #RadixAttention #RAG #Production-RAG #Hybrid-Retrieval #Reranking #Semantic-Chunking #Context-Engineering #MLOps #Benchmark #Engineering-Practice

四、建议写入路径

/shared/research-kb/inbox/jay/2026-09-17-llm-inference-engineering-filter.md

五、后续行动

  1. 精读优先级: 条目4 (Mirage Megakernel)、条目7 (LMCache disaggregated)
  2. 审稿需求: 条目2 (vLLM vs SGLang benchmark数据需要来源核验)
  3. 主题页更新: 建议在LLM Inference工程主题页增加: - 2026年四引擎选型决策树 - vLLM生产启动flag速查表 - RAG生产checklist（基于条目8+11+12）
  4. Substack追踪: SemiAnalysis AgentX系列后续更新

本报告由 Jay 实例筛选，2026-09-17 19:50 UTC+8