工程文章二次筛选报告 · Jay · 2026-07-16 上午场

主题： vLLM 生产部署命令·SGLang 对比·PrefixCache 调优·LLMOps 路线图·AI Agent Stack 六层 筛选标准： 真实环境、命令、错误、源码、性能数据、可复现步骤 覆盖范围： Jarvislabs · SitePoint · Spheron · llm-d.ai · MLMastery · The AI Engineer Substack

一、候选条目筛选结果

🔴 高价值保留条目

条目 1：Jarvislabs — vLLM 优化技术五法（实测数据 + 命令）

• URL：https://jarvislabs.ai/blog/vllm-optimization-techniques
• 来源：Jarvislabs AI Blog
• 发布时间：2026-07（近期待确认）
• 可信度：高（自测 benchmark，数据完整，含图表）
• 核心内容：Qwen3-32B + A100-80GB 实测对比，含三组实验命令和数值

保留理由（工程筛选标准 ✓）： - ✅ 真实命令：含 vllm serve 完整参数，含 vllm bench serve benchmark 命令 - ✅ 性能数据：三组实验均含具体数值，非泛泛而谈 - ✅ 可复现步骤：数据集（HuggingFace 下载链接）、硬件配置（Qwen3-32B / A100-80GB）明确

实测数据摘要：

实验 A — FP8 KV-Cache：

vllm serve Qwen/Qwen3-32B \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.9 \
    --kv-cache-dtype fp8   # vs fp16 default

注意：FP8 KV 带来 2x 缓存容量但 per-token 生成更慢（+45%），适合高并发长上下文场景而非低延迟场景。

实验 B — Prefix Caching：

vllm serve Qwen/Qwen3-32B \
    --enable-prefix-caching \
    --dtype bfloat16

适合 RAG / agentic / 多轮对话等共享系统前缀的工作负载。

实验 C — CPU Offloading：

vllm serve Qwen/Qwen3-32B \
    --kv-offloading-backend native \
    --kv-offloading-size 8 \
    --disable-hybrid-kv-cache-manager

实验环境： Qwen3-32B / A100-80GB / ShareGPT dataset / max concurrency 500

• 建议分类：LLM-Systems / Inference-Engine / vLLM / Performance
• 后续行动：对比 SGLang RadixAttention 在相同硬件上的 prefix cache 表现

条目 2：SitePoint — vLLM 生产部署完整指南 2026

• URL：https://www.sitepoint.com/vllm-production-deployment-guide-2026
• 来源：SitePoint（Web 开发技术媒体）
• 发布时间：2026-06（中期）
• 可信度：中高（技术媒体，有 Kubernetes/Docker 生产配置）
• 核心内容：vLLM 生产级部署，含 Kubernetes Deployment YAML、Prometheus 监控配置、Docker Compose 生产栈

保留理由（工程筛选标准 ✓）： - ✅ 生产级 Kubernetes YAML：含 topologySpreadConstraints（多 GPU 拓扑感知调度）、runtimeClassName: nvidia、健康检查 - ✅ Prometheus 监控配置：具体 scrape config，含 vLLM 关键指标（vllm:num_requests_running、vllm:num_requests_waiting、vllm:gpu_cache_usage_perc） - ✅ Benchmark 命令：benchmark_serving.py 完整调用，含示例输出解读

关键 Kubernetes Deployment 片段：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-inference
  namespace: llm-serving
spec:
  replicas: 2
  topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: kubernetes.io/hostname
    whenUnsatisfiable: DoNotSchedule
  containers:
  - name: vllm
    image: vllm/vllm-openai:<release-tag>
    args: ["--model", "...", "--gpu-memory-utilization", "0.90"]
    # 关键指标：num_requests_waiting 是容量耗尽主指标

vLLM 关键 Prometheus 指标（生产必监）：

Benchmark 命令示例：

python benchmarks/benchmark_serving.py \
  --backend vllm \
  --endpoint /v1/completions \
  --model llama-3.1-8b \
  --dataset-name sharegpt \
  --num-prompts 500 \
  --request-rate 10 \
  --base-url http://localhost:8000
# 输出示例：
# Throughput: 842.3 tokens/s
# Mean TTFT: 48.2ms | P99 TTFT: 142.7ms
# Mean E2E latency: 1.24s | P99 E2E: 3.87s

• 建议分类：LLM-Systems / Inference-Engine / vLLM / Production
• 后续行动：结合 Jarvislabs 数据做成本/性能权衡分析；补充 KEDA autoscaling 配置

条目 3：Spheron — vLLM vs SGLang 2026（H100 FP8 实测对比）

• URL：https://www.spheron.network/blog/vllm-vs-sglang-2026
• 来源：Spheron Network Blog
• 发布时间：2026-07
• 可信度：中高（GPU 云平台，有明确硬件/软件/测试配置）
• 核心内容：Llama 3.3 70B / H100 / FP8，vLLM 0.18 vs SGLang 0.5.9，并发 1/10/50/100 实测

保留理由（工程筛选标准 ✓）： - ✅ 明确复现步骤：含 GPU 实例申请命令、Docker run 完整命令、benchmark client 说明 - ✅ 关键结论可操作：前缀共享率 > 60% 选 SGLang，否则两者差距 < 5% - ✅ 具体 Docker 命令含端口和参数

部署命令对照：

# vLLM on H100 FP8
docker run --gpus all --ipc=host -p 8000:8000 \
  -e HUGGING_FACE_HUB_TOKEN=your_token \
  vllm/vllm-openai:v0.18.0 \
  --model meta-llama/Llama-3.3-70B-Instruct \
  --quantization fp8 \
  --gpu-memory-utilization 0.92 \
  --max-model-len 8192 \
  --max-num-seqs 256 \
  --enable-prefix-caching  # prefix-heavy 工作负载加此参数

# SGLang on H100 FP8
docker run --gpus all --ipc=host -p 8000:8000 \
  -e HUGGING_FACE_HUB_TOKEN=your_token \
  lmsysorg/sglang:v0.5.9-cu130-runtime \
  python -m sglang.launch_server \
  --model-path meta-llama/Llama-3.3-70B-Instruct \
  --quantization fp8 \
  --context-length 8192 \
  --mem-fraction-static 0.92

判断规则（生产选型）： - 前缀共享率 > 60%（RAG、agentic）：SGLang，RadixAttention 带来 20-40% TTFT 降低 - 唯一 prompt 高吞吐：两者在 5% 以内，选型看运维熟悉度 - JSON 结构化输出：SGLang 略优（grammar-cache reuse） - RadixAttention cache 命中率：/metrics 端点可见

• 建议分类：LLM-Systems / Inference-Engine / Benchmark / vLLM / SGLang
• 后续行动：对比 vLLM 0.25 + MRV2 的新数字

条目 4：llm-d.ai — KV-Cache 分布式调度（Precision Prefix-Cache Aware Scheduling）

• URL：https://llm-d.ai/blog/kvcache-wins-you-can-see
• 来源：llm-d.ai Blog（vLLM 分布式调度方向）
• 发布时间：2026（近期待确认）
• 可信度：中高（有具体 benchmark 数字和方法论）
• 核心内容：8 pod × 16 H100 集群，4 种调度策略对比，precise-scheduling 吊打盲调度

保留理由（工程筛选标准 ✓）： - ✅ 具体性能数字：4 种调度策略，完整 TTFT/吞吐量/Wait Queue 表格 - ✅ 工程问题明确：标准负载均衡器将相关请求分散到不同 pod，破坏 cache locality - ✅ 量化收益：57x TTFT 改善，2x 吞吐量

Benchmark 结果（8 pod / 16 H100 / 150 租户 / 5 并发用户/租户）：

核心洞察： - KV-cache demand = 73% 集群容量，单 pod 无法承载，强制分散 → 精确调度关键 - 盲调度（random/load）在高并发下 TTFT 轻易超过 90s - precise-scheduling 的 vLLM Wait Queue 仅 0.1s（接近零排队）

• 建议分类：LLM-Systems / Inference-Engine / KV-Cache / Distributed
• 后续行动：了解 llm-d 项目本身是否开源，与 vLLM 官方分布式路线的差异

条目 5：The AI Engineer Substack — AI Agents Stack 2026（六层 + Evals 缺口数据）

• URL：https://theaiengineer.substack.com/p/the-ai-agents-stack-2026-edition
• 来源：The AI Engineer（AI 工程垂直 Substack）
• 发布时间：2026
• 可信度：中高（行业工程媒体，有调查数据支撑）
• 核心内容：AI Agent 六层架构 + 89% vs 52% eval 实施缺口 + 三个新 benchmark

保留理由（工程筛选标准 ✓）： - ✅ 行业数据（可引用）：LangChain State of Agent Engineering 调查，89% 有 observability，52% 有 evals - ✅ 六层架构分类：对理解 Agent 工程复杂度分层有参考价值 - ✅ 三个新 benchmark 线索：Context-Bench（memory）、Recovery-Bench（error recovery）、Terminal-Bench（coding agents）

关键数据： - Eval gap：89% observability vs 52% evals = 37 个百分点的"盲调"风险 - 三层 Eval 基础设施收敛：PR fast checks / nightly regression (LLM judge) / continuous production monitoring - Agent Stack 六层（2024 年原版为基础，新增三层）： 1. Model 2. Routing / Multi-model 3. Tooling / Function Calling 4. Memory / Knowledge（新） 5. Agentic Patterns / Loop Engineering（新） 6. Evaluation（新，已独立成层）

• 建议分类：AI-Engineering / Agent / Evaluation / Stack
• 后续行动：精读 Context-Bench / Recovery-Bench / Terminal-Bench 论文

条目 6：MLMastery — LLMOps 2026 学习路线图（含两段可运行代码）

• URL：https://machinelearningmastery.com/the-roadmap-for-mastering-llmops-in-2026
• 来源：MachineLearningMastery
• 发布时间：2026
• 可信度：中（教育平台，有结构化路线图，含 Phase 1/2 具体步骤）
• 核心内容：六步 LLMOps 路线图，含 Phase 1 + Phase 2 基础 LLMOps 代码示例

保留理由（工程筛选标准 ✓）： - ✅ Phase 1 — Langfuse 接入代码：完整埋点 + 成本面板构建步骤 - ✅ Phase 2 — RAGAS 评估 pipeline：RAG 质量评估具体化 - ⚠️ 降级原因：属于路线图型内容，工程细节密度中等；对比同期 LLMOps 实践文章偏基础

降级保留说明（价值中等）： - Phase 1/2 代码示例对 LLMOps 新人有用 - 但生产级 LLMOps（tracing / guardrails / cost control）深度不足 - 适合作为 LLMOps 入门的结构化索引，不适合作为工程实践核心参考

• 建议分类：AI-Engineering / LLMOps / Learning-Resource
• 后续行动：对比 Puia 或 Arize Phoenix 的生产可观测性方案

🔶 中等价值降级条目（可参考，不归档）

条目 7：McKay Johns Substack — AI Engineering Skills 2026

• URL：https://mckayjohns.substack.com/p/top-ai-engineering-skills-for-2026
• 可信度：中
• 降级理由：技能清单型内容，核心 foundation 覆盖但缺乏工程深度数据；建议作为路线索引而非核心参考

条目 8：javarevisited Substack — Agentic AI Engineer Roadmap 2026

• URL：https://javarevisited.substack.com/p/the-2026-agentic-ai-engineer-roadmap
• 可信度：中
• 降级理由：课程推广为主，工程实践内容来自公开课；价值在于 Paul Iusztin 的 LLM Engineer Handbook 配套资源

二、本次新增主题词

• vLLM-Production-Commands — 部署/监控/调优命令集
• FP8-KV-Cache — 吞吐/并发换延迟的量化权衡
• PrefixCache-Distributed — 分布式场景下的 cache locality 问题
• AI-Agents-Stack-2026 — 六层架构 + eval gap
• SGLang-vLLM-Production-Selection — 60% 前缀共享率判断规则

三、建议写入路径

是否写入文件： 是，本轮写入 /shared/research-kb/inbox/jay/2026-07-16-1050-engineering-filter-vllm-sglang-production-commands-jul2026.md

四、后续精读/审稿建议