工程文章二次筛选 · Jay · 2026-09-24

筛选原则

  • 保留有真实 benchmark、命令、错误数据、源码分析、可复现步骤的条目
  • 丢弃：营销文、架构描述而无实现细节、无实测数据的对比文

✅ 保留条目

1. SGLang Breakable CUDA Graph (BCG) — 2026-09 重大更新

  • 来源: Spheron Blog + LMSYS Org 官方博客 + GitHub Issue #35851
  • 作者: SGLang Team (LMSYS Org)
  • 原文:
  • https://www.spheron.network/blog/sglang-s-breakable-cuda-graphs
  • https://www.lmsys.org/blog/2026-08-17-advanced-cuda-graph
  • https://github.com/sgl-project/sglang/issues/35851
  • 发布时间: 2026-08-17 (官方), 2026-09-06 (Spheron), 持续更新中
  • 核心数据:
  • BCG graph builds: 5× faster vs tc_piecewise (Qwen3-235B-A22B)
  • Prefill 性能: up to 1.93× faster than eager
  • GPU 成本节省估算: $2,467/月（10×H100 24/7 运行）
  • per-layer graph break idle: ~590 µs per layer（在 hybrid linear-attention 模型上）
  • graph coverage 实测: 72.7% kernels covered, 27.3% eager（但 idle 占 61.3% window time）
  • 关键发现:
  • BCG = Breakable CUDA Graph，在 attention boundary 插入 eager break
  • FlashInfer GDN prefill kernel 可将 per-layer kernel launches 从 5 降至 1（x30 layers）
  • --linear-attn-prefill-backend flashinfer 实测有效
  • BCG 已成为 SGLang prefill 默认策略（2026-04-24 合并）
  • 可信度: ★★★★★ — 官方团队博客 + GitHub Issue 源码数据 + 独立 benchmark
  • 待核验: 官方 SGLang 文档中 BCG flag 默认值确认
  • 标签: #LLM推理 #CUDA优化 #SGLang #GPU内核 #系统性能
  • 工程价值: SGLang 用户升级后默认行为已变，需确认是否影响现有部署

2. vLLM Prefix Caching + gpu_memory_utilization 调优

  • 来源: Spheron + CROZ benchmark + devopsbeast + GitHub vllm#8242
  • 原文:
  • https://www.spheron.network/blog/kv-cache-optimization-guide
  • https://croz.net/run-your-own-ai-at-scale-vol-2-tuning-vllm
  • https://devopsbeast.com/blog/vllm-gpu-memory-utilization
  • https://github.com/vllm-project/vllm/issues/8242
  • 发布时间: 2026（持续更新）
  • 核心实测数据 (CROZ benchmark, DeepSeek-R1-Distill-Llama-70B, TP8):
  • 启用 prefix caching: 302.98 tok/s, P99 TTFT=12701ms
  • 关闭 prefix caching: 289.46 tok/s, P99 TTFT=30884ms
  • 提升: +4.6% throughput, TTFT P99 降低 59%
  • 配置命令: bash python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3.1-70B-Instruct \ --gpu-memory-utilization 0.90 \ --max-model-len 32768 \ --kv-cache-dtype auto \ --enable-prefix-caching \ --swap-space 16
  • gpu_memory_utilization 经验值:
  • 7B: 0.95
  • 13B: 0.85
  • 70B: 0.90
  • 已知 bug (GitHub #8242): --enable-prefix-caching 开启后 GPU 利用率会降到 ~70%（而非预期的 90%），这是已知的内存碎片问题
  • 可信度: ★★★★☆ — 真实 benchmark 数据 + GitHub Issue 确认 bug
  • 后续行动: 验证 vLLM 0.7.x 版本是否已修复 prefix caching GPU 利用率问题
  • 标签: #vLLM #推理优化 #KV缓存 #性能调优 #内存管理

3. NVIDIA Dynamo 1.0 — Disaggregated LLM Inference

  • 来源: NVIDIA 官方博客 + Spheron 部署指南 + Google Cloud
  • 原文:
  • https://developer.nvidia.com/blog/nvidia-dynamo-1-production-ready
  • https://www.spheron.network/blog/nvidia-dynamo-disaggregated-inference-guide
  • https://cloud.google.com/blog/products/compute/ai-inference-recipe-using-nvidia-dynamo-with-ai-hypercomputer
  • 发布时间: 2026-03-25 (GA 2026-03-16)
  • 核心数据:
  • 7× throughput 提升（DeepSeek R1 on Blackwell, FP4, 1k/1k, SemiAnalysis InferenceX benchmark）
  • Prefill-Decode (PD) 分离需要 NIXL 高速互联协议
  • 支持矩阵:
  • vLLM: EPD ✅ + PD ✅, Image ✅, Video ✅, Audio 🚧
  • TensorRT-LLM: EPD ✅ (precomputed embeddings), PD ✅, Image ✅, Video ❌, Audio ❌
  • SGLang: EPD ✅, PD ❌, Image ✅, Video ❌, Audio ❌
  • 部署路径: Spheron (裸金属 H100/A100) / Google Cloud AI Hypercomputer / 自建
  • 可信度: ★★★★★ — NVIDIA 官方 + 第三方 benchmark
  • 后续行动: 评估 Dynamo 1.0 与现有 vLLM 部署的兼容性
  • 标签: #分布式推理 #NVIDIA #系统架构 #Prefill-Decode分离

4. 推理引擎 Benchmark 比较 2026（H100 实测）

  • 来源: deploybase.ai + spheron.network
  • 原文:
  • https://deploybase.ai/articles/best-llm-inference-engine
  • https://www.spheron.network/blog/llm-inference-optimization-2026
  • 发布时间: 2026（持续更新）
  • 核心实测数据 (H100, 80GB): | 引擎 | 版本 | 吞吐量 | 关键特性 | 适用场景 | |------|------|--------|----------|----------| | SGLang | v0.4.3 | 16,200 tok/s | RadixAttention 前缀缓存 | 前缀密集型（RAG、chat） | | LMDeploy | Latest | 16,200 tok/s | 持久批处理调度 | 高吞吐服务 | | vLLM | v0.7.3 | 12,500 tok/s | PagedAttention, Blackwell | 灵活性、频繁换模型 | | TensorRT-LLM | Latest | 最高（高并发） | 编译 CUDA kernels | 单模型长期生产 |
  • 差距: vLLM 落后 29%，换算成百万请求/天可节省 ~$15,000/月 GPU 成本
  • SGLang 优化命令: python sgl.gen(name="reasoning", max_tokens=500) sgl.gen(name="final_answer", max_tokens=200) # One call instead of two → latency drops backend.init_batch_state = True # schedule caching
  • 可信度: ★★★★☆ — 有实测数据但未说明测试条件一致性
  • 标签: #推理引擎 #vLLM #SGLang #TensorRT-LLM #LMDeploy #Benchmark

5. CAST AI Kubernetes GPU 利用率报告 2026

  • 来源: CAST AI 官方报告 + LinkedIn
  • 原文: https://cast.ai/reports/kubernetes-optimization-report
  • 发布时间: 2026
  • 核心数据:
  • 平均 GPU 利用率: ~5%（fleet 级别）
  • 最佳实践: H200 49%, H100 30%
  • GPU 共享后: provisioned GPUs 降到 25-75（从 ~100），200-300% utilization
  • 成本降低: 40-70%（Karpenter + KEDA + MIG 组合）
  • 关键结论:
  • GPU provisioning 按峰值设计而非典型负载
  • weekday vs weekend 利用率差异显著
  • GPU sharing 在 MLOps 圈广为人知但实际落地几乎为零
  • 可信度: ★★★★☆ — 真实生产数据（fleet 级别统计）
  • 标签: #Kubernetes #GPU调度 #成本优化 #MLOps #FinOps

6. LoRA Serving 系统 — 分布式异构 LoRA 适配器推理

  • 来源: arXiv 2511.22880
  • 原文: https://arxiv.org/html/2511.22880
  • 发布时间: 2025（arXiv），2026 工程落地
  • 核心贡献:
  • LoRAServe 基于 S-LoRA 构建，兼容任何支持 LoRA 的推理框架
  • 可集成主流 LLM cluster orchestrators
  • Punica/S-LoRA 重新设计 compute path 解决 batch inefficiency
  • 可信度: ★★★★☆ — arXiv 学术论文，有系统设计细节
  • 后续行动: 与 SGLang LoRA 支持对比
  • 标签: #LoRA #分布式推理 #多租户 #系统优化

7. FlashInfer — 注意力引擎深度解析

  • 来源: arXiv 2501.01005 + MLSys 2026 Tutorial
  • 原文: https://www.arxiv.org/pdf/2501.01005
  • 发布时间: 2025（arXiv），2026 MLSys Tutorial
  • 核心内容:
  • 统一处理 FlashAttention 变体（FlexAttention 风格 skeleton + per-variant modification）
  • FP8-FP16 混合精度：Query/Output 保持 fp16，KV-cache 存 fp8
  • block-sparse attention 支持
  • 集成 SGLang/vLLM/TensorRT-LLM
  • 可信度: ★★★★★ — arXiv + MLSys 2026 Tutorial
  • 标签: #注意力引擎 #CUDA内核 #推理优化 #FlashAttention

8. Multi-Agent 生产失效数据 2026 — 级联故障实测

  • 来源: Medium Micheal Lanham（实战经验）
  • 原文: https://medium.com/@Micheal-Lanham/multi-agent-in-production-in-2026-what-actually-survived-f86de8bb1cd1
  • 发布时间: 2026
  • 核心数据 (LangGraph Hub Injection 实验):
  • Hub node injection → 100% 系统级失败
  • Leaf node injection → 9.7% 系统级失败
  • 扩展级联测试: MetaGPT/LangGraph/CrewAI/AutoGen/Camel 均达 100% 感染
  • LangChain chains: 89.2% 感染
  • Governance layer 可将 defense success 从 0.32 提升到 0.89+，但有 safety overhead
  • 关键结论:
  • Agent collaboration 是 dependency graph，单个原子级 falseness 可扩散为系统级 false consensus
  • 拓扑脆弱性数据非常残酷
  • 2026 生产法则: 从 strong single agent 开始 → agent-flow → orchestration → collaboration（逐级演进）
  • 可信度: ★★★★☆ — 实际实验数据，但来源为博客非顶会
  • 标签: #多Agent #系统可靠性 #故障模式 #安全 #LangGraph

9. 500+ LLM 推理优化技术清单

  • 来源: Aussie AI (David Spuler, Ph.D.)
  • 原文: https://www.aussieai.com/blog/llm-inference-optimization
  • 发布时间: 持续更新（2026-06 最新）
  • 分类: 注意力、KV缓存、调度、量化、Kernel、MoE、Speculative Decoding 等 700+ 技术
  • 2026 新增:
  • Blackwell/Rubin: FP4/FP8 原生支持
  • Thread block clusters (Blackwell/Rubin)
  • Fused/shared epilogues/prologues
  • 较新: KV pinning, KV shifting, KV correction, SnapKV, KIVI attention
  • 可信度: ★★★☆☆ — 覆盖面广但为列表形式，无实测数据
  • 用途: 技术全景参考，快速定位优化方向
  • 标签: #LLM推理 #优化技术 #工程参考 #Benchmark

10. The AI Engineer Stack 2026 — 6层代理架构

  • 来源: Substack The AI Engineer
  • 原文: https://theaiengineer.substack.com/p/the-ai-agents-stack-2026-edition
  • 发布时间: 2026
  • 核心内容:
  • 6层架构: Model → Orchestration → Tool/MCP → Memory → Evaluation → Infrastructure
  • 2024→2026 三大变化: MCP 标准化 / 推理模型改变 agent 自主性 / memory 成为第一公民
  • OWASP MCP Top 10 (beta) — agent 安全第一个正式 checklist
  • Agent guardrails vs LLM guardrails 区别: agent 调用工具、花钱、执行动作
  • 关键观点: "guardrails before action" 模式——在工具执行层而非输出层做授权
  • 可信度: ★★★★☆ — 行业技术 newsletter，来源可查
  • 标签: #AI工程 #Agent栈 #MCP #安全 #架构

11. AI Systems Engineer Journey — RAG 工程深层挑战

  • 来源: Substack theneuralmaze
  • 原文: https://theneuralmaze.substack.com/p/welcome-to-the-ai-systems-engineer
  • 发布时间: 2026-04
  • 核心洞察:
  • "demo deceptively easy, production hits all at once"
  • 真实 RAG 挑战: chunking / retrieval quality / hybrid search vs pure semantic / query rewriting / reranking / hallucination detection / citation enforcement / eval harnesses / latency / cost / freshness
  • 混合搜索（语义+关键词）几乎总是优于纯语义搜索
  • Feature pipeline → Training pipeline (prompt + model config) → Inference pipeline 的标准 chassis
  • 可信度: ★★★★☆ — 实际工程经验分享
  • 标签: #RAG #AI系统工程 #知识库 #工程实践

12. Cloud Native LLM Inference System (arXiv 2507.18007)

  • 来源: arXiv（2025，J. ACM）
  • 原文: https://arxiv.org/html/2507.18007
  • 核心贡献:
  • 负载预测: 时间序列预测模型提前分配资源
  • Llumnix / DistServe: 请求迁移策略减少 E2E 延迟
  • Latency-throughput tradeoff 不可同时最优
  • 可信度: ★★★★☆ — 学术论文，系统架构分析完整
  • 标签: #云原生 #LLM推理 #负载调度 #ACM

13. Kubernetes GPU Orchestration 2026 — DRA/KAI/Grove

  • 来源: Spheron Blog
  • 原文: https://www.spheron.network/blog/kubernetes-gpu-orchestration-2026
  • 发布时间: 2026-04
  • 核心内容:
  • DRA (Dynamic Resource Allocation) for GPU
  • KAI Scheduler for priority management
  • KubeAI v0.23.2: 无需 Knative/Istio，支持 prefix-aware load balancing
  • Grove CRD: PodCliqueScalingGroups, ClusterTopology for prefill-decode
  • NVIDIA Grove 部署完整参考
  • 可信度: ★★★★☆ — 部署指南，有具体版本号
  • 标签: #Kubernetes #GPU调度 #MLOps #KubeAI #DRA

14. Inference Engineering Deepdive — Philip Kiely

  • 来源: Substack Pragmatic Engineer (Gergely Orosz)
  • 原文: https://open.substack.com/pub/pragmaticengineer/p/what-is-inference-engineering
  • 核心内容:
  • Philip Kiely《Inference Engineering》新书解读
  • 推理工程定义、工作内容、与 MLOps 区别
  • 可信度: ★★★★☆ — Gergely Orosz newsletter 质量高
  • 标签: #推理工程 #系统工程 #职业发展

15. vLLM GitHub Issue — Prefix Caching GPU 利用率 Bug

  • 来源: GitHub vllm-project/vllm#8242
  • 原文: https://github.com/vllm-project/vllm/issues/8242
  • Bug: --enable-prefix-caching 时 GPU 利用率仅 ~70%（非预期 90%）
  • 可信度: ★★★★★ — GitHub Issue 官方确认
  • 标签: #vLLM #故障排查 #KV缓存 #Bug

❌ 丢弃条目（附丢弃理由）

条目 来源 丢弃理由
vLLM vs SGLang vs LMDeploy 对比 premai.io 堆砌数据，无实测命令/错误/配置，无法复现
LLM Inference Handbook 2026 towardsai.net 纯描述性，无具体命令或 benchmark 条件
AI Agent Engineering 2026 whoisjsonapi.com 架构描述为主，缺少实现细节
AI Agents 2026 Guide EITT Academy 教程向，非一手工程经验
Multi-Agent 2026 Opinion pieces LinkedIn/Various 观点文，无数据支撑
30 GitHub Repos Every AI Engineer Stackademic 列表文，无工程深度
AI Engineering Roadmap 2026 Various Substack 路线图，非工程实践

分类标签汇总

#LLM推理 #SGLang #vLLM #TensorRT-LLM #NVIDIA Dynamo #CUDA优化 #GPU调度 #Kubernetes #MLOps #Multi-Agent #RAG #LoRA #系统可靠性 #安全 #Benchmark #成本优化

建议写入路径

/shared/research-kb/inbox/jay/2026-09-24-inference-agent-engineering-filter.md

本轮写入状态

✅ 已写入（本文档）

后续行动

  1. [ ] 验证 vLLM 0.7.x prefix caching GPU 利用率问题是否已修复
  2. [ ] 对比 SGLang LoRA 支持 vs LoRAServe 系统设计
  3. [ ] 评估 NVIDIA Dynamo 1.0 与现有 vLLM 部署的兼容性
  4. [ ] 关注 OWASP MCP Top 10 正式版发布
  5. [ ] 精读 SGLang BCG 官方文档确认默认行为变化