2026-10-07 下午工程筛选 · Jay（第7次）

角色：Jay 工程文章二次筛选 主题：推理引擎 benchmark 实证 / Substack 工程实践 / arXiv 系统工程 / TPU 推理外化 时间：2026-10-07 14:50 CST 去重说明：已对比 R1–R6 草稿，本轮聚焦新条目

🎯 筛选原则

对每条候选内容重点判断是否包含以下工程要素： - 真实环境（GPU 型号、CUDA 版本、OS） - 可执行命令或配置文件片段 - Benchmark 数据（含测量条件：并发数、batch size、模型、精度） - 错误案例或排障过程 - 源码/配置链接可复现 - 可量化的性能数字

🔬 一、推理引擎 Benchmark 横向对比（工程实证）

✅ #1 vLLM vs SGLang vs TensorRT-LLM 完整对比（Modern DataTools）

来源：https://www.modern-datatools.com/compare/sglang-vs-tensorrt-llm-vs-vllm 发表：2026年9月28日（持续更新）

核心观点：三引擎在许可证和 API 形状相同的前提下，真正的选型依据只有三点：硬件、prompt 形状、是否接受 ahead-of-time build。

工程数据：

三引擎选型决策树： 1. 硬件：TensorRT-LLM 仅支持 NVIDIA；vLLM 和 SGLang 跨平台（AMD ROCm、社区 TorchTPU 后端进行中） 2. Prompt 形状：流量中是否有共享长前缀？SGLang 的 RadixAttention 有独特优势 3. Build 方式：TensorRT-LLM 需要 per-model 编译（改模型要重建）；vLLM/SGLang 可热加载

关键结论： - SGLang vs vLLM 在 unique-prompt batch 任务中性能接近 - 在 prefix-heavy 工作负载上，SGLang 领先幅度扩大（LMSYS 早期数据称达 5×，但需自行验证） - 必须用自己的模型和流量做 benchmark，公开发布的数字不适用于特定 workload

工程价值：★★★★（决策树清晰、真实生态数字、Apache-2.0 无许可证干扰） 保留理由：2026年推理引擎选型的事实框架，"用自己的 traffic 做 benchmark"是核心工程原则 复现可行性：★★★（Benchmark 方法论清晰；但具体数字不可直接复现，需本地验证）

✅ #2 vLLM vs SGLang vs TensorRT-LLM H100 延迟对比（Acadify）

来源：https://acadifysolution.com/blogs/post/benchmarking-enterprise-ai-vllm-vs-sglang-vs-tensorrt-llm-on-h100s 发表：2026年（具体日期不明）

测试环境： - Hardware: 8× NVIDIA H100s, 32× Intel Xeon Gold 6338, 256GB RAM, 1TB NVMe SSD - OS: Ubuntu 20.04 LTS, CUDA 11.6, cuDNN 8.2（⚠️ CUDA 11.6 较旧） - Cluster: 16-node HPC, 128× H100s - Concurrency: 1,024 并发请求，128 请求/节点

延迟数据：

完整 Benchmark 对比表：

工程警示： - ⚠️ 测试报告使用 CUDA 11.6（2026年应为 CUDA 12.x），可能导致 TensorRT-LLM 数值偏低 - ⚠️ 发布者 acadifysolution.com 域名权威性有限，建议交叉验证 - vLLM 延迟最优但内存占用高于 TensorRT-LLM - TensorRT-LLM 的 KV Cache 容量最大（768M），适合长上下文场景

工程价值：★★★（有完整测量数据，但测试环境权威性存疑） 保留理由：提供了一组可交叉验证的基准数据；CUDA 版本问题可作为排障案例 后续行动：用自己环境验证；注意 CUDA 版本差异对 TensorRT-LLM 的影响

✅ #3 The Neural Maze Substack：vLLM 动手指南 + Rust 网关系列

来源：https://theneuralmaze.substack.com 作者：Miguel Otero Pedrido、Antonio Zarauz Moreno、Christophe Reigner 定位：Production AI / AI Systems Engineering / Rust for Production AI Engineers

核心课程结构（6节课）：

关键工程数据： - EKS vLLM 部署：给出了真实 GPU 成本估算 - Rust 网关：零 GC 路径，避免 Go/Java GC pause 影响 vLLM 的实时性 - Redis + KEDA：实现 OCR 请求的 scale-to-zero，降低空载成本 - MCP Server：构建私有 OCR MCP，让 Coding Agent 能直接调用本地 GPU 集群上的 OCR 模型

工程价值：★★★★（系列课程，含真实命令、EKS 部署、Redis 队列、Rust 网关代码） 保留理由：目前最完整的"vLLM + Rust 网关 + K8s + MCP"生产级串联工程实践；L4（Rust 网关）和 L6（MCP Server）是本轮新增工程知识点 后续行动：精读 L4 和 L6 讲义；提取 Rust 网关代码片段到工程笔记

🌐 二、arXiv 系统工程类论文

✅ #4 SEIS: Self-Evolving Inference Systems（arXiv:2610.04646）

来源：https://arxiv.org/html/2610.04646v1 发表：2026-10-06（本周新论文） 评级：★★★★（本轮最高工程价值）

核心观点：Agent 自动搜索 vLLM/SGLang/TensorRT-LLM 的配置空间（量化等级、投机解码参数、执行参数），在 H100 单请求负载下找到比人工调参高 2.81–3.10×吞吐量的配置，且准确率差异在 ±3 分以内。

关键工程数据：

与生产引擎对比：最佳进化配置 vs 人工选择配置： - 吞吐量提升：2.81–3.10× - 准确率差异：±3 分（GSM8K & 检索任务）

技术栈：vLLM + SGLang + TensorRT-LLM + FlashAttention + FlashInfer + AWQ/INT4 量化 + 投机解码（n-gram draft）

工程价值：ICLR 2026 级别，有代码，数据充分 保留理由：首个 AutoML 驱动推理引擎调优的工程验证；给出了具体配置搜索空间和性能数字，可直接指导推理 CI 管线 后续行动：精读 Appendix E 配置搜索协议；评估集成到推理部署 CI 的可行性

✅ #5 Dynamic LLM Routers are Often Misguided（arXiv:2610.02762）

来源：https://arxiv.org/abs/2610.02762 发表：2026-10（近7日） 评级：★★★

核心观点：LLM Router 的三大系统性失败模式： 1. 难度盲区：最难查询反而不会升级到更大模型（因为升级决策基于历史数据，最难任务反而没被观测到） 2. 长度反转：短答案查询更容易被升级（因为 cost 低，Router 倾向升级） 3. 语义匹配偏差：只看 query 和 demonstration 的相似度，不看任务类型

基准缺陷：RouterBench、LLMRouterBench、RouterArena 均无法检测上述缺陷

工程价值：Router 选型安全审查 保留理由：首个量化 Router 评估基准系统性缺陷的论文；对生产 Router 部署有直接警示意义 后续行动：归档 Router 评估体系；纳入「LLM Router 工程陷阱」知识节点

✅ #6 TPU Inference Externalization Full Steam Ahead（SemiAnalysis / Substack）

来源：https://open.substack.com/pub/semianalysis/p/tpu-inferencex-full-steam 发表：2026年9月（具体日期不明）

核心内容： - TorchTPU 后端：PyTorch 模型直接跑在 TPU 上，无需 JAX 重写 - vLLM + SGLang on TPU：Inferact、RadixArk、Red Hat 投入大量开发，使 TorchTPU 后端成为 vLLM/SGLang 的一等公民 - 时间线：TorchTPU 2026年10月 PyTorch Conference 开源（private beta 已结束） - vLLM on TPU 的关键技术：Functionalization——将 vLLM 的 KV cache 等状态显式作为 JAX 函数输入/输出，由 jax.jit 捕获计算图

关键工程数据： - TorchTPU vLLM 和 SGLang 开源后，将在 SemiAnalysis public repo 发布 TPU Benchmark - 与 InferenceX/AgentX 平台对齐

SemiAnalysis Substack 价值判断： - 优点：SemiAnalysis 是 ML 基础设施领域最权威的付费研究之一；本文有真实 TPU 部署经验 - 注意：SemiAnalysis 付费内容；本次只记录摘要和链接 - 可信度：★★★★（工程方向有内部消息源支持）

工程价值：★★★★（TPU 推理生态扩展是 2026 下半年的大事） 保留理由：Google TPU + vLLM/SGLang 组合意味着非 NVIDIA 推理的新选择；Functionalization 是 vLLM JAX 化的技术核心 后续行动：2026年10月 PyTorch Conference 后查证 TorchTPU 开源状态

✅ #7 vLLM in 2026: Infrastructure Engineer's Guide（Network Bachelor）

来源：https://www.networkbachelor.com/vllm-infrastructure-guide-pagedattention-kv-cache 发表：2026年（具体日期不明）

核心内容：vLLM 生产基础设施工程师指南

关键可执行片段：

vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --max-model-len 16384 \
  --max-num-seqs 256 \
  --max-num-batched-tokens 8192 \
  --gpu-memory-utilization 0.90

核心 vLLM 生产指标（Prometheus 暴露）：

vllm:time_to_first_token_seconds      # TTFT
vllm:inter_token_latency_seconds      # ITL
vllm:num_requests_running             # 运行中请求数
vllm:num_requests_waiting             # 等待中请求数
vllm:kv_cache_usage_perc             # KV cache 利用率
vllm:num_preemptions                 # 抢占次数（高 = OOM 风险）
vllm:prefix_cache_queries            # prefix 缓存查询数
vllm:prefix_cache_hits               # prefix 缓存命中数

三大优化机制说明： 1. PagedAttention：KV cache 内存分页管理，减少碎片 2. Continuous Batching：请求完成即退出，新请求填补空位，GPU 全程满载 3. Chunked Prefill：将长 prompt 切分为小块，避免长 prompt 阻塞 decode 任务

Autoscaling 信号：queue depth 比传统 CPU 利用率更适合作为扩缩容触发器

工程价值：★★★（有命令片段和 Prometheus 指标，是实操型工程指南） 保留理由：最简洁的 vLLM 生产参数 + 监控指标速查表；queue depth 作为扩缩容信号是工程洞察 后续行动：存入"推理引擎部署命令库"

🗂️ 三、本轮汇总

保留条目（本轮评分 ≥ ★★★）

丢弃条目及理由

分类标签

vLLM SGLang TensorRT-LLM 推理引擎 Benchmark SEIS TPU Rust MCP Prometheus Router

建议写入路径

• 主草稿：/shared/research-kb/inbox/jay/2026-10-07-1450-jay-engineering-screening-oct07-r7.md

后续行动（按优先级）

1. 精读：SEIS Appendix E 配置搜索协议（评估集成 CI 可行性）
2. 精读：The Neural Maze L4 + L6（Rust网关 + MCP Server 代码）
3. 验证：Acadify H100 benchmark CUDA 版本问题（用自己环境）
4. 跟踪：2026年10月 PyTorch Conference TorchTPU 开源公告
5. 归档：Dynamic LLM Routers → Router 评估体系

本筛选报告由 Jay 生成于 2026-10-07 14:50 CST，仅作为研究线索和技术洞察，无 API Key 或私密信息。