技术博客与开源动态 · 推理服务方向 8 条来源整理

作者：Jay 生成时间：2026-10-30 13:35 (Asia/Shanghai) 来源批次：work-guard/bc7b3124-d042-4350-988f-6f144b32a0d8（8 条，全部来自搜索摘要线索）

本期主线

这批来源集中在同一个方向：把开源大模型放进生产推理栈。核心议题是「同一个模型该由哪个运行时来扛」——vLLM、SGLang、TensorRT-LLM、LMDeploy、llama.cpp、TEI 各自的定位差异，以及在它之上加一层调度（llm-d）、量化导出（Model Optimizer）、投机解码（verl-SpeCo）。其中两条已核对原文，其余六条仍是搜索摘要线索，未经正文确认。

一、已核对原文的两条

1. Spheron · SGLang Decisions API 详解（2026-10-29） — 已读原文 - 用途：SGLang v0.5.21 新增 /v1/decisions 端点，单次前向、直接对答案 token 打分，不走 decode 循环，把 chat 模型当作分类器/打分器使用。支持三种形态：2–26 选项的 typed choice、2–10 级 score、yes/no。响应里的 label_mass 表示概率质量落在所给标签上的比例，可当置信度信号。 - 原文细节：任意带 Jinja chat template 的生成模型都能用，无需专用分类模型；禁用内置会话模板、--enable-mis、--dllm-algorithm 的模型会被拒；yes/no 场景下 label_mass 只统计小写 token，天然偏低，设告警阈值前要留意。同一版本把前缀缓存换成 Rust 核心（可用 SGLANG_UNIFIED_RADIX_TREE_CORE_BACKEND=python 回退），PD 分离实例支持不停机切换角色；请求侧自带 chat_template 默认被拒，需显式 --trust-request-chat-template；/get_weight_version 等三个旧路由被移除。 - 证据缺口：文中性能数字（Qwen3-8B、90 QPS、约 130ms p95 vs Generate 数秒）引自 LMSYS 第三方基准与 SGLang release notes，我未复现、未独立核实；vLLM「无等价端点」是截至 2026-10-30 的作者判断，缺 vLLM 官方确认。请求/响应格式仍需查 SGLang 官方文档（Spheron 自家 quick-guide 未收录）。 - 建议分类：生产可用 / 值得跟进（有版本号、端点路径、参数名、环境变量等具体事实）

2. AI in Plain English · 生产环境开源模型推理服务器选型（Faisal haque，约 2026-10） — 已读原文 - 用途：按工作负载选推理服务的实用指南。给出定位：SIE（Superlinked Inference Engine）适合多个专家模型共享 GPU 容量，按需加载并 LRU 驱逐；vLLM 作为专用生成端点的基线；SGLang 适合重复前缀多的 agent 场景（RadixAttention/前缀缓存）；TensorRT-LLM 适合已锁定 NVIDIA 栈的团队；LMDeploy 面向显存紧张（AWQ/GPTQ、INT4/INT8 KV cache 量化）；llama.cpp 面向 CPU/Apple silicon 等现有硬件；TEI 适合独立的 embedding/reranking 端点。 - 原文细节：包含一条 vllm serve + curl /v1/chat/completions 的本地冒烟测试命令，并给出上线前检查清单（超过预期峰值压测看尾延迟、校验 tool call 与结构化输出、指标告警、固定镜像/模型 revision/tokenizer、测冷启动与 worker 故障回退）。另称 Hugging Face TGI 仓库已于 2026-03-21 归档。 - 证据缺口：文中以图片承载的对比表格未能取到文本；「各运行时性能需自行测试」——原文没有给出任何基准数字，TGI 归档日期未做二次核对，命令片段为作者示例、未在此环境执行。 - 建议分类：实用经验 / 选型参考（结构完整、可直接用作 checklist）

二、其余六条（搜索线索 · 待核查）

以下六条仅有搜索摘要，未打开原文，全部标记 搜索线索 · 待核查，不作高价值推荐。

3. Anthony Maio · The Checkpoint（2026-10-23） URL: https://anthonymaio.substack.com/p/the-checkpoint-oct-23-2026 摘要支持的用途：周更速览，提到 llm-d 1.0 把分布式推理打成 Kubernetes 原生栈，位于 vLLM / SGLang 之上，提供 v1 配置 API、按优先级与公平性的流控、router 高可用与热备、prefill/decode 副本协调升级、会话感知路由。 证据缺口：摘要同时指出公开包只覆盖离线推理，不含持久化 KV cache、完整视觉与 P/D 分离、跨副本负载均衡——生产服务仍需大量自建。具体版本号与能力清单来自二手转述，未见 llm-d 官方发布说明。 建议分类：搜索线索 · 待核查（行业动态）

4. NVIDIA/Model-Optimizer（GitHub） URL: https://github.com/NVIDIA/Model-Optimizer?ref=arwriter.ai 摘要支持的用途：模型量化与导出工具链，产出的量化 checkpoint 可直接下游部署到 SGLang / TensorRT-LLM / TensorRT / vLLM，统一 HF 导出 API 同时支持 transformers 与 diffusers，提供预量化 checkpoint 集合。 证据缺口：摘要含新旧混杂的历史公告（2024-05/06/08 条目），无法据此判断当前版本行为与支持模型矩阵；未核实导出流程当前文档形态。 建议分类：搜索线索 · 待核查（工具/仓库）

5. ekzhang/resin（GitHub） URL: https://github.com/ekzhang/resin 摘要支持的用途：实验性 LLM 推理引擎构建库，含可选 HTTP 服务与 Prometheus 指标，作者定位为「研究用玩具」。 证据缺口：摘要明确自述非生产质量，官方建议生产用 SGLang 或 vLLM；实际 API 与实现细节未确认。 建议分类：搜索线索 · 待核查（实验性项目，不建议生产采用）

6. sgl-project/sglang（GitHub） URL: https://github.com/sgl-project/sglang?ref=codersera.com 摘要支持的用途：SGLang 主仓库，Apache 2.0，面向 LLM 与多模态的高性能服务框架；部署生态含 SMG、RBG、llm-d、Ray Serve、NVIDIA Dynamo；另有 Mini-SGLang、zero-to-sglang 等教学资源。 证据缺口：摘要均为仓库首页宣传性描述，无版本、无变更说明、无实测数据；项目文档站与仓库一致性未核。 建议分类：搜索线索 · 待核查（上游仓库，已被上述两条间接引用）

7. verl-project/verl-SpeCo（GitHub） URL: https://github.com/verl-project/verl-SpeCo 摘要支持的用途：verl 的 SpeCo（投机解码相关）扩展，给出 draft model 与推理引擎的版本兼容矩阵——EAGLE-1/EAGLE-2 需引擎原生支持，EAGLE3 需 vLLM ≥0.18.0 / vLLM-Ascend ≥0.18.0 / SGLang ≥0.5.10，DFlash 需 ≥0.20.2 / ≥0.5.12，DFlash2 需 vLLM ≥0.28.0；说明 verl 0.9 对应 docker/verl0.9.0 目录与 --build-arg VERL_REF=release/v0.9.0，Ascend Dockerfile 默认 0.8；提供 verl-speco、verl-speco-draft-train、verl-speco-inspect-features 三个 CLI 入口。 证据缺口：摘要中的命令片段被截断不可直接用；未安装、未运行、未验证任何一条命令；NPU 分支依赖 commit hash 含义不明。 建议分类：搜索线索 · 待核查（工程细节较密，值得后续核原文）

8. LinkedIn · Byte Goose AI：DeepSeek DeepInfer 引擎与 Qwen3-Next-80B-A3B URL: https://www.linkedin.com/posts/bytegoose_vllm-inferenceengine-localinference-activity-7519961552335069184-fXlq 摘要支持的用途：帖子讨论面向模型定制的推理优化，称 Qwen3-Next-80B-A3B 以远低于 10% 训练成本达到接近更大稠密模型的性能，长上下文吞吐最高 10 倍，并提及 Multi-Token Prediction 与 HF/SGLang/vLLM 部署代码示例。 证据缺口：社交平台二手转述，性能与成本数字无一手来源，且原文与仓库无从确认；帖子所述「DeepInfer Engine」与 DeepSeek 官方关系不明。 建议分类：搜索线索 · 待核查（性能宣称，未经核实，不采信数字）

待核查清单

• SGLang /v1/decisions 的官方请求/响应结构与 v0.5.21 release note 原文
• LMSYS decision-models 基准的测试条件与数据是否可复现
• vLLM 是否确实没有等价分类端点（截至 2026-10-30）
• llm-d 1.0 的官方发布说明与 v1 配置 API 文档
• verl-SpeCo 的完整 README 与可执行命令、GPU/NPU 环境要求
• DeepSeek DeepInfer / Qwen3-Next 吞吐与训练成本宣称的一手出处
• TGI 仓库 2026-03-21 归档说法的确认