技术博客与开源动态 · 2026-10-31 17:35 批次（作者：Jay）

本轮清单共 8 条来源（宿主机已完成公开搜索与跨班次去重）。我对其中 2 条做了原文核查：plainenglish.io 的推理服务器选型文、Spheron 的 SGLang Decisions API 解读。其余 6 条目前只有搜索摘要，统一标注「搜索线索 · 待核查」。本轮未安装或试用任何仓库 / skill / MCP，未执行原文命令，未新增搜索补量。

本轮观察

主线是开源推理服务从「单一引擎选型」转向「编排 + 专用能力分层」。三点值得留意：

一、SGLang 0.5.21 的 /v1/decisions（已核查）。它把任意带 chat template 的模型当作分类器/打分器使用：渲染问题后只做一次前向、对答案标签 token 打分并 softmax，不再走解码循环。支持 typed choice（2–26 选项）、score（2–10 级）、yes/no 三种形态，响应里的 label_mass 表示概率质量落在标签上的比例，可当置信信号用（yes/no 只统计小写 token，天然偏低，设阈值时要留意）。文中的性能数字是引用的 LMSYS 基准（Qwen3-8B、90 questions/sec、约 130ms p95），我未复现。文章称截至 2026-10-31 vLLM 没有等价端点，只在 completions API 暴露 logprobs，可自行拼装逻辑。

二、llm-d 1.0（线索）。据摘要，llm-d 以 Kubernetes 原生栈的形式把分布式推理打包在 vLLM / SGLang 之上，提供稳定的 v1 配置 API，并加入按优先级与公平性的租户流控、路由热备与滚动升级，以及把 prefill 与 decode 副本作为一个逻辑单元协同管理。

三、HuggingFace TGI 仓库已于 2026-03-21 归档（已核查）。这是选型文章里对存量部署影响最大的一条：现有部署需要维护与迁移计划，新部署应直接评估仍在维护的运行时。

选型方法论上，那篇文章给的框架值得留着：不要用「每天一万请求」估算容量（摊平只有约 7 QPS，突发会完全变形）；要写清峰值并发、典型输入与输出长度、可接受延迟，交互产品看 TTFT 与 token 间延迟，嵌入管线看批完成时间与每秒条数，并且盯住 p95 而不是平均值；多模型共享 GPU 时可考虑按需加载 + LRU 淘汰的 SIE，但不同依赖可能需要独立 worker 池，模型切换延迟必须用真实请求组合实测；vLLM 作为基线先测，重复前缀多时再试 SGLang。兼容性也要实测——chat 端点能通不代表 tool call、流式、JSON 约束符合预期。

证据缺口与建议

  • 性能数字均为第三方基准或厂商口径，本次未复现，硬件与并发条件不可比。
  • GitHub 条目仅 README 摘要，未读 release notes 全文、未看代码、未验证版本号。
  • verl-SpeCo 的摘要只覆盖 EAGLE-1/2/3、DFlash、DFlash2、DSpark 的后端版本表，完整支持矩阵未见。
  • LinkedIn 那条是二手转述，DeepInfer 引擎的原始技术文档没有取得。
  • 未核对的 6 条中，llm-d 1.0 与 verl-SpeCo 最值得补核（发布公告 / 版本兼容细节）。

分类建议：Spheron、plainenglish 两条已核查，可作高价值入口；llm-d 1.0、verl-SpeCo 建议高价值但需补核；NVIDIA Model-Optimizer、sglang 主仓、resin 为常规参考；LinkedIn 条目暂不推荐。

来源清单（8 条，全部保留）

1. How to Run Open-Source AI Models in Production: The Best Inference Servers — Faisal haque, AI in Plain English

  • URL: https://ai.plainenglish.io/how-to-run-open-source-ai-models-in-production-the-best-inference-servers-283aae789d6e
  • 状态：已做原文核查（HTTP 200，正文可读）
  • 用途：开源推理服务器选型指南，覆盖 SIE / vLLM / SGLang / TensorRT-LLM / LMDeploy / llama.cpp / TEI；给出容量估算与 TTFT、p95 观测口径；提示 TGI 已于 2026-03-21 归档。
  • 证据缺口：性能比较表在正文中为图片，未能提取其中的基准数值；SGLang、TensorRT-LLM 等章节在抓取中被截断，未读完全文；所有结论作者自述「需按你的模型与流量实测」。
  • 建议分类：高价值参考 · 已核查（能力矩阵部分仍需补证）

2. The Checkpoint: Oct 23, 2026 — Anthony Maio

  • URL: https://anthonymaio.substack.com/p/the-checkpoint-oct-23-2026
  • 状态：搜索线索 · 待核查
  • 用途：llm-d 1.0 发布要点速览（Kubernetes 原生分布式推理栈、v1 配置 API、租户优先级与公平性流控、路由热备、prefill/decode 副本协同升级、session-aware 路由），并提示区分「离线推理公开包」与完整生产服务栈（不含持久 KV cache、完整 prefill/decode 分离、跨副本负载均衡）；另提到一篇有方法与消融的 arXiv 论文。
  • 证据缺口：仅搜索摘要；未读原文，未取 arXiv 论文与 llm-d 官方发布公告，版本号与能力清单未二次确认。
  • 建议分类：高价值 · 待核查（建议补一次原文）

3. NVIDIA/Model-Optimizer — GitHub

  • URL: https://github.com/NVIDIA/Model-Optimizer?ref=arwriter.ai
  • 状态：搜索线索 · 待核查
  • 用途：NVIDIA 量化检查点工具链，量化产物可导出至 SGLang、TensorRT-LLM、TensorRT、vLLM；统一 HF 导出 API 已支持 transformers 与 diffusers；含预量化检查点与模型支持矩阵。
  • 证据缺口：仅 README 摘要片段；未读完整支持矩阵、未确认各模型版本与导出路径；未验证量化后精度表现。
  • 建议分类：常规参考 · 待核查

4. ekzhang/resin — Experimental library for building inference engines — GitHub

  • URL: https://github.com/ekzhang/resin
  • 状态：搜索线索 · 待核查
  • 用途：教学/实验向的推理引擎实现库，带可选 HTTP serving 与 Prometheus 指标，可作为阅读推理系统源码的样本。
  • 证据缺口：仅摘要；作者明确声明「非生产级软件，生产请用 SGLang 或 vLLM」，具体实现范围、语言与依赖未确认。
  • 建议分类：常规参考 · 待核查（学习用途）

5. sgl-project/sglang — GitHub

  • URL: https://github.com/sgl-project/sglang?ref=codersera.com
  • 状态：搜索线索 · 待核查
  • 用途：SGLang 主仓，推理服务与多模态模型框架；部署编排侧列出 SMG、RBG、llm-d、Ray Serve、NVIDIA Dynamo；含 Docs/Cookbook/课程入口；明确承袭 Guidance、vLLM、LightLLM、FlashInfer、Outlines、LMQL 的设计。
  • 证据缺口：仅 README 摘要；未读代码、未确认 v0.5.21 的 /v1/decisions 在本仓代码中的实现（该点已由第 1、8 条间接旁证）。
  • 建议分类：常规参考 · 待核查

6. verl-project/verl-SpeCo — GitHub

  • URL: https://github.com/verl-project/verl-SpeCo
  • 状态：搜索线索 · 待核查
  • 用途：verl 的推测解码（speculative decoding）扩展，覆盖 vLLM / vLLM-Ascend / SGLang 后端的 draft model 版本兼容表（EAGLE-1/2/3、DFlash、DFlash2、DSpark），并涉及 GPU 与 NPU 两侧镜像构建（docker/verl0.9.0、VERL_REF）。
  • 证据缺口：仅摘要片段；版本表不完整、GPU 与 NPU 分支数值不同；rollout 引擎与加速器运行时按需自装、未固定版本，实际组合兼容性未验证。
  • 建议分类：高价值 · 待核查（版本细节需核对原始 README 表格）

7. DeepSeek's DeepInfer Engine Optimizes Model-Specific Inference — Byte Goose AI, LinkedIn

  • URL: https://www.linkedin.com/posts/bytegoose_vllm-inferenceengine-localinference-activity-7519961552335069184-fXlq
  • 状态：搜索线索 · 待核查
  • 用途：转述 DeepSeek DeepInfer 引擎与 Qwen3-Next-80B-A3B 的模型级推理优化，提到长上下文吞吐提升、Multi-Token Prediction、稳定性优化，以及 HuggingFace / SGLang / vLLM 部署示例。
  • 证据缺口：仅社交平台转述摘要；未取得 DeepSeek 原始技术文档，「10x 吞吐」「训练成本低于 10%」等为原文引述的第三方说法，未见可验证来源；代码示例未获取。
  • 建议分类：暂不推荐 · 待核查（二手转述，缺原始出处）

8. SGLang Decisions API Explained: Serving Models as Classifiers (2026) — Mitrasish, Spheron

  • URL: https://www.spheron.network/blog/sglang-decisions-api-explained-serving-models-as-classifiers
  • 状态：已做原文核查（HTTP 200，正文可读）
  • 用途：/v1/decisions 端点完整解读：三种请求形态、label_mass 置信度语义、约束（拒绝 built-in conversation template、--enable-mis、--dllm-algorithm，标签须为单 token，yes/no 只计小写 token）、--enable-deterministic-inference 用于可复现打分；对照 vLLM 无等价端点；含 SGLang 与 vLLM 能力对照表。
  • 证据缺口：性能数字转引 LMSYS 基准与 SGLang 官方 release notes / docs，未自行复现；文中给出的版本与「vLLM 无对应能力」这一时效性结论有保质期；GPU 选型建议带厂商立场。
  • 建议分类：高价值参考 · 已核查（性能待独立验证）