主流推理框架近期支持动态：SGLang / vLLM 双线更新

作者：Jay 2026-10-18

概览

三条线索覆盖两个主题：StepFun Step-5 Preview（600B MoE，百万上下文）的自托管Serving路径于 2026 年 10 月 15 日同时落地 vLLM 与 SGLang；以及 vLLM 对 NVIDIA Vera Rubin NVL72 的 Day-0 支持（2026-10-09），附带 7.8× GB200 吞吐基准。

条目分析

条目 1 — MindStudio: How to Deploy Ling-3.1-flash with SGLang and vLLM

  • URL: https://www.mindstudio.ai/blog/ling-3-1-flash-deployment-sglang-vllm
  • 现状: 搜索线索 · 待核查
  • 摘要支持用途: 了解 InclusionAI Ling-3.1-flash（560B 总参，25B 激活，MoE，1M 上下文）的硬件需求与部署路径概述。
  • 证据缺口: 仅有摘要，无法确认 GPU 型号要求的具体门槛、Docker 镜像 tag、MTP 推测解码配置细节。
  • 建议分类: 参考 / 部署前置调研。

条目 2 — OrcaRouter: Step 5 Preview Self-Hosting: vLLM and SGLang Day-Zero ✅ 已核查（部分）

  • URL: https://www.orcarouter.ai/blog/step-5-preview-serving-leak
  • 现状: 搜索线索 · 部分核查
  • 摘要支持用途:
  • vLLM PR #61727（draft，01:18 UTC）新增 step-5-preview 支持，129 文件 +16996 行；尚未合并。
  • vLLM recipe PR #1122（01:16 UTC）含 models/stepfun-ai/Step-5-Preview.yaml，提供 FP8 默认与 NVFP4 两个变体。
  • 官方镜像 vllm/vllm-openai:step-5-preview 于 2026-10-15 00:51 UTC 推送（amd64 8.56 GB / arm64 9.58 GB）。
  • SGLang cookbook 页面同日合并，含 Blackwell 与 Hopper 部署配方。
  • 模型参数确认：600B 总参 / 27B 激活 MoE，FP8 VRAM 下界 773 GB。
  • 证据缺口: 文章仅提供Serving路径上线时间线与Artifact说明，非完整部署指南；vLLM PR 为 Draft 状态，实际可用性待正式合并后确认。
  • 建议分类: 高价值 / 跟踪正式合并进度。

条目 3 — Spheron: vLLM Vera Rubin NVL72 Day-0 Support, 7.8× Throughput ✅ 已核查（部分）

  • URL: https://www.spheron.network/blog/vllm-on-vera-rubin-nvl72-day-0-support-and-7-8x-throughput-2
  • 现状: 搜索线索 · 部分核查
  • 摘要支持用途:
  • vLLM 于 2026-10-09 在正式发布前 months 的夜间容器中提供 Vera Rubin NVL72 预览支持。
  • 核心数字来自 AgentX（代理编程基准）对 MiniMax M3 的测试：7.84× GB200 单卡吞吐；150 TPS 延迟上限下为 5.18×。
  • MLPerf Inference v6.1 预览分叉：DeepSeek-R1 + TensorRT-LLM（2.5× GB300），Qwen3-VL + vLLM+Dynamo（3.7× GB300），同 Rack 验证。
  • Rubin NVL72 硬件规格：5× NVFP4 FLOPS、2.4× HBM 带宽（对比 GB200 单卡）。
  • 目前云端尚无按小时计量的 Rubin 实例；Spheron 平台仅支持预约/预订，H2 2026 发货。
  • 证据缺口: 7.8× 数字基于单一基准（AgentX）和单一模型（MiniMax M3），不代表通用性能； Rubin 尚未进入主流租赁市场，实际大规模部署数据缺失。
  • 建议分类: 高价值 / 关注 Rubin 实际可用性。

来源清单

# 标题 URL 状态
1 How to Deploy Ling-3.1-flash with SGLang and vLLm https://www.mindstudio.ai/blog/ling-3-1-flash-deployment-sglang-vllm 搜索线索 · 待核查
2 Step 5 Preview Self-Hosting: vLLM and SGLang Day-Zero https://www.orcarouter.ai/blog/step-5-preview-serving-leak 已核查（部分）
3 vLLM Vera Rubin NVL72: Day-0 Support, 7.8× Throughput https://www.spheron.network/blog/vllm-on-vera-rubin-nvl72-day-0-support-and-7-8x-throughput-2 已核查（部分）

实际路径: /shared/research-kb/inbox/jay/2026-10-18T1335-blogs-discovery.md 线索总数: 3 已核查 URL 数: 2（OrcaRouter、Spheron） 未决问题: - MindStudio Ling-3.1-flash 部署细节待全文核查 - vLLM step-5-preview PR 为 Draft 状态，正式合并时间待确认 - 7.8× Rubin 性能数字基于单一基准，通用性待更多验证