AI 推理框架与模型部署动态 · 8 条线索整理
作者：Jay · 2026-10-15
概览
本次共 8 条来源，均为搜索摘要线索（search_snippet_only），未经全文核验。选 2 条进行了原文核查：Red Hat 文章（403 无法访问）、Kaitchup 简报（第 24 期，内容为 2024 年初旧刊）。
条目分析
1. vLLM vs SGLang 对比（Red Hat Developer）🔍 待核查
- URL： https://developers.redhat.com/articles/2026/10/14/vllm-vs-sglang-choosing-the-right-inference-engine-for-your-workload
- 摘要支持用途： 了解 vLLM（PagedAttention）与 SGLang（RadixAttention）的设计差异及选型建议，适合作为推理引擎对比的入门参考。
- 证据缺口： 原文访问返回 403，摘要内容未经验证；具体 benchmark 数据、性能数字、版本信息均缺失。
- 分类： 搜索线索 · 待核查（403 不重试）
2. SGLang GitHub 仓库
- URL： https://github.com/sgl-project/sglang
- 摘要支持用途： 了解 SGLang 项目定位（高性能力推理框架，支持多模态）、生态（Trusted by 业界）、部署方案（Ray Serve / NVIDIA Dynamo / SMG/RBG）以及教育资料（Mini-SGLang、DeepLearning.AI 课程）。
- 证据缺口： 搜索摘录未覆盖更新日志、具体版本号或性能数据。
- 分类： 搜索线索 · 待核查
3. HuatuoGPT-3-8B 医疗 LLM（Hugging Face）
- URL： https://huggingface.co/FreedomIntelligence/HuatuoGPT-3-8B
- 摘要支持用途： 了解 HuatuoGPT-3 医学模型系列（8B / 32B / 7B-Pangu）架构（Qwen3 backbone + SeedRL），支持 vLLM / SGLang 部署，提供了标准的 OpenAI 兼容调用方式。
- 证据缺口： 搜索摘要仅含模型卡片表结构；医学微调数据来源、评测指标、临床适用边界均未披露。
- 分类： 搜索线索 · 待核查
4. Qwen3.6-35B-A3B-FP8（Hugging Face）
- URL： https://huggingface.co/prithivMLmods/Qwen3.6-35B-A3B-FP8
- 摘要支持用途： FP8 量化版 Qwen3.6 35B，提供 SGLang 启动命令（推测解码 + RadixAttention 配置）和 vLLM 生产部署建议，Apache 2.0 许可证。
- 证据缺口： 量化精度损失数字、吞吐 benchmark、显存占用均未提供；第三方分发版（非 Qwen 官方）。
- 分类： 搜索线索 · 待核查
5. Hy3-FP8 腾讯开源模型（Hugging Face）
- URL： https://huggingface.co/tencent/Hy3-FP8
- 摘要支持用途： Hy3 推理模型的 FP8 量化版，提供 vLLM（MTP 推测解码，trtllm allreduce 变通方案）和 SGLang 两条完整部署命令，含 tool-call-parser / reasoning-parser 配置。
- 证据缺口： MTP 加速比、FP8 精度对比基准、超参默认值来源未核实；命令来自模型卡片，未实测。
- 分类： 搜索线索 · 待核查
6. Hy3-preview-Base 基础模型（Hugging Face）
- URL： https://huggingface.co/tencent/Hy3-preview-Base
- 摘要支持用途： Hy3 预训练基座模型，提供与 Hy3-FP8 相似的 vLLM MTP 启动命令（num_speculative_tokens=1 vs FP8 版=2）；可与第 5 条对比 FP8 vs BF16 推理差异。
- 证据缺口： 同第 5 条，benchmark 数据缺失。
- 分类： 搜索线索 · 待核查
7. The Weekly Kaitchup #24（Benjamin Marie）⚠️ 过期线索
- URL： https://kaitchup.substack.com/p/the-weekly-kaitchup-24
- 摘要支持用途： 2024 年初简报，含四大主题：DeepSeekMoE（分段+共享专家，压缩 60% 计算量）、KTO 优于 DPO/IPO 的偏好对齐结论、Marlin 4-bit 推理加速内核、简单数据训练难题。
- 证据缺口： 原文核查显示内容为 2024 年 1 月旧刊，DeepSeekMoE 代码仓库（deepseek-ai/DeepSeek-MoE）链接可独立追溯；KTO 结论源自 Hugging Face 官方博客（可交叉核实）。
- 分类： 搜索线索 · 待核查（内容已过期，非 2026 年资讯）
8. 医疗 AI 生产部署全栈方案（Substack）
- URL： https://mranand.substack.com/p/what-it-actually-takes-to-run-ai
- 摘要支持用途： 医疗场景 AI 部署架构概述：vLLM / TensorRT-LLM 推理层、私有化推理隔离、多类 workload（交互式临床 / 多模态 / 批处理）分离、GPU 共享与容量调度思路。
- 证据缺口： 摘录为泛化描述，无具体产品名、版本、容量数字或故障排除案例；属于经验谈而非操作手册。
- 分类： 搜索线索 · 待核查
未决问题
- Red Hat vLLM vs SGLang 对比原文（403）：建议通过可访问的镜像或 RSS 缓存重新获取，核心差异结论（PagedAttention vs RadixAttention）尚属二手转述。
- Kaitchup #24 为 2024 年旧刊：本期应更新至最新期数；DeepSeekMoE 代码库（GitHub）和 Hugging Face 偏好对齐博客可作为独立核查路径。
- 各模型 benchmark 空白：Hy3、Qwen3.6-FP8、HuatuoGPT-3 均无实测吞吐/精度数据，无法判断生产可用性。
- SGLang 与 vLLM 实际版本号：两条路线均已相互借鉴，2026 年最新版本差异待跟进。
来源清单
| # | 标题 | URL | 状态 |
|---|---|---|---|
| 1 | vLLM vs SGLang: Choosing the right inference engine for your workload | https://developers.redhat.com/articles/2026/10/14/vllm-vs-sglang-choosing-the-right-inference-engine-for-your-workload | 搜索线索 · 待核查（403 不重试） |
| 2 | GitHub - sgl-project/sglang | https://github.com/sgl-project/sglang | 搜索线索 · 待核查 |
| 3 | FreedomIntelligence/HuatuoGPT-3-8B | https://huggingface.co/FreedomIntelligence/HuatuoGPT-3-8B | 搜索线索 · 待核查 |
| 4 | prithivMLmods/Qwen3.6-35B-A3B-FP8 | https://huggingface.co/prithivMLmods/Qwen3.6-35B-A3B-FP8 | 搜索线索 · 待核查 |
| 5 | tencent/Hy3-FP8 | https://huggingface.co/tencent/Hy3-FP8 | 搜索线索 · 待核查 |
| 6 | tencent/Hy3-preview-Base | https://huggingface.co/tencent/Hy3-preview-Base | 搜索线索 · 待核查 |
| 7 | The Weekly Kaitchup #24 | https://kaitchup.substack.com/p/the-weekly-kaitchup-24 | ⚠️ 过期线索（2024 年初旧刊） |
| 8 | What It Actually Takes to Run AI in Healthcare | https://mranand.substack.com/p/what-it-actually-takes-to-run-ai | 搜索线索 · 待核查 |