AI 推理引擎与模型部署动态

作者：Jay

时间：2026-10-15

来源清单（8条）

1. vLLM vs. SGLang: Choosing the right inference engine for your workload

  • URL: https://developers.redhat.com/articles/2026/10/14/vllm-vs-sglang-choosing-the-right-inference-engine-for-your-workload
  • 渠道: blogs
  • 摘要用途: vLLM 与 SGLang 技术对比，KV cache 机制（Prefill/Decode）、PagedAttention vs RadixAttention 设计差异，选型建议
  • 证据缺口: 403 访问受限；搜索线索 · 待核查（正文未获取）
  • 分类: 搜索线索 · 待核查

2. GitHub - sgl-project/sglang

  • URL: https://github.com/sgl-project/sglang
  • 渠道: blogs
  • 摘要用途: SGLang 开源框架功能概览、部署方式（SM/RBG/llm-d/Ray Serve/NVIDIA Dynamo）、教育资源和信任背书
  • 证据缺口: 搜索 snippet；正文未获取
  • 分类: 搜索线索 · 待核查

3. FreedomIntelligence/HuatuoGPT-3-8B

  • URL: https://huggingface.co/FreedomIntelligence/HuatuoGPT-3-8B
  • 渠道: blogs
  • 摘要用途: 医疗 LLM（8B/Qwen3-8B-Base/SeedRL），vLLM/SGLang 部署方式，与 Qwen3-8B 用法相同
  • 证据缺口: 搜索 snippet；正文未获取
  • 分类: 搜索线索 · 待核查

4. prithivMLmods/Qwen3.6-35B-A3B-FP8

  • URL: https://huggingface.co/prithivMLmods/Qwen3.6-35A-A3B-FP8
  • 渠道: blogs
  • 摘要用途: Qwen3.6-35B FP8 量化版，单卡 vLLM/Ollama 部署，附 SGLang 启动命令示例（TP=8, 262K context, speculative decoding）
  • 证据缺口: 搜索 snippet；正文未获取；snippet 中命令参数（speculative-eagle-topk/speculative-num-draft-tokens 等）需原文验证
  • 分类: 搜索线索 · 待核查

5. tencent/Hy3-FP8 ✅ 原文已核查

  • URL: https://huggingface.co/tencent/Hy3-FP8
  • 渠道: blogs
  • 摘要用途: Tencent 295B MoE 模型（21B 激活/3.8B MTP），vLLM 和 SGLang 部署命令与参数，含 benchmark blind eval 数据
  • 已核实内容:
  • 架构：295B 总参，21B 激活，3.8B MTP，80层，256K context，192 experts top-8 激活，BF16
  • MTP (Mixed Torch Parallel)：1 层 MTP
  • vLLM 部署含 --speculative-config.method mtp --speculative-config.num_speculative_tokens 2，SGLang 部署参数类似
  • 270 位专家盲评：Hy3 得分 2.67/4 vs GLM-5.1 得分 2.51/4
  • 原文地址 https://huggingface.co/tencent/Hy3-FP8/blob/main/README_CN.md 有中文版
  • 证据缺口: vLLM 源码构建步骤（git clone 后具体版本）与 SGLang 构建命令在 snippet 中截断，需进一步原文核查
  • 分类: 搜索线索 · 已核查基础信息

6. tencent/Hy3-preview-Base

  • URL: https://huggingface.co/tencent/Hy3-preview-Base
  • 渠道: blogs
  • 摘要用途: Hy3 预览版基座模型，vLLM/SGLang 部署命令，与 Hy3-FP8 共享同一仓库结构
  • 证据缺口: 搜索 snippet；正文未获取；架构参数与 Hy3-FP8 是否一致待核实
  • 分类: 搜索线索 · 待核查

7. The Weekly Kaitchup #24

  • URL: https://kaitchup.substack.com/p/the-weekly-kaitchup-24
  • 渠道: blogs
  • 摘要用途: LLM 仅从简单问题学习解决难题（泛化能力研究）、Marlin 4bit×16bit kernel（GPTQ 加速）、KTO vs DPO 对比
  • 证据缺口: 搜索 snippet；正文未获取；Beta 超参数敏感性结论的实验设置和数据集信息缺失
  • 分类: 搜索线索 · 待核查

8. What It Actually Takes to Run AI in Healthcare

  • URL: https://mranand.substack.com/p/what-it-actually-takes-to-run-ai
  • 渠道: blogs
  • 摘要用途: 医疗 AI 部署架构（vLLM/TensorRT-LLM），KV cache 管理，公有 GPU 环境下工作负载隔离，私有推理生产化步骤
  • 证据缺口: 搜索 snippet；正文未获取；实际生产问题与解决方案的细节需原文验证
  • 分类: 搜索线索 · 待核查

汇总

  • 实际写入路径: /shared/research-kb/inbox/jay/2026-10-15T1735-blogs-discovery.md
  • 线索总数: 8 条
  • 已核查条目: 1 条（Hy3-FP8：模型架构参数 + 专家盲评数据 + 基础部署命令）
  • 未决问题:
  • Red Hat vLLM vs SGLang 文章（403 不重试，需寻找替代来源）
  • SGLang GitHub 页面、Qwen3.6-35B、HuatuoGPT-3-8B、Hy3-preview-Base 命令细节待原文验证
  • Kaitchup #24 研究结论（Beta 超参数实验设置）和 Healthcare AI 实际排障经验需原文核实
  • Hy3-FP8 vLLM 源码构建步骤截断待补充