研究知识库 · Jay 技术博客与开源动态（2026-10-31 09:35）

作者：Jay

本批为清单驱动的公开搜索线索整理，共 8 条来源。清单标注均为 search_snippet_only，除两条已做原文核查外，其余一律标记「搜索线索 · 待核查」。未安装、未试用任何仓库/skill/MCP，未执行原文命令。

1. Google 开发者博客：TPU 上的原生 PyTorch vLLM / SGLang 引擎 —— 已核查

URL: https://goo.gle/3W0Ektk

用途：官方一手公告，交代 vLLM（与 Inferact 合作）、SGLang（与 RadixArk 合作）的 TorchTPU 原生后端定位，含 Pallas 自定义 kernel 与生产级 serving 特性声明，以及 Meta/RadixArk 方的引述。可作 TPU 推理栈选型与生态适配的背景依据。

证据缺口：正文已读到「Background / The Inference Stack」段落，但未读到具体 benchmark 表格与版本号、镜像坐标、复现步骤；引述属于厂商口径，未见独立第三方复现。

建议分类：推荐（官方一手公告，已核查）。

2. llm-d 官方仓库 optimized-baseline 指南 —— 已核查

URL: https://github.com/llm-d/llm-d/blob/main/guides/optimized-baseline/README.md

用途：Kubernetes 上部署推理栈的实操基线，含 llm-d Router 的 helm values 路径、vLLM/SGLang/Atom/TensorRT-LLM 的 accelerator 与 TP 配置矩阵（GKE/GKE Spot、AMD MI355X、Intel XPU、TPU v5p），以及 vllm:/sglang: 前缀缓存指标的 PromQL 验证方法。

证据缺口：已核查到安装、加速器矩阵与指标验证段；未见性能数字，且文中 TensorRT-LLM 多处标为 community 级，Intel XPU 的 SGLang 命中率为 0 的已知缺陷未给出修复方案。

建议分类：推荐（可复现的部署与验证基线，已核查）。

3. HuggingNews：SGLang / vLLM 对齐 DeepSeek DeepInfer

URL: https://huggingnews.com/ai/update-sglang-and-vllm-match-deepseeks-deepinfer-engine-with-full-produc-a1636bba

用途：二手报道 DeepInfer 技术报告要点，含单集群日产 15.5 万亿 token、每 GPU 小时 38 美元营收口径，以及 SGLang 在 4×GB300/B300 上 prefill 达 DeepInfer 1.04 倍、64×GB300 上 decode 高出 7.4% 等说法。

证据缺口：搜索线索 · 待核查。原始技术报告与 DeepSeek 官方口径未读，倍数结论、Mega kernels/SWA bounded replay/Engram 三项优化归属未经原文确认。

建议分类：待核查线索（数值型结论需回到官方报告复核）。

4. Digg：SGLang 与 vLLM 宣称 DeepInfer 平价

URL: https://digg.com/ai/o0sxmv1y

用途：聚合页，指向 LMSYS 官方博客的 DeepSeek 相关性能对比说明。

证据缺口：搜索线索 · 待核查。摘要内容与第 3 条高度重叠，疑为同一上游发布；未解析到 LMSYS 原文链接，无法确认原始基准的模型、卡型与 prefill/decode 定义。

建议分类：待核查线索（建议与第 3 条合并追溯到官方博客后再评）。

5. 本地推理基准工具 llm-inference-bench

URL: https://github.com/local-inference-lab/llm-inference-bench

用途：面向 decode 吞吐的自测工具，含 Rich TUI 面板、按并发档位与上下文长度测量 token 生成速度，支持 SGLang 与 vLLM 双后端；提供 config_fingerprint 可比性判定与基于 /v1/models、/get_server_info 的自动容量探测。

证据缺口：搜索线索 · 待核查。属个人/小团队仓库，未见许可证、CI、基准方法学说明与可复现数据；README 片段存在命令占位符截断。

建议分类：待核查线索（可作自测手段候选，不作性能依据）。

6. Cloud GPU Rating：vLLM / SGLang / TensorRT-LLM 云上部署指南

URL: https://cloudgpurating.com/guides/llm-inference-serving-vllm-sglang-tensorrt-gpu-cloud

用途：面向云 GPU 选型的价格与规格聚合，摘录中可见 Paperspace、A10、H100、A100 等型号的小时费率与可用区域。

证据缺口：搜索线索 · 待核查。为第三方评测/导流站，价格为起始价且随时间变动；未见实际部署步骤、实测吞吐数据或方法学说明。

建议分类：待核查线索（价格参考，非技术依据）。

7. Prompted with Cam：The future isn't frontier models

URL: https://promptedwithcam.substack.com/p/the-future-isnt-frontier-models

用途：Fireworks AI 创始人 Lin Qiao 的访谈稿，主题为推理侧护城河、训练与推理的系统差异、以及「海量定制模型」的判断，可作推理成本与工程路线讨论的从业者观点材料。

证据缺口：搜索线索 · 待核查。访谈类内容含主观判断，未附可验证数据或代码；正文段落缺失。

建议分类：待核查线索（观点类，不作事实来源）。

8. Start-up Society #104：Cal vs Stanford（Part 1）

URL: https://startupsociety.substack.com/p/start-up-society-104-cal-vs-stanford

用途：Covariant 创始团队访谈，成员含 Peter Chen、Pieter Abbeel、Rocky Duan、Tianhao Zhang，含其履历与研究背景（RL、生成模型、元学习控制）。

证据缺口：搜索线索 · 待核查。摘要几乎全为人物履历，与推理/开源主线弱相关；未见可操作的技术内容或结论。

建议分类：暂不推荐（人物访谈，仅作背景线索保留）。

待决问题

  • 第 3、4 条同源于 LMSYS 博客发布，需回到官方原文确认模型版本、卡型与指标定义后再定级。
  • 第 5 条仓库的许可证与可复现性未明，若要作为内部基准工具需先评估。
  • 第 1、2 条已核查段落中均无性能数字，若报告需要量化对比，仍需另找带实测表格的原始报告。

来源清单（全部保留）

  1. https://cloudgpurating.com/guides/llm-inference-serving-vllm-sglang-tensorrt-gpu-cloud
  2. https://digg.com/ai/o0sxmv1y
  3. https://github.com/llm-d/llm-d/blob/main/guides/optimized-baseline/README.md
  4. https://github.com/local-inference-lab/llm-inference-bench
  5. https://goo.gle/3W0Ektk
  6. https://huggingnews.com/ai/update-sglang-and-vllm-match-deepseeks-deepinfer-engine-with-full-produc-a1636bba
  7. https://promptedwithcam.substack.com/p/the-future-isnt-frontier-models
  8. https://startupsociety.substack.com/p/start-up-society-104-cal-vs-stanford

核查状态

  • 已核查（2）：#3 llm-d README、#5 goo.gle/3W0Ektk，均取得正文内容。
  • 搜索线索 · 待核查（6）：#1、#2、#4、#6、#7、#8。