LLM 推理技术速览 — vLLM · SGLang · 基础设施
作者：Jay 整理时间：2026-10-19（来源均为 search_snippet_only 搜索线索，待正文核查）
1. Inferact 获得大额种子轮，将 vLLM 扩展至企业级
URL： https://a16zjobs.substack.com/p/inferact-raised-one-of-the-largest
摘要支持用途： 了解 vLLM 团队 Inferact 的企业扩张计划及招聘方向（Kernel Engineering、TPU Performance、Developer Relations，年薪 $400K+）。
证据缺口： 仅有 Job Posting 片段，融资细节、产品路线图未经正文核实。
分类： 搜索线索 · 待核查
2. DGX Spark 双节点 disaggregated inference 基准实测
URL： https://andrewmyersai.substack.com/p/what-actually-happens-when-you-run
摘要支持用途： vLLM 单节点 vs Dynamo 拆解式双节点推理的 94 次基准对比，覆盖 5 模型 / 3 提示规模 / 4 并发级别，涵盖 KV-cache 利用率、吞吐、延迟等指标。
证据缺口： 摘要仅为目录/预告，正文数据、图表结论未核实。
分类： 搜索线索 · 待核查
3. ModelSphere · 生产级 LLM 推理基础设施
URL： https://github.com/modelsphere
已核查 ✓
摘要支持用途： ModelSphere 是一套开源 LLM 推理基础设施，涵盖多组件协同：
- llm-operator：基于 KV-cache 利用率、队列深度、TPM 做 LLM 专用 HPA 扩缩容（非 CPU/memory）
- helm-charts：sglang / vllm 的 Helm 部署图表
- cache_aware_router：前缀匹配路由至持有最长相同 prompt 前缀的副本
- continuation_gateway：恢复因故障中断的流式生成，保证客户端收到完整回复
- llm-autotune / llm-bench：自动调参与基准测试平台
组件构成： Ansible + helmfile 离线部署、OpenResty 会话亲和路由、SLO 感知调度、hang-watcher 引擎自愈。
证据缺口： 各 repo 实际代码质量、文档完整性、社区活跃度未逐一验证。
分类： 已有线索 + 初步结构确认
4. SGLang 基准配置审查 · vLLM vs SGLang cache hit 差异
URL： https://github.com/llm-d/llm-d/issues/1749
摘要支持用途： 基准测试中发现 sglang cache hit 约 20% 而 vLLM 达 90%+，作者正在调查是否为 benchmark 配置问题；关联 kubernetes-sigs/inference-perf#548 记录了推理性能差距。
证据缺口： 问题已于 2026-09-29 标记为 completed，但具体根因和修复方案正文未读。
分类： 搜索线索 · 待核查
5. vLLM Agentic API 原生推理集成 RFC
URL： https://github.com/vllm-project/agentic-api/issues/362
摘要支持用途： 计划移除 Agentic API 部署模式下多余的 HTTP 前缀层，直接复用 vLLM 共享前端库（Rust 栈）；被 #361 阻塞，关联 #359（RFC 共享前端集成）、#314、#73。
证据缺口： RFC 正文设计细节、进度状态未核实。
分类： 搜索线索 · 待核查
6. LiquidAI LFM2.5-24B-A2B 基准测试使用 SGLang 0.5.22.dev 开发版
URL： https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/discussions/8
摘要支持用途： 明确了基准测试所用 SGLang 精确版本：0.5.22.dev109+g488869c2d，commit SHA：488869c2d0f3321299488bcf221934df40b06454，确认用的是开发构建而非正式发布版。
证据缺口： 基准数据全文、测试环境配置未核实。
分类： 搜索线索 · 待核查
7. DeepSeek-V4.1-Flash-1017 推理参考实现（已核查 ✓）
URL： https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017/blob/main/inference/README.md
已核查 ✓
摘要支持用途： 该仓库提供的是最小化参考实现（#minimal-inference），而非生产级 serving engine。代码覆盖视觉编码器、sliding-window + compressed sparse attention 双级索引器、engram n-gram 查找、MoE、Hyper-Connections、DSpark 前向路径。生成本身为标准自回归采样。支持 torchrun 多节点执行。
支持 vLLM 和 SGLang 部署方式（见仓库主 README），本文件为自定义推理路径。
证据缺口： vLLM / SGLang 集成细节需参阅仓库主 README；该 minimal-inference 非生产用途。
分类： 已有线索 + 正文部分核实
8. 企业 LLM 部署决策：本地化 vs 混合架构
URL： https://questaai.substack.com/p/the-llm-deployment-decision-nobody
摘要支持用途： 梳理受监管企业的 on-premise LLM 部署要素（A100/H100 + vLLM/Ollama + 访问控制/审计层），以及混合架构（本地数据匿名化 + 云端前沿模型）的合规路径。
证据缺口： 正文具体案例数据、供应商对比结论未核实。
分类： 搜索线索 · 待核查
来源清单（按处理顺序）
| # | 标题 | URL | 分类 |
|---|---|---|---|
| 1 | Inferact 种子轮 & vLLM 企业招聘 | https://a16zjobs.substack.com/p/inferact-raised-one-of-the-largest | 搜索线索 · 待核查 |
| 2 | DGX Spark disaggregated inference 基准 | https://andrewmyersai.substack.com/p/what-actually-happens-when-you-run | 搜索线索 · 待核查 |
| 3 | ModelSphere 开源推理基础设施 | https://github.com/modelsphere | 已有线索 + 初步结构确认 |
| 4 | SGLang vs vLLM cache hit 差异 Issue | https://github.com/llm-d/llm-d/issues/1749 | 搜索线索 · 待核查 |
| 5 | vLLM Agentic API 原生推理 RFC | https://github.com/vllm-project/agentic-api/issues/362 | 搜索线索 · 待核查 |
| 6 | LiquidAI LFM2.5 SGLang dev 版本说明 | https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/discussions/8 | 搜索线索 · 待核查 |
| 7 | DeepSeek-V4.1-Flash 最小推理实现 | https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017/blob/main/inference/README.md | 已有线索 + 正文部分核实 |
| 8 | 企业 LLM 部署决策分析 | https://questaai.substack.com/p/the-llm-deployment-decision-nobody | 搜索线索 · 待核查 |
本次统计 - 线索总数：8 - 已原文核查：2（ModelSphere GitHub、DeepSeek-V4.1-Flash README） - 未决问题：6 条待正文核实，特别是 Dynamo disaggregated 基准数据、vLLM Agentic RFC 设计细节、sglang cache hit 根因