研究知识库 · Jay 技术博客与开源动态 · 2026-10-22 13:35

作者：Jay

摘要

本批 8 条来源，2 条完成原文核查（llm-d 1.0 发布博客、ModelExpress 部署文档），其余 6 条仅有搜索摘要线索，全部标为"搜索线索 · 待核查"。整体主线高度集中：大模型推理基础设施向"分布式、KV 感知、K8s 编排"收敛——llm-d 1.0、vLLM/SGLang 的 TPU 后端、Dynamo、ModelExpress 权重传输、SGLang 生态位都指向同一件事：单卡单引擎时代正在被"多引擎 + 感知路由 + 分级缓存 + 快速权重换入"的分层栈取代。对自建推理集群的选型与容量规划有连贯参考价值。两条已核查项均取得正文段落级证据，可作引用；其余仍需后续取原文。

逐项整理

1. llm-d 1.0, an open source stack for distributed inference（已核查正文） - 用途：llm-d 首个 1.0 正式版，K8s-native 分布式推理栈。路由层基于 Gateway API Inference（GKE Inference Gateway 托管 llm-d router）；KV cache 分级卸载走 vLLM OffloadingConnector / Mooncake / SGLang HiCache，可落到主机内存→SSD→Managed Lustre，用途是抑制多轮长上下文下的 prefix eviction 风暴。 - 证据：正文自述 500+ 贡献者、25+ 组织、CNCF Sandbox 项目；PyTorch Conference 主题演讲演示 1,000 个 sandboxed agents 打同一 llm-d endpoint，横跨 vLLM、SGLang、TPU+GPU 混合舰队，缓存感知路由+流控使 agent 步骤留在持有其上下文的副本上。均为厂商自述，未独立复现。 - 缺口：具体组件版本、镜像标签、部署依赖版本未在摘取段落中出现；性能数字（TTFT/吞吐）本次未取得正文数值。 - 建议分类：已核查 · 高价值（推理编排层架构与选型）

2. modelexpress/docs/DEPLOYMENT.md（已核查正文） - 用途：ModelExpress 用 NVIDIA NIXL over RDMA 做 GPU 间权重传输，支撑推理实例快速换模。vLLM ≥0.23.0 原生识别 --load-format modelexpress，回退链固定为 P2P RDMA → server cache → InstantTensor → ModelStreamer → GDS → native loader；SGLang 侧用 remote_instance + modelexpress 后端。 - 证据：正文给出可核对版本线（vLLM 0.23.0 分界；<0.23.0 需 VLLM_PLUGINS=modelexpress 注册 loader，mx 保留向后兼容别名）、环境变量默认值（MX_K8S_SOURCE_RETRIES=5、MX_K8S_SOURCE_BACKOFF_SECONDS=0.5、VLLM_RPC_TIMEOUT=7200000ms、MX_METADATA_NAMESPACE=default、REDIS_URL）、k8s-service 后端 YAML 片段（每 rank 端口 6555+rank，--tensor-parallel-size 2）、跨厂商仅支持 cuda↔xpu 且限未量化权重。 - 缺口：未验证上述命令在自有集群可跑；ModelExpress Python 包安装步骤、CRD 安装前置条件未在摘取段落中完整给出。 - 建议分类：已核查 · 高价值（权重传输与快速换模工程细节）

3. Announcing New vLLM and SGLang Inference Engines on TPU - 用途：Google 与 Inferact（vLLM）、RadixArk（SGLang）合作推出原生 PyTorch TPU 后端，含 roadmap；摘要引 SGLang-TorchTPU 已在 Meta 生产使用（厂商引述）。 - 证据缺口：无正文，仅搜索摘要；性能、版本、启用步骤未确认。搜索线索 · 待核查。 - 建议分类：待核查线索 · 推理引擎与 TPU 支持

4. GitHub - ai-dynamo/dynamo - 用途：NVIDIA 数据中心级分布式推理框架，摘要含 vLLM/SGLang 双后端容器与 PyPI 安装路径（ai-dynamo[vllm] 等）、tensorrtllm-runtime:1.5.1 镜像，并称仓库自带 agent skills。 - 证据缺口：无正文；命令片段被截断，未见版本矩阵、硬件要求或实测数据。搜索线索 · 待核查。 - 建议分类：待核查线索 · 分布式推理框架

5. GitHub - sgl-project/sglang - 用途：SGLang 官方仓库，摘要显示其生态位为 SMG/RBG/llm-d/Ray Serve/NVIDIA Dynamo 的被集成方，并提供 Mini-SGLang、zero-to-sglang 等学习路径。 - 证据缺口：无正文；无版本号、实测或复现记录。搜索线索 · 待核查。 - 建议分类：待核查线索 · 推理框架基础设施

6. SGLang vs vLLM: Which Inference Engine Fits Your GPU VPS? | Contabo - 用途：厂商博客视角的引擎对比，摘要主张差异核心在 prefix 复用——SGLang 用 RadixAttention 以树结构保留前缀，利于长 system prompt、多轮、agent 循环；vLLM 覆盖模型/硬件/集成面更广、社区更大。 - 证据缺口：无正文；无基准数据、环境说明或方法论，属观点性内容。搜索线索 · 待核查。 - 建议分类：待核查线索 · 引擎选型（观点，优先级中低）

7. GitHub - stepfun-ai/Step-5-Preview - 用途：StepFun Step 5 Preview 开源模型卡，摘要给出经 vLLM（FP8/BF16）与 SGLang 部署的 OpenAI 兼容接口示例，定位为仓库级软件工程与长程 agent 执行。 - 证据缺口：无正文；权重可用性、许可条款、上下文长度与实测性能未确认。搜索线索 · 待核查。 - 建议分类：待核查线索 · 开源模型与部署

8. Dolphin Links AI Inference to POD - Alea Research - 用途：加密经济视角，把 AI 推理容量与 Venice 的 VVV 质押代币绑定（摘要举例按质押量抽成推理容量、每日约 1% 容量），分析推理服务定价的成本结构变化。 - 证据缺口：无正文；比例、结算机制、是否真实上线均未核实，且与本批技术主线关联弱。搜索线索 · 待核查。 - 建议分类：待核查线索 · 非技术方向（低优先，保留）

待核查说明与未决问题

  • 已核查 2 条（llm-d 1.0、ModelExpress DEPLOYMENT.md），均取到正文段落级证据，可引用；厂商自述的性能/规模数字未独立复现，不表述为"已核实性能"。
  • 其余 6 条全部保留"搜索线索 · 待核查"标注，未出现"读过全文/含完整代码/已复现"的表述。
  • 本批无 CSDN 条目，无需按低价值降级处理。
  • 未决问题：(a) llm-d 1.0 各组件版本与镜像标签需查官方仓库；(b) TPU 原生后端与 Dynamo 的实际启用条件与性能待查正文；(c) ModelExpress 在自建集群的安装前置（CRD、Python 包、NIXL/IB 环境）需另行确认；(d) Step-5-Preview 许可与可下载性待确认。

来源清单

  1. llm-d 1.0, an open source stack for distributed inference | Google Cloud Blog — https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference （已核查）
  2. modelexpress/docs/DEPLOYMENT.md — https://github.com/ai-dynamo/modelexpress/blob/main/docs/DEPLOYMENT.md （已核查）
  3. Announcing New vLLM and SGLang Inference Engines on TPU | Google Developers Blog — https://developers.googleblog.com/announcing-new-vllm-and-sglang-inference-engines-on-tpu （待核查）
  4. GitHub - ai-dynamo/dynamo — https://github.com/ai-dynamo/dynamo?linkId=100000377672113 （待核查）
  5. GitHub - sgl-project/sglang — https://github.com/sgl-project/sglang?spm=a2ty_o06.30285417.0.0.581ac921iRBNH1 （待核查）
  6. SGLang vs vLLM: Which Inference Engine Fits Your GPU VPS? | Contabo Blog — https://contabo.com/blog/sglang-vs-vllm （待核查）
  7. GitHub - stepfun-ai/Step-5-Preview — https://github.com/stepfun-ai/Step-5-Preview （待核查）
  8. Dolphin Links AI Inference to POD - Alea Research — https://alearesearch.substack.com/p/dolphin-links-ai-inference-to-pod （待核查）