研究知识库 · Jay · 技术博客与开源动态（2026-10-23 09:35）

作者：Jay ｜ 作业 ID：bc7b3124-d042-4350-988f-6f144b32a0d8 ｜ 线索 3 条，已核查 2 条

摘要

本期清单为 3 条搜索线索，覆盖 llm-d 1.0 发布、EAGLE-4 投机解码官方代码、以及 AWS 全球算力编排样例。其中两条已回源读取原文首屏（IBM Newsroom、GitHub README），可支撑能力边界判断；AWS 条目仅有搜索摘要，保留为待核查线索。三条材料共同指向同一主题：推理层从"单引擎调优"转向"跨硬件、跨引擎的分布式推理编排"，投机解码与 KV/前缀缓存复用是当前共同抓手。

条目整理

1. llm-d 1.0 发布：开放、具备成本效率的规模化推理

  • 来源标题：llm-d 1.0 Advances Open, Cost-Efficient AI Inference for Production Scale
  • URL：https://newsroom.ibm.com/2026-10-20-llm-d-1-0-advances-open,-cost-efficient-ai-inference-for-production-scale
  • 状态：已核查（原文可访问，已读取正文段落）
  • 摘要支持的用途：原文明确 llm-d 1.0 由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 发起，现归属 CNCF；能力包含前缀缓存与负载感知路由、KV cache offload、prefill/decode 分离、宽 expert parallelism、跨 vLLM 与 SGLang；1.0 新增多租户 QoS、路由热备与滚动升级零停机、v1 配置 API、会话感知路由与 turn-priority 调度。原文给出 IBM Research 用例：prefix-cache 命中率约 98%、混合服务成本约 0.11 美元/百万 token、推理成本较全专有配置低 11.5 倍（属厂商自述数据）。
  • 证据缺口：性能与成本数字均为发布方/厂商口径，链接指向 IBM 自有 PDF 与 research blog，未见第三方复现；未验证版本号、升级路径与实际部署复杂度。
  • 建议分类：技术发布（已核查）

2. EAGLE-4 官方推理代码

  • 来源标题：GitHub - eagle-hq/EAGLE-4: Official Inference Code of EAGLE-4
  • URL：https://github.com/eagle-hq/eagle-4
  • 状态：已核查（原文可访问，已读取 README 正文段落）
  • 摘要支持的用途：原文说明 EAGLE-4 通过 eagle-harness 为 SGLang、vLLM、TokenSpeed 提供投机解码，draft 树按实测成本自适应批量与硬件。README 给出可复现命令（Python 3.12 venv、pip 固定 sglang==0.5.23.dev252+eagle.5、cu130 wheel 索引、ghcr.io/eagle-hq/eagle-4-sglang:0.1.1 镜像）与 curl 请求样例；README 列出官方实测加速比（SGLang 4×B300：单请求 3.42×、8 并发 2.09×、64 并发 1.39×；vLLM 2.83×/1.72×/1.14×；TokenSpeed 3.09×/2.02×/1.41×；AMD MI355X 单卡 8 并发 2.07×），并有 support matrix 与 known limits 文档。快测环境为 Linux + CUDA 13 + 单 NVIDIA B300。
  • 证据缺口：加速比来自项目自测（SPEED-Bench、temperature 0、Qwen3.8-27B），未独立复现；未确认镜像与 wheel 索引当前可用性；未核查 known-limits 与准入（admission）限制细节。
  • 建议分类：开源项目 / 推理性能（已核查）

3. AWS 全球算力编排样例仓库

  • 来源标题：GitHub - aws-solutions-library-samples/global-capacity-orchestrator-on-aws
  • URL：https://github.com/aws-solutions-library-samples/global-capacity-orchestrator-on-aws
  • 状态：搜索线索 · 待核查（未回源读取）
  • 摘要支持的用途：搜索摘要显示该仓库为 MIT-0 许可样例，提供跨 Region 一条命令部署推理端点（vLLM、SGLang、Triton 各带示例 manifest）、金丝雀发布与加权流量路由、S3 + KMS 集中存放并同步模型权重、Spot GPU 节省成本、EKS Auto Mode NodePool 按需拉起 NVIDIA GPU(x86/Arm)、EFA、Trainium、Inferentia 节点。
  • 证据缺口：仅有搜索摘要，未读 README 正文，未确认实际支持矩阵、依赖版本、成本数字或示例是否可直接运行。
  • 建议分类：待查线索（暂不推荐高价值）

来源清单

  1. llm-d 1.0 Advances Open, Cost-Efficient AI Inference for Production Scale https://newsroom.ibm.com/2026-10-20-llm-d-1-0-advances-open,-cost-efficient-ai-inference-for-production-scale
  2. GitHub - eagle-hq/EAGLE-4: Official Inference Code of EAGLE-4 https://github.com/eagle-hq/eagle-4
  3. GitHub - aws-solutions-library-samples/global-capacity-orchestrator-on-aws https://github.com/aws-solutions-library-samples/global-capacity-orchestrator-on-aws

未决问题

  • AWS Global Capacity Orchestrator 是否含可运行 manifest 与实际成本/可靠性证据，待回源核查。
  • EAGLE-4 与 llm-d 1.0 的加速与成本数字均为自测/厂商口径，是否存在独立复现。
  • llm-d 1.0 的 v1 配置 API 稳定性与升级破坏性变更范围未确认。