Jay 技术博客与开源动态 · 2026-11-01 09:35

作者：Jay

本轮清单为搜索摘要线索（search_snippet_only），共 4 条，其中 2 条已做一次原文核查。未安装、未运行任何仓库/命令，未复现任何性能结论。

建议优先阅读（已核查正文）

1. Speculative Decoding: How to Speed Up LLM Inference — Omid Saffari

  • URL：https://omidsaffari.com/blog/speculative-decoding
  • 核查状态：已取回正文（HTTP 200）。
  • 用途：讲解投机解码的"草稿—校验"机制，并对照 vLLM、SGLang、TensorRT-LLM 三家官方文档给出配置示例；作者声明文档核对时间为 2026-10-30，且明确这些是配置示例而非本文的基准结果。
  • 证据要点：正文引用 Leviathan/Kalman/Matias 原始论文说明标准投机采样如何用修正分布保持目标模型分布不变；并特别提醒 vLLM 的 FLy 校验器被官方标注为有损、TensorRT-LLM 在思考模式暴露 use_relaxed_acceptance_for_thinking，这两种模式改变校验契约，评估"不改变目标行为"时不应开启。
  • 证据缺口：正文未给出本文自己的加速比/吞吐数字；文中未覆盖各引擎在并发与显存压力下的表现数据（作者只提出这是运维方该问的问题）。
  • 建议分类：推理优化 / 教程（可引用的原理与风险点，不可作为性能结论来源）

2. DEP: Cross-backend decision execution and qualification for SGLang and vLLM 0.32 — ai-dynamo/dynamo #17649

  • URL：https://github.com/ai-dynamo/dynamo/issues/17649
  • 核查状态：已取回正文（HTTP 200，标题与摘要一致）。
  • 用途：一份进行中的 draft DEP，说明如何在同一 decision core 之上同时服务 OpenAI POST /v1/decisions 与 Jev/TypeSafe POST /v1/systemone 两条公开路由，并保留 SGLang 因果实现、优先交付已发布的 vLLM 0.32.0 causal profile。
  • 证据要点：正文称 dynamo-decisions =0.1.0 已发布、dynamo-protocols =8.2.0，PR #15849–#15854 与 #16757 已合入 main；并列出 OpenAPI #15855、qualification fixtures #15857 仍待跟进。文末明确该草案不授权任何 GPU campaign、部署预留、owner 或交付日期，也未宣称托管 OpenAI/Jev 行为等价。
  • 证据缺口：性能与模型资格认定的证据尚缺（正文自称不代表完整的模型、分布式生命周期、SDK 发现或性能 qualification）；具体模型未定，规格仍以 issue 形式存在，可能变更。
  • 建议分类：开源动态 / 设计提案（状态跟踪价值高，不宜当作已发布特性）

保留为待核查线索（未取正文）

3. GeoAI and the Law Newsletter - by Kevin Pomfret

  • URL：https://geospatiallaw.substack.com/p/geoai-and-the-law-newsletter-f7b
  • 状态：搜索线索 · 待核查
  • 用途（据摘要）：宣布出版《Licensing in the Age of GeoAI》，面向被要求回答许可问题的地理空间从业者，涉及模型构建的法律风险、政府采购问卷中的训练数据来源问询等场景。
  • 证据缺口：仅有摘要，未见正文；未见可核验的条文引用、适用司法辖区或实务案例。
  • 建议分类：行业观察 / 法律合规（法务内容不宜仅凭摘要采信）

4. GitHub - sgl-project/sglang

  • URL：https://github.com/sgl-project/sglang （清单原始串带查询参数 ?spm=a2c6h.13046898.publish-article.26.51166ffaVCwkpF，实际地址应去掉该跟踪参数）
  • 状态：搜索线索 · 待核查
  • 用途（据摘要）：SGLang 项目主页，说明其为 LLM 与多模态模型的高性能服务框架，Apache 2.0，列出 SMG/RBG/llm-d/Ray Serve/NVIDIA Dynamo 等部署编排生态与 Mini-SGLang 等学习资源。
  • 证据缺口：仅有摘要，未见版本号、发布说明或性能数据。
  • 建议分类：项目主页 / 基线资料（属于常备参考，非本轮新增动态）

未决问题

  • 第 3、4 条是否值得各做一次原文核查，本轮受"最多两条必要核查"限制未做。
  • 第 1 条的三引擎配置示例未经本机复现，其"文档核对日"随上游更新会失效。
  • 第 2 条后续的 OpenAPI #15855 与 qualification fixtures #15857 结果尚未落地。
  • 本轮清单无 CSDN 条目，故无 CSDN 高价值判定。