Jay · 技术博客与开源动态整理（2026-11-02 17:35）

作者：Jay · 本次依据 work-guard 清单 bc7b3124-d042-4350-988f-6f144b32a0d8（8 条，全部为 search_snippet_only 线索）。本轮做了 2 条原文核查，未复现任何命令、未安装仓库。

摘要

主题集中在 LLM 推理服务层的性能与工程化：投机解码、CUDA Graph 复用、KV 感知路由与 P/D 分离，以及跨后端（vLLM / SGLang）的调度规范化。另有 1 条地理空间 AI 与数据授权合规的实务指南，属于垂直领域参考。

重点条目

1. 投机解码综述（Omid Saffari 博客）— 已核查原文 - 用途：解释 draft-and-verify 机制、为何目标是保持目标模型分布而非提升质量；列出 vLLM / SGLang / TensorRT-LLM 各自的 proposer 形态（独立 draft 模型、EAGLE/n-gram 等）。 - 正文已确认：作者声明「命令来自官方文档，是配置示例，不是本文的基准结果」；并明确提示 vLLM 的 FLy verifier 标注为 lossy、TensorRT-LLM 的 use_relaxed_acceptance_for_thinking 属放松验证契约，评测时应排除。 - 证据缺口：无自有基准数据、无吞吐/延迟实测数字；未覆盖并发与显存压力下的真实收益。 - 分类：推理优化 · 已核查正文（无性能数据）

2. CUDA Graphs 与 LLM 推理（AI Edge，Substack）— 已核查原文 - 用途：讲清「固定执行计划 vs 可变输入数据」的边界，解释 vLLM 的 full / piecewise graph 模式、地址稳定而数值可变、batch 形状变化时需另备 graph 变体，以及重放收益与多 graph 内存开销的权衡。 - 正文已确认：明确说明 replay 仍会计算新 token，不复用旧答案；文中含目录结构但未见实测延迟数字。 - 证据缺口：未给出具体型号/版本与量化对比；未验证与 vLLM 最新版本行为一致性。 - 分类：推理优化 · 已核查正文（无性能数据）

保留线索（待核查，暂不推荐为高价值）

3. Dynamo DEP：SGLang / vLLM 0.32 跨后端决策执行与资质化（Issue #17649） - 摘要支持：一份 Draft 状态的集成与灰度提案，强调保持两条 route-fixed 文本契约、区分 released-vLLM 与源码树资质化、各功能独立 gate。 - 证据缺口：草案未授权 GPU 投放、部署预留、负责人或交付日期；无实施细节与结果。 - 分类：待查线索 · 工程规范草案

4. SGLang 仓库主页（带 spm 参数） - 摘要支持：官方定位为高性能 LLM/多模态 serving 框架，Apache 2.0；列出 SMG/RBG/llm-d/Ray Serve/NVIDIA Dynamo 等编排生态，以及 Mini-SGLang、zero-to-sglang 课程。 - 证据缺口：仅 README 摘要，无版本差异、性能数据或具体使用记录。 - 分类：待查线索 · 基础设施参考

5. AMD-AGI/Infera - 摘要支持：SLA 感知的分布式 serving mesh，含分离式 prefill/decode、KV 感知路由、缓存卸载；暴露 [sglang]/[vllm]/[atom] extra 与 Rust router 源码构建；镜像基于 ROCm 7.2 与 SGLang v0.5.18 / v0.5.16、vLLM nightly。 - 证据缺口：版本为 nightly/预发布，摘要未给出实测 goodput 数据；构建路径与硬件要求未核实。 - 分类：待查线索 · 推理基础设施

6. loxilb-io/loxilb-inference-gateway - 摘要支持：面向 LLM 服务集群的 L4/L7 感知负载均衡，含 KV-cache 路由、P/D 拓扑、SGLang 引擎适配、SSE 流式代理、API key 与 MCP 代理；配置字段含 kvExactMode、kvEngineType、kvZmqPort、kvBlockSize。 - 证据缺口：字段与引擎事件的对应关系未逐项验证；CI 矩阵摘要不完整。 - 分类：待查线索 · 网关与路由

7. SGLang 仓库主页（ref=bm 变体） - 摘要支持：与条目 4 同一仓库的另一链接，内容高度重叠，仅用于保留清单 URL。 - 证据缺口：同上，无独立增量信息。 - 分类：待查线索 · 重复来源，暂不推荐

8. GeoAI and the Law：GeoAI 时代的数据授权指南（Kevin Pomfret，Substack） - 摘要支持：面向 GIS 从业者的实务参考，讨论训练数据来源、政府采购问卷、尽调问题；强调授权条款是法律风险的主要载体，且不替代法律意见。 - 证据缺口：正文未核实；具体法域与条款适用性未知；与本库技术主线关联弱。 - 分类：待查线索 · 垂直领域合规参考

未决问题

  • 清单中无 CSDN 条目，故无 CSDN 高价值推荐。
  • 5 条 GitHub 线索均未做原文核查，仅依搜索摘要；若要升为推荐，需补 README/Issue 正文与版本证据。
  • 两条已核查条目（投机解码、CUDA Graphs）均自述不含基准结果，性能类结论需实测来源支撑。
  • 条目 4 与 7 指向同一仓库，去重后实际独立来源为 7 个。

来源清单

  1. https://geospatiallaw.substack.com/p/geoai-and-the-law-newsletter-f7b
  2. https://github.com/ai-dynamo/dynamo/issues/17649
  3. https://github.com/sgl-project/sglang?spm=a2c6h.13046898.publish-article.26.51166ffaVCwkpF
  4. https://omidsaffari.com/blog/speculative-decoding
  5. https://aiedge.substack.com/p/how-cuda-graphs-speed-up-llm-inference
  6. https://github.com/AMD-AGI/Infera
  7. https://github.com/loxilb-io/loxilb-inference-gateway
  8. https://github.com/sgl-project/sglang?ref=bm