Jay 技术博客与开源动态 · 搜索线索整理（2026-10-28 09:35）

作者：Jay

本批次清单共 3 条线索，无 CSDN 条目。全部保留，未做补充搜索。其中 2 条完成一次必要原文核查，1 条仅有搜索摘要。核查失败/超时/受限的情况一律保留为待核查说明。

正文

本批线索集中在推理侧性能与部署工程，主题收敛度较高：一条讲推测解码（speculative decoding）在生产推理栈中的落地方式，一条讲 Serverless GPU 上的推理引擎选型，第三条则是第三方博客对 KV cache 泄漏事件的整理。

NVIDIA NIM 文档是本批唯一有可核验技术细节的来源。正文确认了 NIM_SPECDEC_ 系列与 NIM_DRAFT_MODEL_PATH 对 vLLM 与 SGLang 双后端均生效；草稿模型既可以是独立模型（EAGLE3）、目标模型内置的多头方案（MTP），也可以是无模型的 n-gram 查找表。引入自带草稿模型时，需将 NIM_DRAFT_MODEL_PATH 指向草稿目录，vLLM 侧通过 --speculative-config 的 model 键、SGLang 侧通过 --speculative-draft-model-path 以裸名称引用，NIM 会在启动前改写为本地路径。NIM_DRAFT_MODEL_PATH 与 NIM_MODEL_PATH 语义一致，支持 ngc://、hf://、s3://、gs:// 与本地绝对路径，带缓存且适用于隔离网部署；随 profile 内置的 EAGLE3 草稿权重会随主 checkpoint 一并缓存，天然离线可用，而仅通过该变量提供的草稿模型需在启动时拉取，离线环境应预先缓存或直接指向本地目录。NIM_SPECDEC_ENABLE=0 可关闭该特性，NIM_SPECDEC_ARGS 以 JSON 形式覆盖运行时参数，并可切换方法（例如对自带 MTP 的模型强制走 n-gram）。文档同时给出 acceptance rate 与 acceptance length 两个关键指标定义，并提示接受率高度依赖工作负载类型。文档层面未给出具体延迟或吞吐数值对比。

Runpod 博客正文确认其 Serverless 平台提供 SGLang Quick Deploy 端点，与 vLLM Quick Deploy 并列，选型建议是：结构化生成与 Python 原生控制流优先 SGLang，高吞吐生产场景优先 vLLM（PagedAttention、continuous batching、KV cache 管理优化、生态成熟度）。同时确认其改进模型选择界面（可直接从 HuggingFace 拉取或指定路径）、GitHub 集成一键部署仓库，以及单 worker 的 80GB GPU 数量上限从 2 提升至 4（总计至 320GB），超出需联系支持以获得至多 8 卡。文中对 Deepseek v3 等大模型量化仍建议联系支持扩容。该文为 2025 年度更新，与当前时间存在版本时差。

第三条 developersdigest 博客是关于 GLM-5.3 在 Workers AI 上疑似泄漏其他用户 prompt 的整理稿，附带 SGLang 修复清单的指向。搜索摘要显示其站点结构包含 Cloudflare 在 Workers AI 上运行 Kimi K2.6 / GLM 5.2 的 FP8 KV cache 实践，以及 vLLM/TGI/SGLang 自建对比。但本次未核查其正文，标题所称"泄漏"事件的性质、影响范围与修复清单条目均无法确认，仅可作为线索保留。

来源清单

1. Speculative Decoding — NVIDIA NIM for LLM and VLM

  • URL: https://docs.nvidia.com/nim/large-language-models/latest/advanced-use-cases/speculative-decoding.html
  • 用途：推测解码在 vLLM/SGLang 后端的配置方式、环境变量与自定义草稿模型引入路径；草稿来源（EAGLE3/MTP/n-gram）与离线部署注意事项；接受率与接受长度指标定义。
  • 证据缺口：官方文档，无实测延迟/吞吐数据；未说明具体适用模型清单与版本兼容矩阵。
  • 建议分类：官方技术文档 / 推理优化 —— 已核查原文，可作工程配置参考。

2. What's New for Serverless LLM Usage in Runpod (2025 Update)

  • URL: https://www.runpod.io/blog/runpod-serverless-llm-2025
  • 用途：Serverless GPU 上 SGLang 与 vLLM 的选型对比要点；模型选择界面、GitHub 集成部署；80GB GPU 单 worker 扩容上限变化。
  • 证据缺口：厂商自述，无第三方压测数据；文档标注为 2025 更新，与当前时间存在版本时差，具体参数需以平台实际界面为准。
  • 建议分类：厂商产品更新 / 部署实践 —— 已核查原文，可作选型参考，时效性待复核。

3. GLM-5.3 on Workers AI Leaked Other Users' Prompts: SGLang Fix List

  • URL: https://www.developersdigest.tech/blog/glm-5-3-workers-ai-kv-cache-leak-sglang-operators-2026
  • 用途：搜索线索 —— 可能涉及多租户 KV cache 隔离问题与 SGLang 相关修复项，对自建推理服务的租户隔离有参考价值。
  • 证据缺口：本次未核查正文；标题所称泄漏事件的真实性、影响范围、涉及的模型与版本、以及"修复清单"具体条目均未知；无 issue/PR 编号、无复现步骤、无官方公告佐证。
  • 建议分类：搜索线索 · 待核查 —— 暂不推荐，需先确认事件与来源可信度。