技术博客与开源动态整理 · 2026-10-25 13:35 · 作者 Jay

来源：公开搜索清单（7 条）· 已做 2 次原文核查 · 其余为搜索摘要线索，标「待核查」。

核查通过的两条

1. DeepSeek DeepInfer 开源解读（AINews / swyx）

  • URL：https://swyx.substack.com/p/ainews-deepseek-deepinfer-open-source
  • 用途：梳理 DeepInfer 公开的架构原语与部署形态，适合作为「DeepSeek 开源推理栈」的入口材料。
  • 正文证据（已核查原文）：架构按 vision encode / prefill / decode 分阶段解耦；推荐部署为 prefill 用 8 卡机、decode 用 64–128 卡超节点，decode 侧靠 wide expert parallelism 分摊 MoE 专家；能力清单含 attention/data/context parallelism、EPLB、DSpark 式投机解码、SWA bounded replay、异步调度、结构化输出、batch-invariant inference、确定性采样；环境要求 Linux + Python 3.12 + CUDA 13，或华为 Ascend 950（DEEPINFER_ACCELERATOR=nvidia|ascend，CANN 9.2）。文中明确提醒在线服务仍需外部 KV cache 管理与 P/D 解耦。
  • 证据缺口：155 万亿 tokens/天、每卡每小时 38 美元属转述的官方口径，本文自述不足以支撑其硬件构成；未包含源码级验证。
  • 建议分类：开源动态 / 推理框架（较高价值，但性能数字需另找一手来源）。

2. aisimulate Slurm 部署生成器文档

  • URL：https://github.com/ai-dynamo/aisimulate/blob/main/docs/sweeper/deployment-generation.md
  • 用途：Dynamo 在 Slurm 上生成部署包的参数约束与校验方法，适合做集群侧部署参考。
  • 正文证据（已核查原文）：--deployment-target slurm 生成带 Pyxis/Enroot 的自包含 Dynamo bundle，支持 vLLM / SGLang / TRT-LLM 的聚合与 P/D 分离模式，含单节点多副本；所有 worker GPU 总数须落在 NodeConfig.num_gpus_per_node 内，多机 worker、专用 encode 池、Dynamo Planner 会被直接拒绝而非静默改拓扑。校验器读取后端参数 schema（vLLM EngineArgs、SGLang ServerArgs、TRT-LLM TorchLlmArgs），但不校验 llm-d Helm 值、GPU 容量、端点就绪与性能；TRT-LLM 需把 engine YAML 放到脚本 /workspace/engine_configs/。
  • 证据缺口：文档声明测试覆盖产物快照与 shell 语法、CPU supervisor 用真实 HTTP 探测，但本报告未执行任何命令或跑测试；集群实跑结果未核。
  • 建议分类：工程实践 / 部署工具（高价值）。

搜索线索 · 待核查

3. SSD 磁盘承载 LLM 推理（SGLang Expert Pack）

  • URL：https://adityainamdar.substack.com/p/running-models-off-your-ssd-the-complete
  • 摘要支持的用途：MoE 权重外置 NVMe 的连续布局设计（Expert Pack 与 SSD-LLaMA 对比），讲清碎片读是延迟瓶颈、连续块是带宽瓶颈。
  • 证据缺口：仅摘要；DeepSeek-V4-Flash / Kimi-K3 的消费级硬件可跑性未核；无命令、无环境、无实测数据。
  • 建议分类：技术原理（待核查后再定级）。

4. DeepInfer 技术拆解（Tech Teardown 034）

  • URL：https://kaeltalksai.substack.com/p/tech-teardown-034-deepseek-open-source
  • 摘要支持的用途：以源码视角对比 DeepInfer 与 vLLM/SGLang，说明 DeepSeek 优先优化的项。
  • 证据缺口：仅摘要，摘要本身含「4 天前」等元信息，无具体代码或性能证据。
  • 建议分类：源码解读（待核查）。

5. DeepSeek 开源推理引擎、但保留缓存

  • URL：https://sanjeevganjihal.substack.com/p/deepseek-gave-away-its-inference
  • 摘要支持的用途：讨论「引擎开源、经济性公开、生产机制留在内部」的边界。
  • 证据缺口：仅摘要；未指明 DeepInfer 仓库地址或具体被保留的缓存机制。
  • 建议分类：观点分析（待核查）。

6. Blackwell（SM120 / CUDA 13.2）SGLang+vLLM 镜像仓库

  • URL：https://github.com/local-inference-lab/blackwell-llm-docker
  • 摘要支持的用途：多版本发布说明，涉及 r29/r33 的包改名、压缩 MLA 校验器容量契约（384/512 行取代固定 256）、TP8 自动 owner reduction、TP2/TP4 远端 push 需显式开启、K6 小 M dispatch 的 SM120 能力门控。
  • 证据缺口：仅摘要；仓库归属与可信度未核；构建脚本未执行；性能结论（如 TP2/TP4 有涨有跌）无实测数据支撑。
  • 建议分类：开源仓库 / 复现指南（待核查）。

7. Substack 简讯（Shout, Shout, or Bit）

  • URL：https://asianscholar.substack.com/p/2bf
  • 摘要支持的用途：摘要内容基本为订阅页与标签噪声，可见的仅「四周年前开始的标签运动」提法。
  • 证据缺口：与 AI 技术主题关联弱，无可用技术要点。
  • 建议分类：暂不推荐（仅保留线索）。

未决问题

  • 上述 3、4、5、6、7 条均未取得正文，仅 1、2 两条完成原文核查。
  • 是否对 DeepInfer 吞吐与单价数字另找一手来源核实，未决。
  • 是否核查 blackwell-llm-docker 的发布节奏与来源可信度，未决。