inference · E1 预消化简报(2026-10-25)

批次：宿主机 work-guard 清单 job e627b203-77c1-4f5a-a634-26925ef1b683（E1 预消化 · inference），item e1_prep:inference，score 8。 处理范围：严格按清单 items[0].materials 的 8 份材料（Jay 博客发现 ×2、Tom 文献雷达 ×1、repo_card ×5），未做全库扫描、未开网页检索补料、未为凑字数多轮重写。另按原任务口径读了 organized/queue/work-queue.md，并在 organized/paper_cards/ 近 3 天（mtime ≤ 2026-10-22）新卡中做主题相关抽查，抽查结果单列于 §4，不与清单材料混计。 对照基线：organized/knowledge/inference.md（v 更新标记 "Oct25午"，共 549 行，arXiv 引用锚约 532 条）。 已读旧文件（仅供脉络对照，未修改）：organized/knowledge/inference.md、organized/knowledge/inference-changelog.md、organized/queue/work-queue.md、inbox/tom/2026-10-25T0840-agent-rag-longcontext-radar.md、inbox/tom/2026-10-23-inference-e1prep.md（本主题上一轮）、inbox/flyp/2026-10-25T1550-critical-read.md、inbox/spark/2026-10-25-agent-e1prep.md。 本轮性质：8 份材料中构成 inference 主题实质增量 2 条（均出自同一份 Jay 笔记：DeepSeek DeepInfer 开源推理栈、Dynamo/aisimulate 的 Slurm 部署生成器），复核后无新增观点 4 件（Raschka 课程、Agent Mosaic 雷达、rec/Rapid-MLX/flare/EAGLE-4 四张 repo_card 中的计数刷新），待核查线索 5 条（同笔记内的摘要级条目）。整体不足以支撑对 inference.md 骨架的改动，今晚建议只做两处小补 + 一批矛盾登记。 诚实度声明：下文每条观点均标注材料出处与证据等级；凡仅有摘要、标题或采集数值者一律不写成结论。

0. 一句话判断

今晚 inference 主轴真正的新东西只有一件：DeepSeek 把自己的推理栈（DeepInfer）开源出来了，并且是按 "vision encode / prefill / decode 三段解耦" 的架构公开的——这直接落在活文档 §1.1 引擎格局与 §3.2 P/D 分离两条脉络的交叉口上；配套第二条是 Dynamo 在 Slurm 上的部署生成器（aisimulate），它最有价值的不是功能而是一条设计原则：拓扑不合法就直接拒绝，而不是静默改写——这恰好是活文档 §1.2 反复记录的 SGLang 静默降级问题的反面样本。除这两条外，本批材料不提供新的性能数字、新的 arXiv 论文或新的选型依据。

1. 今日 inference 主题最重要的增量（2 条）

增量 ① · DeepSeek DeepInfer 开源：三段解耦架构的公开口径 ⚬

  • 来源：inbox/jay/2026-10-25T1335-blogs-discovery.md 第 1 条（材料 key note-links:061597b9…）；原始页 https://swyx.substack.com/p/ainews-deepseek-deepinfer-open-source（AINews / swyx）。证据等级：Jay 已做原文核查（笔记自述"已核查原文"），本轮未开原网页复核。
  • 要点（全部按 Jay 笔记的转述，未外推）：
  • 架构按 vision encode / prefill / decode 三阶段解耦；
  • 推荐部署形态：prefill 用 8 卡机、decode 用 64–128 卡超节点，decode 侧靠 wide expert parallelism 分摊 MoE 专家；
  • 能力清单：attention / data / context parallelism、EPLB、DSpark 式投机解码、SWA bounded replay、异步调度、结构化输出、batch-invariant inference、确定性采样；
  • 环境要求：Linux + Python 3.12 + CUDA 13，或 华为 Ascend 950（DEEPINFER_ACCELERATOR=nvidia|ascend，CANN 9.2）；
  • 原文明确提醒：在线服务仍需外部 KV cache 管理与 P/D 解耦。
  • 与活文档 knowledge/inference.md 现有脉络的关系： 1. 全文检索 DeepInfer = 0 命中，deepinfer = 0 命中——是真新条目，不是既有条目的复述。 2. 它同时压住三条已有脉络：① §1.2 里 vLLM 的 DSpark（Adaptive Verification） 与 §4.1 的 DSpark 投机解码——DeepInfer 把 DSpark 式投机解码列为原生能力，说明这套机制正在从"某引擎的一个特性"变成"跨厂商的默认件"；② §3.2 与 §5.1 的 P/D 分离——DeepInfer 的 prefill 8 卡 / decode 64–128 卡是一个具体的拓扑配方，补的是活文档里一直偏"有无 P/D"而少"长什么样"的空档；③ §1.3 的 Batch Invariance 段——活文档目前记的是"确定性要付代价"（SGLang Deterministic Attention 平均吞吐降 34.35%），而 DeepInfer 把 batch-invariant inference 直接列为原生能力且未提代价（见 §3 矛盾 ③，这是本条最值得今晚登记的一点）。 3. 与 §6.2 趋势"MoE Serving 三件套（CascadeEP + Speculating Experts + CrossPool）"同源但来自不同实现栈：wide expert parallelism + EPLB 是 DeepSeek 侧的对应物，可作为"MoE 并行与专家调度已成跨栈共识"的第二条独立证据。 4. Ascend 950 + CANN 9.2 的适配要求，与 §1.2 的 vLLM-Ascend / LMDeploy（国产硬件路径）构成同一国产算力脉络的第二条一手工程证据。
  • 建议归入哪一节：§1.1「六引擎格局与 2026 Q4 生态快照」新增一条（作为"新公开的专用推理栈"，与 ds4 / rec / Kapitsa 同列但级别更高，因其出自模型厂商自身）；在 §3.2 补一句拓扑配方；在 §6.2 趋势的 MoE Serving 那条下补"wide EP + EPLB"作为第二条独立来源。证据边界必须同条保留：吞吐与单价数字（155 万亿 tokens/天、每卡每小时 38 美元）本条不得引用——Jay 笔记明确写"属转述的官方口径，本文自述不足以支撑其硬件构成，未包含源码级验证"。

增量 ② · aisimulate 的 Slurm 部署生成器：一条"响亮失败"的设计原则 ⚬

  • 来源：inbox/jay/2026-10-25T1335-blogs-discovery.md 第 2 条（同一材料）；原始页 https://github.com/ai-dynamo/aisimulate/blob/main/docs/sweeper/deployment-generation.md。证据等级：Jay 已做原文核查，本轮未复核原网页。
  • 要点：
  • --deployment-target slurm 生成带 Pyxis/Enroot 的自包含 Dynamo bundle，支持 vLLM / SGLang / TRT-LLM 的聚合模式与 P/D 分离模式，含单节点多副本；
  • 约束：所有 worker 的 GPU 总数必须落在 NodeConfig.num_gpus_per_node 之内；多机 worker、专用 encode 池、Dynamo Planner 会被直接拒绝，而不是静默改写拓扑；
  • 校验器读取后端参数 schema（vLLM EngineArgs / SGLang ServerArgs / TRT-LLM TorchLlmArgs），但不校验 llm-d Helm 值、GPU 容量、端点就绪与性能；TRT-LLM 需把 engine YAML 放到脚本 /workspace/engine_configs/。
  • 与活文档 inference.md 现有脉络的关系： 1. 落点很明确：§3.2（Prefill-Decode Disaggregation 工程进展） 与 §5.1（llm-d CNCF + K8s 推理编排）/ §5.3（部署框架） 的交叉处。它是 §3.2 里 Dynamo 1.0 GA、§5.1 里 llm-d v1.0、§5.3 里 ModelExpress 之外，第一份落到具体集群调度系统（Slurm）上的部署生成器文档——此前这三节的编排层叙事都停在"K8s / control plane"，没有"Slurm 侧产物长什么样"的实据。 2. 它的方法论价值大于功能价值：活文档 §1.2 用大量篇幅记录 SGLang 0.5.20 静默 cap 并发、只在日志提示、不在 API 层暴露（"静默降级"）；§1.3 记录"推理后端是静默超参数"。aisimulate 给出的恰恰是反面样本：不满足约束时拒绝生成，把失败暴露在生成期而非运行期。"生成期响亮失败 vs 运行期静默降级" 可以作为今晚的一条方法论对照记入 §1.3 段落末尾。 3. 校验器的边界同样是情报：它校验"参数 schema 合不合法"，但不校验"GPU 装不装得下、端点起不起来、快不快"——即拓扑合法 ≠ 部署可用。这条对 §5.1 里所有"厂商自述基准"的引用纪律是一记提醒：产物生成成功不构成性能证据。
  • 建议归入哪一节：§5.1 或 §5.3 新增一条「aisimulate / Slurm 部署生成」；在 §3.2 补一句 P/D 分离在 Slurm 侧的产物形态；在 §1.3 末尾加一句"生成期响亮失败 vs 运行期静默降级"的方法论对照（一句话，不展开）。
  • 证据边界必须同条保留：Jay 笔记明确写"文档声明测试覆盖产物快照与 shell 语法、CPU supervisor 用真实 HTTP 探测，但本报告未执行任何命令或跑测试；集群实跑结果未核"。

2. 复核后无新增观点（4 件，均已在活文档中）

材料 复核结论
inbox/jay/2026-10-25-1000-rss-raschka.md（Raschka RSS：《Building Reasoning Models from the Ground Up》11+ 小时代码视频） 已在 inference.md §4.2 逐字承接（含同一条 URL 与"⚠ 属课程/资源条目，无新 SOTA 数据"的限定）。本轮不构成增量，今晚不必再动。
inbox/tom/2026-10-25T0840-agent-rag-longcontext-radar.md（Agent Mosaic，arXiv:2610.30418，7.08% 泄漏率） 已在 inference.md §4.3 完整承接，本轮只换了一份同源笔记（key note-links:70e1be67…）。该论文同时是 rag.md / risk.md 的主锚，属跨主题已收条目。
organized/repo_cards/4572-recursive-oss-rec.md（rec） 卡面刷新为 191 ⭐ / 周增 +63 / Apache-2.0 / 最近提交 2026-10-23；活文档 §1.6 记的是 182 ⭐ / 周增 +77。仅计数变化，按既定规则不算新观点。
organized/repo_cards/236-raullenchai-rapid-mlx.md、4580-nvidia-flare-local-inference.md、4603-eagle-hq-eagle-4.md 三张卡的星数/周增/简介与活文档 §1.6 现有条目逐项一致（Rapid-MLX 4022/+55、flare 638/+88、EAGLE-4 957/+0）。零增量。⚠ Rapid-MLX 卡内中英两语基线不一致，见 §3 矛盾 ⑥。
organized/repo_cards/4538-lore-hex-token-exchange-neocloud-in-a-box.md 卡面 51 ⭐ / 周增 +0 / 最近提交 2026-10-25；活文档 §1.6 已记"本轮复查（非新观点）"、§5.6 主体条目已存在。零增量；§5.6 正文里的"52 ⭐"与卡的 51 ⭐ 不一致，见 §3 矛盾 ⑦。

3. 值得警惕的矛盾与待核实说法

① DeepInfer 的性能与单价数字不可引用（最高优先）：155 万亿 tokens/天、每卡每小时 38 美元属转述的官方口径，Jay 笔记明确写"本文自述不足以支撑其硬件构成，未包含源码级验证"。→ 今晚若要写 DeepInfer，只写架构与能力清单，不写任何吞吐/成本数字。

② DeepInfer 的推荐拓扑与库内已有拓扑数字不同源、不可并列：prefill 8 卡机 / decode 64–128 卡超节点是 DeepSeek 自家形态；库内 §3.2 有 vLLM PD Serving Qwen3.8-2.4T（GB300 NVL72，5K tok/s、TTFT 180ms），§5.1 有 llm-d v0.8 的 16×16 B200 P/D 拓扑 50k output tok/s。→ 三组数字的模型、拓扑、计量口径全不同，并列即误导，引用时必须各自带口径。

③ "batch-invariant inference 是原生能力"与 §1.3 已知代价存在张力（本轮最值得登记的一条）：活文档 §1.3 记录的是获得 batch invariance 的代价——SGLang 的 Deterministic Attention 平均吞吐降 34.35%；而 DeepInfer 的能力清单把 batch-invariant inference 与确定性采样并列为原生特性，未提任何代价。→ 两种可能：(a) DeepInfer 用不同机制（可能与 §1.2 的 "Fast Start" 无关）避免了该代价；(b) 只是能力清单未展开。当前无法判定，建议今晚在 §1.3 登记为待核实项，不要改写 §1.3 现有结论。

④ DeepInfer 自述"在线服务仍需外部 KV cache 管理与 P/D 解耦"，与库内 KV Cache 生态叙事方向一致，但要求外部组件这一点未点名。库内 §2.1 已把 KV Cache 定位为"存储/通信/调度原语"（LMCache、CMX、llm-d、Dynamo 都在建生态），而 DeepInfer 却不自带该能力。→ 与库内 §5.6 "模型可移植性/推理资产可迁移"趋势形成一个小张力：引擎开源了，缓存层却还在外部，这可能正是 §5 说法"引擎开源、经济性公开、生产机制留在内部"的技术形态。⚠ 该说法目前只有摘要级线索支撑（见下 ⑥），不可当结论写。

⑤ 待核查线索（同笔记，均只有搜索摘要、无正文）：SSD 承载 LLM 推理（Expert Pack / SSD-LLaMA 对比，含 DeepSeek-V4-Flash / Kimi-K3 消费级可跑性说法）；DeepInfer 源码级拆解（与 vLLM/SGLang 对比）；"DeepSeek 开源了推理引擎但保留缓存机制"；local-inference-lab/blackwell-llm-docker（SM120 / CUDA 13.2 的 SGLang+vLLM 镜像，涉及 r29/r33 包改名、压缩 MLA 校验器容量契约由固定 256 改为 384/512 行、TP8 自动 owner reduction、TP2/TP4 远端 push 需显式开启、K6 小 M dispatch 的 SM120 能力门控）；asianscholar（与 AI 技术关联弱，建议直接丢弃）。→ 这 5 条一条都不作今晚增量，仅列待核查清单。

⑥ aisimulate 校验器不检查 GPU 容量/端点就绪/性能 → "部署包生成成功"与"能跑起来"之间存在缺口。这条对库内所有"厂商自述基准"是通用提醒：产物/配置生成成功不构成性能证据，与 §5.1 llm-d v1.0 的 TTFT -85% / 2.4× 自述数字属同一纪律区间。

⑦ Rapid-MLX 卡片中英两语基线不一致（数据质量）：英文简介写 "Up to 4× faster than Apple's MLX (mlx-lm) on the same weights"，中文简介写"比 Ollama 快 4.2 倍"——两个基线不同（mlx-lm vs Ollama），且 §1.6 只写了"比 mlx-lm 最高 4×"。→ 引用时必须标基线，不得把"4× vs mlx-lm"与"4.2× vs Ollama"混用。

⑧ Lore-Hex 星数不一致：§5.6 正文写 52 ⭐，repo_card 采集为 51 ⭐（§1.6 已用 51）。→ 属采集漂移，建议 E2 统一口径，本轮不改活文档。

4. paper_cards 近 3 天新卡主题抽查（非清单材料，候选级）

按原任务口径在 organized/paper_cards/ 近 3 天新卡中做主题相关抽查。绝大多数近期卡是 2015–2023 年的经典基座（BigBird / PaLM / Skip-Thought 等）被重新采集，被引数变动不算新观点。经与 inference.md 全文比对，以下两条在 inference 侧尚无锚点，列为候选，需 E2 读原文后再决定是否入档：

  • arXiv:2602.10238 · KV Policy (KVP)（卡：organized/paper_cards/147-2602-10238.md）：仅用 K/V 向量、在预计算生成轨迹上训练轻量 per-head RL agent，学习预测未来 token 的效用，做自适应 KV cache 管理。→ 与 §2.4「三级驱逐策略体系」直接相关（现有为 block 级 / 请求级 / agentic TTL 级；KVP 是"用 RL 学出每头效用"的第四条路线）。⚠ 卡片自身有数据矛盾：TLDR 说的是 KVP 这一 method，而卡内"可复用信息"块描述的却是一篇"系统性梳理 KV cache 问题的必读综述"（标签含 survey、来源写 arXiv:2602.10238v1），两块内容明显不同源，属模板串档/信息错配（同 flyp 在 2602.05073 卡上发现的问题同类）。在读原文之前不得引用任何具体结论或数据；该编号已在 llm-application.md 与 risk.md 的 arXiv 锚点列表中，只缺 inference 侧。
  • arXiv:2607.09786 · Length Penalties Make Chain-of-Thought Less Monitorable（卡：organized/paper_cards/413-2607-09786.md）：对推理模型施加长度惩罚以抑制过度思考、降低推理成本，但代价是思维链的可监控性下降（监控所依赖的证据被移除）。→ 与 inference 的成本轴相关，主体更偏 evaluation/risk（该编号已在 risk.md 锚点中）。证据极薄：仅 TLDR 一句，S2 被引 1，无 venue、无实验数字、无代码信息。→ 建议只作跨主题注（推理成本优化的可监控性代价），不升 inference 独立条目。

5. 可引用的 arXiv 号列表

本批清单材料内出现的全部 arXiv 号（1 条）：

标识 标题 状态
arXiv:2610.30418 Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems 已收于 inference.md §4.3（本轮不新增）

paper_cards 抽查候选（2 条，均为候选级，未入档）：arXiv:2602.10238（KVP）· arXiv:2607.09786（Length Penalties / CoT Monitorability）

本批净增 arXiv 锚点：0 条。 增量 ①② 均为工程/开源动态材料，不含 arXiv 编号。

6. 今晚给 inference 活文档的最小动作建议

  1. §1.1 加一条 DeepInfer（架构三段解耦 + 能力清单 + 昇腾/CUDA 环境），不写任何吞吐与成本数字。
  2. §5.1 或 §5.3 加一条 aisimulate / Slurm 部署生成器（含"校验器不查 GPU 容量/端点就绪/性能"的边界句）。
  3. §3.2 补一句 DeepInfer 的 P/D 拓扑配方，并注明与库内其他拓扑数字不同源、不可并列。
  4. §1.3 末尾加一句"生成期响亮失败 vs 运行期静默降级"的方法论对照；并把"DeepInfer 声称原生 batch-invariant inference 但未提代价"登记为待核实（不改写 §1.3 现有结论）。
  5. §6.1 开放问题可加 2 条：KVP 卡片串档待读原文（优先级低于 P0 项）、Rapid-MLX / Lore-Hex 的采集口径不一致。
  6. 不要做：不动 §1.2 / §2.x 的骨架、不重写 §5.3 模型卡片段、不因"想补 arXiv 引用数"而回填任何未读原文的论文。

7. 检查过的来源清单（供复核）

清单材料（8 件，全读）：inbox/jay/2026-10-25T1335-blogs-discovery.md · inbox/jay/2026-10-25-1000-rss-raschka.md · inbox/tom/2026-10-25T0840-agent-rag-longcontext-radar.md · organized/repo_cards/4572-recursive-oss-rec.md · organized/repo_cards/4538-lore-hex-token-exchange-neocloud-in-a-box.md · organized/repo_cards/236-raullenchai-rapid-mlx.md · organized/repo_cards/4580-nvidia-flare-local-inference.md · organized/repo_cards/4603-eagle-hq-eagle-4.md

旧文件（只读，未改）：organized/knowledge/inference.md（549 行）· organized/knowledge/inference-changelog.md · organized/queue/work-queue.md（2026-10-25 22:00 版）· inbox/tom/2026-10-23-inference-e1prep.md · inbox/tom/2026-10-25-rag-e1prep.md · inbox/flyp/2026-10-25T1550-critical-read.md · inbox/spark/2026-10-25-agent-e1prep.md

paper_cards 抽查：organized/paper_cards/ 近 3 天 238 张卡中主题相关条目逐张比对（含 147-2602-10238、413-2607-09786、117-2603-15031、148-2602-19127、146-2603-07379、426-2607-10463、287-2606-20023、229-2606-28733、1695-2610-02076、1740-2610.11959 等）。

边界遵守：只写本文件（inbox/tom/2026-10-25-inference-e1prep.md）一个文件，未改活文档、清单、基线、认领记录、其他任务文件与定时配置；未 git；未输出密钥；未联网补料；未全库扫描；未为凑字数多轮重写。