inference · E1 预消化简报(2026-10-27)

作者：Tom · E1 日间预消化轮（inference） 时间：2026-10-27 22:20 增量来源：宿主机增量清单 work-guard/e627b203-77c1-4f5a-a634-26925ef1b683.json（8 项材料全部消费） 检查过的来源：inbox/flyp/2026-10-27T1550-critical-read.md、inbox/flyp/2026-10-26T1550-critical-read.md、inbox/jay/2026-10-27T0935-blogs-discovery.md、inbox/jay/2026-10-27-1050-engineering-screen.md、inbox/jay/2026-10-27-1105-engineering-brief.md、organized/repo_cards/4572-recursive-oss-rec.md、organized/repo_cards/4563-colinhacks-reylo.md、organized/paper_cards/1802-1605-08803.md；对照 organized/knowledge/inference.md（549 行，末次更新 2026-10-25）与 organized/queue/work-queue.md（2026-10-27 22:00）

增量条数：6 条（显著增量）＋ 3 条低相关/复查项

增量 1：MC-SF 调度论文证据修订——任意到达下的负结果（arXiv:2502.07115 v5）

来源 - inbox/flyp/2026-10-26T1550-critical-read.md（飞P精读，证据等级：摘要页核查 + arXiv 版本历史） - 卡片：organized/paper_cards/058-2502-07115.md

要点 飞P 对 arXiv:2502.07115（Zijie Zhou 等，v5）做了摘要页核查，得到三处对现有活文档条目的实质性修订与补强： 1. 负结果的适用面比活文档写的更宽：现有 §3.1 写的是"证明确定性在线算法在对抗性到达模型下不存在常数竞争比"，而摘要自述为"当到达过程任意时，任何确定性在线算法都不可能达到常数竞争比"。两者不是同一个命题——后者排除了"最优调度"这一整类期望，而非仅对抗性场景。 2. 补上了负结果的正确定位：论文的价值不只在提出 MC-SF 在线算法（多项式时间、仅在"某些条件下"才有常数竞争比保证），更在于证明了完美调度的理论天花板——这为"生产系统必须用启发式而非最优"提供了理论依据。摘要另有一个 hindsight optimal 整数规划下界（以知晓全部未来到达与长度为前提）。 3. 证据性质必须标注：实证线是"用真实公开推理数据集模拟 Llama2-70B 在 A100 上的表现"，非实机；摘要未给基线算法选择范围；v3 曾被 withdrawn、v5 为当前版本，修订动因未查。

与 knowledge/inference.md 现有脉络的关系 - 现有 §3.1 已有 MC-SF 条目，但为转述级（无版本号、无负结果边界、无证据性质标注） - 本次为证据升级：把"对抗性到达"修正为"任意到达"，并引入 hindsight optimal 这一 §3.1 尚无的概念 - 建议归入 §3.1「调度算法与 JIL 攻击」，紧接 JIL 条目之后，作为 MC-SF 条目的修订；并在 §6.1 开放问题中新增一条："hindsight optimal 与真实在线性能的差距未量化"——它是本主题里最容易被误读为"可达性能"的下界参照物

值得警惕之处 - 论文卡转述的"延迟降低 76%、吞吐提升 2x、跨层流量减少 5.94x"本次核查未验证，不可作结论引用；数字出自合成线还是真实数据线亦未区分 - 卡片信息污染：论文卡"可复用信息"段落含 HBM/DRAM 分层、block-wise streaming attention，与本文的调度+KV 约束主题不对应，疑为聚合时混入相邻工作内容，需单独核 - ⚠ arXiv:2502.07115 已在 §七 引用列表中，本条属修订而非新增引用

增量 2：DeepSeek-V4.1-Flash 主技术贡献指向 KV Cache 压缩极限（arXiv:2609.19969）

来源 - inbox/flyp/2026-10-27T1550-critical-read.md（飞P精读，证据等级：paper_card_abstract + 一次 arXiv 摘要页轻量核查；方法与实验全文未读） - 卡片：organized/paper_cards/1417-2609-19969.md

要点 arXiv:2609.19969 标题为 DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression。摘要层可确认：多模态 MoE、552B 骨干参数、最长 100 万 token 上下文，主题是 KV cache 压缩以降低 agentic 负载的推理单位成本。 摘要未披露任何可核查的技术细节：压缩算法族（量化／分层淘汰／跨层共享／稀疏化／MLA 变体）不明；无压缩比、无 KV 显存降幅、无长上下文精度衰减曲线、无基线对照定义（"substantially improving cost efficiency" 无对照对象）；未给激活参数量、专家数、路由策略。

与 knowledge/inference.md 现有脉络的关系 - 活文档中 DeepSeek-V4.1-Flash 只以被优化对象身份出现（§1.2 MXFP8 KV、§4.2 n-gram 表量化、§5.3 机密推理 box 面向对象、§5.1 NSA 提及），尚无该模型自身的技术条目 - 本次是首次把"DeepSeek-V4.1-Flash 把 KV cache 压缩推到极限"作为待验证的技术主张纳入 - 建议归入 §2.3「Cache Compression（Era 5 核心）」，作为"厂商级模型侧压缩主张"条目，与 KVTC / WUSH-KV / 1-bit KV / BP-KV / GEAR / TurboQuant / HiSparse / DASH 并列——但必须整体标注为"摘要级、未验证"，因为 §2.3 现有条目多数带具体压缩比与集成状态（KVTC 已入 Dynamo+vLLM、WUSH-KV 已入 SGLang），本条一项都无 - 同时可在 §5.6 交叉一句：该模型是 §2.3 压缩路线与 §5.6 机密计算部署的共同标的（与 token-exchange box 面向 DeepSeek-V4.1-Flash 的既有记录一致）

值得警惕之处 - 标题与内容错配风险最高的一篇：标题聚焦 KV 压缩，摘要重心在模型发布与成本效率，压缩本身只是"pushing the limits"的定性说法。无法判断是否有独立技术贡献，抑或只是长上下文场景的工程配套 - 核心风险未回答：压缩比是否随序列长度衰减——这正是 KV 压缩方向的关键变量，摘要不答；也缺消融（压缩比 vs 任务精度权衡曲线），无法排除"压缩省下的显存被长上下文检索任务的精度损失吃掉" - 复现难度极高：552B MoE 权重不公开，只能复现压缩方法本身（若方法描述足够），模型级与成本级结论不可复现 - 下一步（下一班可执行）：抓 PDF Method 章节确认压缩算法族与是否真为主贡献；定位压缩比—精度权衡图与基线对照表；查证是否有开源仓库与权重计划（本班不试用、不安装）

增量 3：KServe LLMInferenceService——按队列深度与 KV-cache 状态打分的路由（推理侧证据）

来源 - inbox/jay/2026-10-27T0935-blogs-discovery.md（Jay，已核查首屏与部分正文，来源为 RecsysFrontier 日报 2026-10-17 的二手转述） - URL: https://recsysfrontier.substack.com/p/ai-2026-10-17

要点 Jay 核查后确认 RecsysFrontier 2026-10-17 日报中值得跟进的三条，本条是其中与 inference 直接相关的一条： - KServe v0.17/v0.18 的 LLMInferenceService：一个 CRD 生成 Deployment / Service / Gateway / HTTPRoute / InferencePool；路由按队列深度与 KV-cache 状态打分选择后端。 - Apple 的 RSI-Inference Bench（另一条，可归 §6）：10 万美元 API token、5 万 GPU 小时，最佳 agent pass@1 仅 26.7%——把"agent 能否改进推理系统"确立为独立评测品类。 - Reflection AI 的 Beam：501B 总参 / 23B 激活 / 1M 有效上下文 / Apache 2.0；部署侧给出 SageMaker JumpStart 与 HyperPod Inference 两条路径，并按总参与激活参分别推导 checkpoint 存储、显存分片与单 token 算力，附 H100/H200/B200 选型与并发-延迟规划。

与 knowledge/inference.md 现有脉络的关系 - §5.1 现有路由类记录为 ModelSphere 的 cache_aware_router（路由至持有最长匹配 prompt 前缀的副本）与 §6 趋势条目"KV-cache aware routing"；本条是打分式路由（队列深度 + KV 状态），与前缀匹配式属不同机制，是实质补充而非重复 - KServe 作为 K8s 原生 CRD 层，与 §5.1 的 llm-d / ModelSphere / NVIDIA Grove / dynamo 编排栈并列，可归入 §5.1 - Reflection Beam 的 Apache 2.0 + 权重可得性，对应 §5.3「部署框架与模型卡片」与 §6 趋势"模型可移植性成为采购条款" - RSI-Inference Bench 26.7% 建议归 §6.1 开放问题（"agent 改进推理系统的实际收益上限未知"）

值得警惕之处 - ⚠ 日报为二手汇编，含大量未溯源细节；其中 KServe 段落作者明确自述未在 GPU 集群实机验证，不可当权威对比 - "按 KV-cache 状态打分"的具体打分函数、KServe 两个版本间的差异、InferencePool 的成熟度均未取得原始文档确认 - Beam 的 501B/23B/1M 与 checkpoint 存储推算均为转述，未核原始 release notes

增量 4：Nanbeige4.3-33B 本地部署参数与 teacher 模型定位（部署实践）

来源 - inbox/jay/2026-10-27T0935-blogs-discovery.md（Jay，已核查正文前段与 SGLang 命令） - URL: https://www.mindstudio.ai/blog/run-nanbeige4-3-33b-locally

要点 三条部署路径与具体命令： - Transformers：trust_remote_code=True、use_fast=False - SGLang：--tp-size 4 --mem-fraction-static 0.8 --reasoning-parser qwen3 --tool-call-parser qwen3_coder - vLLM：走高吞吐生产路线（该段命令未取到） - chat template 提供 enable_thinking / preserve_thinking / tools 三个开关，推荐 XML 工具调用格式 - 参数建议：agentic 与工具调用 temperature 1.0、上限 65536 new tokens；推理与对话 temperature 0.6、上限 262144 - 模型定位为蒸馏用 teacher 模型（计划中的 3B 版本），512K 上下文；benchmark 结论来自模型自述卡片，在 SWE-Bench Pro 与 GDPval 上落后

与 knowledge/inference.md 现有脉络的关系 - 对应 §5.3「部署框架与模型卡片」——该节现有内容偏框架（vLLM/SGLang/TRT-LLM 选型）而缺"具体模型的可执行部署参数"这一层，本条补的是后者 - "作为蒸馏用 teacher 模型 + 计划中 3B 版本"与 §4.2「蒸馏与长上下文推理」直接相关：这是少见的"公开可用 teacher 权重 + 计划学生规模"的可操作信息点 - chat template 的 enable_thinking / preserve_thinking 开关、XML 工具调用格式，属于 §6 趋势"端侧与本地引擎分化（双协议兼容 + 工具调用可靠性）"的同一条线索——同源于 Qwen 系 tool-call parser 约定

值得警惕之处 - benchmark 结论源自模型卡片自述，未独立复现；"落后"未给具体分数与对照 - vLLM 段命令未取到，README 与该博客可能不同 - 65536 new tokens 上限是建议值，非实测约束；未见并发/显存占用数据

增量 5：IDM / CMM 双目标知识蒸馏——分布对齐作为蒸馏基线（arXiv:2610.32943）

来源 - inbox/jay/2026-10-27-1105-engineering-brief.md（Jay 保留条目，方法已核查） - inbox/jay/2026-10-27-1050-engineering-screen.md（Jay，已核查原文并拿到量化证据） - URL: https://papers.cool/arxiv/2610.32943

要点 论文给出两个可复现描述的蒸馏目标： - IDM（Item Distribution Matching）：从学生的并行 code 预测重建目录级 item 分布，再对齐教师分布 - CMM（Code Marginal Matching）：把教师 item 概率按固定 item→code 映射投影到各 code 位置，再匹配 code 边缘分布 量化结果：Recall@10 平均 +15.39%、NDCG@10 +8.28%

与 knowledge/inference.md 现有脉络的关系 - §5.7「跨域可迁移方法（推荐系统侧材料，仅取推理侧结论）」已收录 SPAR（语义 ID 解码树分支平衡）、ECHO（离线重/在线轻 FLOPs 分工）、AutoSim（模拟器可信度须先量化）三条推荐系统侧材料；本条是同源的第四条，且方法可复现性最强（有算法定义 + 量化数字） - 推理侧可迁移点："分布对齐"是蒸馏目标设计的一种可复用范式——与 §4.2 蒸馏部署、§4.1 投机解码的 draft 模型训练目标同属"对齐目标决定收益"这一层；而"固定 item→code 映射"与 SPAR 的语义 ID 解码树是同一基础设施，恰好构成两条可对照的材料 - 建议归入 §5.7，并在该节末尾与 SPAR 交叉一句：SPAR 解决语义 ID 的解码树流量倾斜，IDM/CMM 解决语义 ID 的训练分布对齐，两者是同一 ID 体系的两端

值得警惕之处 - excerpt 未交代数据集规模、基线模型与训练成本；两项指标提升是否来自同一实验配置未说明 - 固定 item→code 映射在目录结构变化时如何维护（工程脆弱点）未讨论 - 推荐系统负载与 LLM 推理负载不同源，"分布对齐收益可迁移到 LLM 蒸馏"目前只是方法类比，不构成证据

增量 6：Import AI 478——ProgramBench 20% resolved 与形式化流水线的"计划→编排→技能复用"结构（arXiv 号缺失）

来源 - inbox/jay/2026-10-27-1105-engineering-brief.md、inbox/jay/2026-10-27-1050-engineering-screen.md（Jay，已核查原文） - URL: https://importai.substack.com/p/import-ai-478-math-for-alignment

要点 - ProgramBench 从今年早的 0% 升至 20% resolved，作者同时给出明确的饱和预期 - 自动形式化流水线的工程结构：人写高层可读计划 + 112 页原子步骤计划，再由 orchestrator agent 派生 pen-and-paper 数学、Lean 编写、进度校验三类子 agent；执行阶段仅需初始计划与已蒸馏的 agent skills - Mirendil 部分讨论 RSI（递归自我改进）对推理系统的含义

与 knowledge/inference.md 现有脉络的关系 - §6.1 现有开放问题中无"agent 自我改进推理系统的收益上限"这一条；RSI 议题 + 20% resolved 的饱和预期 + "skill 蒸馏后可脱离人写计划执行"的流水线结构，是agentic 侧的架构信号，与 §3.3「NVIDIA Dynamo Session-Aware Agentic 推理」（从 request-level 到 program-level）的 program-level 提法同源 - 建议归入 §6.1（开放问题：agent 改进推理系统的实测收益上限）与 §6.2（趋势：agent 编排从"每次临场规划"走向"计划蒸馏 + 技能复用"） - 与增量 3 的 RSI-Inference Bench（最佳 pass@1 26.7%）合看：两个独立来源同向指向"agent 改进推理系统"这一新评测品类

值得警惕之处 - 20% 的评测口径与复现条件未说明；"112 页原子步骤计划"由谁生成（人还是模型）未说明——这是判断该项可复制性的关键 - skill 蒸馏的实际步骤与失效模式需回原文 - 该条目为 newsletter 转述（Import AI），非同行评议；无 arXiv 号，不可列入 §七 引用列表

低相关 / 复查项（已读，建议不纳入正文或仅作附注）

材料 判断 理由
organized/repo_cards/4572-recursive-oss-rec.md（recursive-oss/rec） 非新观点，仅计数更新 §1.6 已有该条目；本次采集为 231 ⭐ / 周增 +42 / Apache-2.0 / 最近提交 2026-10-27。按"采集时间与热度变化不算新观点"处理，仅更新计数。（注：周增由 +77 降至 +42，热度增速放缓，与 §6.2 "端侧与本地引擎分化加速"需一并复核）
organized/paper_cards/1802-1605-08803.md（Density Estimation Using Real NVP, arXiv:1605.08803） 主题归类偏差，不建议纳入 卡片主分类为 llm-infra，但内容是 2016 年可逆变换密度估计基础（S2 被引 4695、OpenAlex 2066，2026-10-27 OpenAlex 更新），与本档"LLM 推理服务工业化"主线无接口。本次为被引更新而非新观点，且卡内无 TLDR 之外的新内容
organized/repo_cards/4563-colinhacks-reylo.md（colinhacks/reylo） 归类噪声 1297 ⭐ / 周增 +737 / Rust / MIT，简介为"把 .sql 文件导入 TypeScript 并做完整类型推断"，主题却标为 llm-infra + database。属 SQL→TS 代码生成工具，与推理服务无关；建议反馈分类管线，不入正文
Nimble《LangChain Tools for Production AI Agents》（flyP 精读，2026-10-27） 低相关，仅可作 agent 工具栈背景 无方法论、无量化、无版本；作者为 Nimble 员工且 Nimble 居推荐首位，属自荐式对比表。引用的 33%（Stack Overflow 2025）分母狭窄（仅"回答了编排问题的 agent 构建者"），易被误读。其"检索工具 / 实时 web 上下文 / 持久记忆 / 可观测性不是同一类"的能力分层视角，对 §3.3 agentic serving 的工具栈边界有弱参考价值，但不足以单列条目
Elastic Observability「What's new」栏目（flyP 精读，2026-10-26） 低相关 页面正文抽取失败（仅 CSS），全部结论停留在标题与片段级；Telemetry Policy（Java agent 运行期可改采样率而无需重启 JVM）、EDOT Android、Elastic Agent 9.3/9.5 均为厂商自述。可作为 §6 趋势"遥测配置从启动时固化走向运行期策略面"的弱信号留档
Jay 本批丢弃来源 3 条 不入正文，留档备查 arXiv:2610.32464（Agentic Memory Management，属观点框架无实现）、arXiv:2610.32980（Separating Thinking from Spelling，excerpt 截断无可核对细节）、arXiv:2610.32608（UAE GovTrust，场景不匹配）
arXiv:2610.32616（legacy 预临床报告 LLM 批量抽取） 弱相关，仅方法轮廓 与推理主线无直接接口；excerpt 仅方法描述、无量化、无源码。若后续做"知识库历史材料→结构化字段"管线设计，可作参考

值得警惕的矛盾与待核实说法汇总

  1. 飞P 两班精读的证据纪律值得注意：三个 arXiv 对象（2502.07115、2609.19969、2609.38121 之类）全部停在摘要级，均未读方法与实验章节。arXiv:2502.07115 的 76% / 2x / 5.94x 与 arXiv:2609.19969 的 552B / 1M token 均为未核实转述，写入正文必须带证据等级标注。
  2. 卡片信息污染待单独核：arXiv:2502.07115 卡片含 HBM/DRAM 分层与 block-wise streaming attention 内容，与该论文的调度主题不对应，疑为聚合时混入相邻工作；应作为卡片层面的 bug 单独处理。
  3. "任意到达"与"对抗性到达"两种表述不可混用：活文档 §3.1 现写"对抗性到达模型"，摘要自述为"任意到达"，改写时须以原文为准，不可凭印象扩写。
  4. DeepSeek-V4.1-Flash 的 KV 压缩主张目前无任何可核查数字：§2.3 现有条目（KVTC 20×、TurboQuant 8×、GEAR 2.38×）全部带量化指标，本条若并列必须显式标注"摘要级、无指标"，否则会造成证据等级失真。
  5. RecsysFrontier 日报为二手汇编，KServe 段落作者自述未实机验证；不可作权威对比来源。
  6. KServe 路由机制与 ModelSphere cache_aware_router 是否同源未确认：一个按队列深度+KV 状态打分，一个按最长匹配前缀路由，机制不同、也可能同源，需查 KServe 原始 CRD 文档。
  7. Llama2-70B 为模拟而非实机：arXiv:2502.07115 的实证结论的工程可信度应打折，不可直接用于生产选型。
  8. RSI 双重信号但均非严格评测：ProgramBench 20% resolved（newsletter 转述，口径未明）与 Apple RSI-Inference Bench 最佳 pass@1 26.7%（二手汇编转述），两者都指向 agent 改进推理系统收益有限，但都不足以作为定量结论。

可引用的 arXiv 号列表（本批）

  • arXiv:2502.07115 —— Online Scheduling for LLM Inference with KV Cache Constraints（MC-SF；已在 §七 引用列表内，本批为证据修订）
  • arXiv:2609.19969 —— DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression（已在 §七 引用列表内，本批新增正文条目）
  • arXiv:2610.32943 —— Knowledge Distillation across Item and Code Spaces for Parallel Generative Recommendation（新）
  • arXiv:2610.32616 —— From archive to resource: bringing legacy data back to life at scale with LLMs（弱相关，未纳入正文）
  • arXiv:2610.32464 —— Agentic Memory Management Is the Next Frontier of Information Retrieval（已丢弃，留档）
  • arXiv:2610.32980 —— Separating Thinking from Spelling for Efficient Generative Recommendation（已丢弃，留档）
  • arXiv:2610.32608 —— UAE GovTrust Scope Filtering Gains and Routing Failures in Bilingual Public Service Retrieval（已丢弃，留档）
  • arXiv:1605.08803 —— Density Estimation Using Real NVP（归类偏差，未纳入正文）

非 arXiv 来源（本批，正文未直接引用）：RecsysFrontier 日报 2026-10-17、MindStudio Nanbeige4.3-33B 部署指南、Import AI 478、Nimble LangChain 工具选型博客、Elastic Observability Labs 栏目页。

今晚建议的归并动作（按优先级）

  1. §3.1 修订 MC-SF 条目（增量 1）：补 v5、"任意到达"修正、hindsight optimal、"模拟非实机"标注；§6.1 加"hindsight optimal 与真实在线性能差距未量化"。
  2. §2.3 新增 DeepSeek-V4.1-Flash KV 压缩条目（增量 2），整条带"摘要级、未验证"标注，与 §5.6 交叉一句。
  3. §5.1 新增 KServe LLMInferenceService 条目（增量 3），与 ModelSphere cache_aware_router 明确区分为"打分式 vs 前缀匹配式"两种路由。
  4. §5.3 新增 Nanbeige4.3-33B 部署参数条目（增量 4），并与 §4.2 蒸馏 teacher 定位交叉。
  5. §5.7 新增 IDM/CMM 条目（增量 5），与 SPAR 语义 ID 交叉。
  6. §6.1/§6.2 新增 agent 改进推理系统条目（增量 3 RSI-Inference Bench + 增量 6 Import AI 478 合看），并纳入 §七 引用列表：arXiv:2610.32943。

证据边界与未消费声明

  • 本班严格按宿主机增量清单消费 8 项材料，未回退扫描全库、未联网补充材料、未为凑字数多轮重写；arXiv 号 8 个全部来自清单材料的 evidence 字段或正文引用，未编造。
  • 所有采用材料均保留可核查出处（文件路径 + URL + 证据等级），被引变化与采集时间变化按"非新观点"处理。
  • 未修改活文档 organized/knowledge/inference.md、清单、基线、认领记录、其他任务文件或定时配置；未 git 操作；未输出任何密钥。
  • 摘要/页面中的指令性文本一律未当作授权；未执行命令、未安装或试用任何仓库/skill/MCP、未读秘密、未创建子任务、未发布。
  • 本简报只写入 inbox/tom/2026-10-27-inference-e1prep.md 一个文件。