inference · E1 预消化简报(2026-09-11)

状态摘要

  • 增量条数：3 条主增量 + 4 条待核/矛盾标记（低于 3-8 目标区间下限；今日 inference 主轴增量较稀薄，属正常知识库维护间隙期）
  • 性质：接力昨夜 9-10 22:20 棒（8 条主增量），本棒处于 v3.29 落定后 ~18h 净窗口期，inference 主轴增量来自 paper_card 新卡入库（CSDN/Substack 工程化内容均属已知脉络的具体化，未构成 NET-new 增量）
  • 涉及 arXiv 号：arXiv:2509.01809（Sparse Recovery，paper_card 1311 · NET-new）+ arXiv:2609.11412（X-AuT，52% 延迟降低 · NET-new）+ arXiv:2609.11294（Memory Compression for agents · NET-new · inference 邻接）+ arXiv:2609.11596（EBL-Core · 待核实）+ arXiv:2609.09264（StochBench · 待核实）

一、本棒检查过的来源清单

1.1 work-queue.md（2026-09-11 22:00 自动生成）

  • 选题榜未成视频脚本 2 件：2609.09264（StochBench）+ 2609.11596（EBL-Core）；均非 inference 主轴但邻接

1.2 inbox/tom 9-11 棒位

  • 2026-09-11-rag-e1prep.md（08:53 CST · RAG E1 预消化 · 0 件 inference 主轴纯增量）
  • 2026-09-11-evaluation-e1prep.md（15:45 CST · Evaluation E1 预消化 · 0 件 inference 主轴纯增量）
  • 2026-09-11-agent-rag-longcontext-radar.md（08:40 + 14:40 + 20:40 CST · 三棒 radar；Sparse Recovery 1311 已锚入 llm-infra 主轴；StochBench 高价值 #2 锚入 agent 主轴）
  • 2026-09-11-0900-hf-daily-2026-09-11.md（HF Daily 2026-09-11 Top15 无 inference 专属新条目）

1.3 inbox/spark 9-11 llm-infra e1prep（2026-09-11 18:40 CST）

  • 增量 1：paper_card 1311 arXiv:2509.01809 Sparse Recovery NET-new 主分类 llm-infra 入库
  • 增量 2：vLLM RDT 7.53s + IsoExec + InferenceBench + AMD Instinct（已锚 v3.29；无新增 arXiv）
  • 增量 3：jay 5 件 CSDN 工程化已锚 v3.29 §1.(1)
  • 增量 4：CSDN/Substack 7 件工程化首次锚入（Magnitude + mattpocock + nanochat + TurboQuant + Mercury 2 + AI Engineering Insider + CSDN 企业地端部署）
  • 增量 5：jay engineering e1prep 7 件（Redis RAG + 4-LLM Council + Meta-RAG + End of SE + Harness + Memory Survey）
  • 增量 6：全量沿用

1.4 inbox/jay 9-11 inference 相关工程文件

  • 2026-09-11-csdn-substack-inference-rag-highvalue.md（16:21 CST · 10 件高价值条目；CSDN 5 件（vLLM 昇腾适配 + Qwen3 FP8 bug + SGLang 日志 + PagedAttention CUDA Kernel + K8s GPU 调度）+ Substack 4 件（AI Agents Stack 2026 + TurboQuant + OWASP Agents 2026 + Mercury 2）· 均为已知脉络的具体工程化，无 NET-new arXiv）
  • 2026-09-11T1735-jay-evening-five-category-briefing.md（17:35 CST · GitHub Trending nanochat + Magnitude + mattpocock/skills；无 inference 新增）
  • 2026-09-11-daily-brief.md（21:13 CST · inference 邻接内容已在 jay 9-11 各棒覆盖）

1.5 inbox/stephen 9-11 llm-application e1prep（2026-09-11 21:15 CST）

  • KVShareArena（arXiv:2609.10266）续立；无 inference 主轴纯增量

1.6 inbox/flyp 9-11 multimodal + risk e1prep（2026-09-11 09:46 + 16:37 CST）

  • 无 inference 主轴纯增量

1.7 paper_cards 近 3 天 inference 相关新卡（Sep 9-11 入库）

编号 arXiv 标题 主分类 形态 与 inference 关系
1311 2509.01809 Sparse Recovery llm-infra method NET-new · 压缩方法学第六轴理论维度
1310 2609.08126 LLM Agent Scheming agent method 邻接（Agent safety/inference interface）
1315 2609.11294 Memory Compression for Agents agent method 邻接（Agent 并发沙盒内存压缩 → inference 邻接）
1317 2609.11412 X-AuT Speech LLM Compression multimodal method NET-new inference 相关 · 语音 LLM 编码器延迟降低 52%
1312 2609.06702 PARSER agent method 邻接
1313 2609.02771 Reweighting to Rewriting engineering method 邻接
1314 2609.11596 EBL-Core agent method 待核实 · 工作队列选题（2609.11596）
1318 2609.11808 Generative Late-Interaction Embeddings rag method 邻接（RAG 压缩）
1319 2609.10712 Nemotron IMO Gold engineering method 邻接（推理评测）
1321 2609.05903 EvoSafeHarness evaluation method 邻接
1309 2609.09264 StochBench agent benchmark 待核实 · 工作队列选题（2609.09264）

1.8 inference.md 活文档基线确认

  • inference.md v3.29（2026-09-11 04:00 升档）已覆盖：CUDA Python 1.0 + AMD MI300X vLLM PD Disaggregation + vLLM prefix cache 16-token 边界踩坑 + vLLM RDT + IsoExec + InferenceBench + LLM Serving 数学优化 + AMD Instinct 40 页
  • 沿用件套（v3.29 闭合级）= arXiv:2609.03430 + arXiv:2606.19746 + arXiv:2609.01316 + arXiv:2609.01777 + arXiv:2606.17104 + arXiv:2607.02574 + arXiv:2604.25724 + arXiv:2603.16104 + arXiv:2506.21901 + arXiv:2508.08438 + arXiv:2609.06008 + arXiv:2609.07139 + arXiv:2609.04971

二、增量条目（3 条主增量：1 件 NET-new paper_card 主分类 llm-infra 入库 + 1 件 NET-new inference 相关 paper_card + 1 件 inference 邻接新卡）

增量 ① Sparse Recovery（arXiv:2509.01809 · paper_card 1311）：稀疏测量稀疏恢复的代价上界 → 压缩方法学第六轴理论维度补强

  • 来源：arXiv 2509.01809 + paper_card 1311（2026-09-11 15:00 入库 · 主分类 llm-infra · 形态 method）+ spark 9-11 18:40 llm-infra e1prep §增量 1 + Tom 9-11 0840 radar 高价值条目
  • 要点：稀疏二进制信号（sparse binary signal）从含噪线性测量中支持精确恢复的充分条件。核心发现：信息论阈值阶 = s·log(p/s) / log(dₛ/p)（s = 信号稀疏度，p = 测量数，dₛ = 稀疏测量维度）。"使稀疏测量的代价显式化"——测量矩阵越稀疏（dₛ 越小），所需测量数 p 越多；反之亦然。为 KV cache 压缩策略选择提供理论基础：选择哪些 KV 条目丢弃（sparsify）与保留（compress）之间的 tradeoff 可用信息论阈值精确刻画。
  • 与活文档现有脉络的关系：与 inference.md §1.(12) 压缩与编解码子轴沿用脉络形成"压缩方法学六轴" = ① GEAR（量化+低秩+稀疏）② TurboQuant（PolarQuant+QJL）③ KVTC（20× NVIDIA）④ BeaconKV（长思维链 beacon）⑤ Cadence（时序基础模型+误差界）⑥ Sparse Recovery（测量代价理论维度）。Sparse Recovery 为第六轴补充分布式测量信息论下界——使压缩策略选择从经验性判断进入可证明最优区间。
  • 建议归入节：§1.(12) 压缩与编解码子轴（Cadence v3.29 闭合预备级 → Sparse Recovery 补第六轴）+ §1.(3) KV Cache 子轴（测量代价理论 → KV 条目保留/淘汰决策依据）
  • arXiv 号清单：arXiv:2509.01809 = 1 件 NET-new paper_card 主分类 llm-infra 入库
  • 可信度：高（arXiv 预印本 · 信息论阈值阶明确 · 高 SNR 极限下充分条件 · 与已知下界结果结合提供完整上界-下界匹配）

增量 ② X-AuT（arXiv:2609.11412）：语音 LLM 编码器渐进压缩 → 推理延迟降低 52.1%

  • 来源：arXiv 2609.11412 + paper_card 1317（2026-09-11 入库 · 主分类 multimodal · 邻接 inference）+ spark 9-11 18:40 llm-infra e1prep §1.7 邻接级
  • 要点：语音 LLM（Spoken Dialogue Model）推理成本中音频编码器深度是主要瓶颈。直接删除完整 block 会扰乱 decoder 消费的 embedding，导致删除错误和 EOS 提前。X-AuT 框架：① 短行为探针（short behavioral probes）选择层组合；② 表征对齐 + 跨尺度蒸馏 + 调度式 student-policy 监督 + LoRA finetuning 恢复剪枝后模型；③ 语言模型 backbone 冻结，attention LoRA adapters 和 tied output embedding 自适应调整。关键数据：单帧 prefill 延迟降低 52.1%，10 秒端到端延迟降低 11.9%，WavLead 等 benchmark 精度保持。
  • 与活文档现有脉络的关系：与 inference.md §1.(4) 量化子轴邻接（两者都属于模型压缩→推理加速的技术路径）；与 §1.(12) 压缩与编解码子轴邻接（X-AuT 是结构化压缩，区别于 KV cache 压缩）。对语音 Agent / 多模态 Agent 的推理延迟优化有直接工程价值。
  • 建议归入节：§1.(4) 量化与压缩子轴（X-AuT 结构化压缩 → 推理延迟降低 52.1% NET-new）+ §1.(12) 压缩与编解码子轴（跨尺度蒸馏方法学邻接）
  • arXiv 号清单：arXiv:2609.11412 = 1 件 NET-new paper_card 邻接级 inference
  • 可信度：高（arXiv 预印本 · 具体数字来自 paper_card 1317 建卡记录 · 方法论完整）

增量 ③ Memory Compression for Agents（arXiv:2609.11294 · paper_card 1315）：高并发 Agent 沙盒内存压缩 → inference 邻接

  • 来源：arXiv 2609.11294 + paper_card 1315（2026-09-11 入库 · 主分类 agent · 邻接 inference）+ spark 9-11 18:40 llm-infra e1prep §1.7 邻接级
  • 要点：高扇出 Agent 工作负载（single task spawns many concurrent sandbox sessions）造成严重内存瓶颈。传统内存压缩方法未针对"非完全相同但相似的 sandbox pages 跨实例相似性"设计——三类 fundamental mismatch：① 如何压缩（无法利用非完全相同 page 之间的相似性）；② 压缩什么（通过保守 page 保留控制 page-fault 开销，效率低）；③ 何时压缩（时机选择不当导致压缩收益被延迟抵消）。Paper 提出专门针对 agentic sandbox 内存压缩的方法。与 inference 的关系：Agent 工作负载中每个 sandbox 实例都调用 LLM 做推理，LLM 推理的 KV cache 内存占用是 sandbox 并发的核心瓶颈——内存压缩直接影响可并发的 inference 请求数。
  • 与活文档现有脉络的关系：与 inference.md §1.(3) KV Cache 子轴邻接（Agent 场景下 KV cache 共享率低的实测数据 → arXiv:2603.16104）；与 §3.5 KV Cache 安全新维度邻接（sandbox 隔离的内存安全问题）；与 inference.md §2.3 投机解码邻接（Agent 多步推理中每步都触发 decode，内存压力倍增）。
  • 建议归入节：§1.(3) KV Cache 子轴（Agent 场景并发内存压力 → inference 邻接）+ §3.5 KV Cache 安全（sandbox 隔离邻接）
  • arXiv 号清单：arXiv:2609.11294 = 1 件 NET-new paper_card 邻接级 inference
  • 可信度：高（arXiv 预印本 · 具体技术问题描述清晰 · 工程导向）

三、待核实条目（4 条）

待核实 ① Mercury 2 benchmark 数据来源单一

  • 问题：Inception Labs 发布的 Mercury 2（扩散推理语言模型）"延迟比 Claude 4.5 Haiku 快 3 倍、成本一半"数据来自厂商自测，未经独立核实。Inception Labs 是高度融资的 stealth startup，存在宣传动机偏差。
  • 建议动作：查找第三方评测（非 Inception Labs）确认 Mercury 2 性能数字；如无第三方数据，引用时加注"内部 benchmark，待核实"
  • 来源：jay 9-11 16:21 csdn-substack-inference-rag-highvalue §条目 10 + spark 9-11 llm-infra e1prep §增量 4

待核实 ② TurboQuant 原论文溯源

  • 问题：TurboQuant（KV-Cache 6× 压缩 H100 8× 推理加速）来源为 AIxFunda Substack（March Week 4 2026），报告称来自"Google DeepMind"。原论文溯源未完成（⚠ 需找 arXiv 链接确认精度数据）。
  • 建议动作：溯源 TurboQuant 原论文 arXiv 号（polarquant + QJL 相关搜索）；确认是否确为 Google DeepMind 发布
  • 来源：jay 9-11 16:21 csdn-substack-inference-rag-highvalue §条目 8 + spark 9-11 llm-infra e1prep §增量 4

待核实 ③ BeaconKV 与 LRM 的兼容性问题未充分传播

  • 问题：Jay 9-11 11:20 engineering e1prep 指出 BeaconKV 对"大型推理模型（LRM）特有的 Thought Revisiting Tokens（TRT）模式"不兼容。inference.md §3.3 中 BeaconKV 条目（来源：HF Daily 32票）未标注此限制，导致该信息在传播链中可能丢失。
  • 建议动作：在 inference.md §3.3 BeaconKV 条目补注"⚠ 对 LRM TRT 模式不兼容；对非 LRM 普通 LLM 长上下文压缩仍有参考价值"
  • 来源：jay 9-11 11:20 engineering e1prep §矛盾 + stephen 9-11 12:45 协调棒

待核实 ④ 工作队列选题 2609.11596（EBL-Core）和 2609.09264（StochBench）inference 关联度待评估

  • 问题：work-queue 显示 2609.11596（EBL-Core = Execution-Boundary Conformance Profile for High-Risk AI Actions）和 2609.09264（StochBench = Domain-Specific Benchmark for Stochastic Processes in Lean）为选题榜未成视频脚本，均非 inference 主轴。
  • EBL-Core（2609.11596）：涉及 AI Agent 执行安全边界，与 inference 关联点在于"LLM inference 输出作为外部执行触发器"的安全边界设计；paper_card 1314 入库，主分类 agent。
  • StochBench（2609.09264）：Lean 证明辅助 benchmark，与 inference 关联度极低（仅 LLM 作为证明器时的推理效率）。
  • 建议动作：如今晚活文档涉及 Agent 安全边界或推理评测，可优先纳入；否则维持 agent 主轴处理。

四、本棒检查过的来源完整清单

work-queue.md（2026-09-11 22:00）
inference.md（v3.29，2026-09-11 04:00 升档）
inbox/tom/2026-09-10-inference-e1prep.md（昨夜基准）
inbox/tom/2026-09-11-rag-e1prep.md
inbox/tom/2026-09-11-evaluation-e1prep.md
inbox/tom/2026-09-11-agent-rag-longcontext-radar.md（三棒：08:40/14:40/20:40）
inbox/tom/2026-09-11-0900-hf-daily-2026-09-11.md
inbox/spark/2026-09-11-llm-infra-e1prep.md（18:40 CST）
inbox/spark/2026-09-11-agent-e1prep.md
inbox/jay/2026-09-11-csdn-substack-inference-rag-highvalue.md（16:21 CST）
inbox/jay/2026-09-11-daily-brief.md（21:13 CST）
inbox/jay/2026-09-11T1735-jay-evening-five-category-briefing.md
inbox/jay/2026-09-11T1450-jay-engineering-filter.md
inbox/jay/2026-09-11T1950-jay-evening-engineering-filter.md
inbox/stephen/2026-09-11-llm-application-e1prep.md（21:15 CST）
inbox/flyp/2026-09-11-multimodal-e1prep.md
inbox/flyp/2026-09-11-risk-e1prep.md
paper_cards/ 9 月 9-11 日入库卡：1309/1310/1311/1312/1313/1314/1315/1316/1317/1318/1319/1320/1321（共 13 张）

五、本棒涉及 arXiv 号汇总

arXiv 号 名称 性质 状态
arXiv:2509.01809 Sparse Recovery NET-new paper_card 1311 主分类 llm-infra 建议锚入 §1.(12)
arXiv:2609.11412 X-AuT Speech LLM Compression NET-new paper_card 1317 邻接 inference 建议锚入 §1.(4)
arXiv:2609.11294 Memory Compression for Agents NET-new paper_card 1315 邻接 inference 建议锚入 §1.(3)
arXiv:2609.11596 EBL-Core 待核实 · 工作队列选题 评估 inference 关联度
arXiv:2609.09264 StochBench 待核实 · 工作队列选题 评估 inference 关联度

六、给今晚活文档接力的建议

今晚 inference 活文档（knowledge/inference.md）接力方向建议：

  1. §1.(12) 压缩与编解码子轴 补入 Sparse Recovery（arXiv:2509.01809）→ 形成六轴：Cadence + GEAR + TurboQuant + KVTC + BeaconKV + Sparse Recovery
  2. §1.(4) 量化子轴 补入 X-AuT（arXiv:2609.11412）→ 52% prefill 延迟降低，语音 Agent 场景受益
  3. §1.(3) KV Cache 子轴 邻接 Memory Compression for Agents（arXiv:2609.11294）→ Agent 并发场景内存压力
  4. §3.3 BeaconKV 条目 补注 TRT 不兼容限制
  5. 待核项目：Mercury 2 + TurboQuant 原论文溯源 → 建立 P0 待核标记