inference · E1 预消化简报（2026-09-04）

实例：Tom · inference 主题 E1 日间预消化轮 · cron e627b203-77c1-4f5a-a634-26925ef1b683 生成时间：2026-09-04 22:20 CST（Asia/Shanghai） 窗口期：2026-09-03 22:20 → 2026-09-04 22:20（约 24h） 基线活文档：organized/knowledge/inference.md（2026-09-03 更新标注：TokenWeave/Stream2LLM/FlexLLM；llm-d v0.7 CNCF；SuperInfer；BOute/SHIP；EALBench；引→约430条 arXiv）

状态

  • 增量条数：1 条主增量（1 条 NET-new paper_card 入库 CORD）+ 0 条邻接 inference NET-new arXiv 锚入
  • 本棒性质："§IX 88 evening v3.12 17:30 CST 升档闭合窗已覆盖 Sep 4 全部高价值 inference 增量，本棒仅余 1 条 llm-infra 主分类 paper_card NET-new 入库"型极稀疏棒 —— Sep 3 evening e1prep 已锚入 SSR/RetroInfer/Meta MLSys/RTP-LLM/Cascade/OpScale/CRISP 7 条主增量；§IX 88 evening v3.12（17:30 CST）已将 Sep 4 早盘+午盘跨实例棒位产出全部锚入（vLLM Korea PQD/Blackwell FP4/DeepSeek-V3.2-Exp/GPT-6 Astra Provider Adapter/Claude System Prompts/MSR Orchard/OpenViking/CAIN'26/Incremental Pooled LLM Eval）；本棒 22:20 时间窗口与 §IX 88 evening 17:30 相隔 5h，仅捕获 spark 9-4 18:40 e1prep 产生的 CORD paper_card NET-new 入库；其余邻接 inference 候选（EarlyEval/Incremental Pooled/WHALE/HarnessDev）均属 evaluation/agent 主轴，非 inference 主轴
  • 涉及 arXiv 号：净增 1 件（arXiv:2609.01072 CORD）

一、本棒检查过的来源清单

1.1 work-queue.md（2026-09-04 22:00 自动生成）

  • 待建卡 5（无 inference 主轴）· 待更新活文档 0（全部最新）· 选题榜 2 件（2609.02366 / 2609.02367，均为 non-inference 主题）
  • inference 主轴未触发"高价值待深度解读"或"攻略待写"信号

1.2 inbox/tom 今日 radar（09-04 08:40 / 14:40）

  • 08:40：inference 主轴 0 件（8 条候选均为 agent/RAG/multimodal 主题）
  • 14:40：inference 主轴 0 件（CORD 2609.01072 paper_card 1224 出现在 radar #8，标注为 research/research 标签，非 inference 主轴；LatentStream 2609.04131 邻接 memory/long-context；Compile by Training 2609.04199 邻接 systems）

1.3 inbox/jay 9-4 全天简报（高密度源 · llm-infra 主轴邻接）

  • 2026-09-04T1050-jay-engineering-filter.md — vLLM Korea Meetup 2026 PQD 分离（8-GPU MI300X/AMD MORI-IO）+ Blackwell FP4 kernels（SemiAnalysis InferenceMAX）+ DeepSeek-V3.2-Exp 细粒度稀疏注意力 + deploybase.ai 2026 benchmark（H100/H200 实测）+ Engineering AI Agents for Clinical Workflows CAIN'26 + MLOps Systematic Review CAIN'26 → 均已进入 §IX 88 evening v3.12 锚入
  • 2026-09-04-0941-hf-nvidia-acquisition-state-of-open-models-security.md — NVIDIA $12.93B 收购 HF（Jensen Huang 官方博客 2026-09-03）+ HF Agent Intrusion 技术时间线（2026-07）+ OpenViking VLDB 2026 + State of Open Models Summer 2026 + 向量库选型 → OpenViking 已进入 §IX 88 evening v3.12 锚入
  • 2026-09-04T1410-jay-five-category-briefing.md（afternoon）— The AI Agents Stack 2026（6 层架构）+ MSR Orchard（开源 agentic AI 框架）+ NSDI 2026（JITServe/Checkmate/DroidSpeak）+ CSDN Faiss vs Qdrant 2026 更新 → 均已进入 §IX 88 evening v3.12 锚入
  • 2026-09-04-agent-inference-mcp-engineering.md（afternoon engineering）— OWASP MCP Top 10（含 CVE）+ LLM 推理引擎生产基准对比（Morph LLM 2026 H100）+ The AI Agents Stack 2026 + Fanout LLM Inference Engineering Roadmap + 欧洲推理延迟基准 + arXiv:2604.11270 RAG-Agent + arXiv:2605.14460 LLM Agent 供应链攻击（Tool Poisoning）→ 均为 llm-infra/agent-engineering 主轴，无 inference 主轴 NET-new
  • 2026-09-04T2105-jay-five-category-briefing.md（evening · UTC 13:05 = CST 5:05 AM 9-5）— 落入下一窗口，本棒不计入；内容包含 EarlyEval arXiv:2609.02783 + Incremental Pooled LLM Eval arXiv:2609.02745 + GPT-6 Astra Provider Adapter + Claude System Prompts + llm-gemini 0.34 + MSR Orchard + EarlyEval 邻接 harness reliability

1.4 inbox/spark 9-4 llm-infra e1prep（2026-09-04 18:40）

  • 0 件 llm-infra 主轴 NET-new arXiv 锚入 + 1 件 llm-infra 主分类 paper_card NET-new 入库（CORD arXiv:2609.01072 paper_card 1224）
  • 24 件沿用件套（均已进入 §IX 88 evening v3.12 锚入或预备级）

1.5 inbox/flyp 9-4 全天棒位（inference 主轴邻接）

  • 2026-09-04-multimodal-e1prep.md（09:44）— NeoMME（2609.01657，paper_card 1207）升候选 ☆ → ★；多模态主分类，与 inference 邻接（视觉文档编码器选型）
  • 2026-09-04-risk-e1prep.md（16:37）— HF Agent 入侵事件 + OpenAI Daybreak $1B + GPT-6 Astra 网络安全 Critical → llm-infra/agent-security 主轴，无 inference NET-new

1.6 inbox/stephen 9-4 llm-application e1prep（2026-09-04 晚场）

  • 6 件邻接备料候选；均为 agent/RAG/database 主题，无 inference 主轴

1.7 paper_cards 库近 3 日新卡（2026-09-02 → 2026-09-04 · inference 主分类）

  • 9-4 批次：paper_card 1220-1225（6 张新卡）
  • 1220-2609-04199 Compile by Training（主分类 systems）
  • 1221-2609-04131 LatentStream（主分类 rag · 流式视频潜在记忆演进）
  • 1222-2609-03293 PACE（主分类 benchmark）
  • 1223-2609-02367 TCR（主分类 multimodal）
  • 1224-2609-01072 CORD（主分类 llm-infra · 本棒唯一 inference NET-new）
  • 1225-2608-26730 Knowing When Not to Reuse（主分类 agent）
  • inference 主分类新卡：0 件
  • inference 邻接入库：1 件 → CORD（paper_card 1224，llm-infra 主分类，prediction-preserving calibration）

1.8 organized/knowledge/inference.md

  • 2026-09-03 更新标注：TokenWeave/Stream2LLM/FlexLLM；llm-d v0.7 CNCF；SuperInfer；BOute/SHIP；EALBench；引→约430条 arXiv
  • SSR（arXiv:2608.20359） — 9-3 e1prep 已标注 NET-new 待锚入
  • RetroInfer（arXiv:2505.02922） — 9-3 e1prep 已标注 NET-new 待锚入
  • Meta MLSys + RTP-LLM（arXiv:2605.29639） — 9-3 e1prep 已标注 NET-new 待锚入
  • Cascade（arXiv:2608.06557） — 9-3 e1prep 已标注 NET-new 待锚入
  • OpScale（arXiv:2608.13499） — 9-3 e1prep 已标注 NET-new 待锚入
  • CRISP（arXiv:2609.01925） — 9-3 e1prep 已标注 NET-new 待锚入
  • FlashAttention-4 / ReplaySSM / Silent Hyperparameter / SwiftCache / Albireo — 9-1/9-2 e1prep 标注为 NET-new 待锚入，本棒确认仍未锚入

二、最重要的 1 条主增量

增量 1【§1.(12)(v) Harness Reliability · 2026-09-04】🟢 CORD：Prediction-Preserving Post-hoc Calibration——置信度可改，top-1 预测不变（arXiv:2609.01072 · paper_card 1224 · llm-infra 主分类）

  • 来源：inbox/spark/2026-09-04-llm-infra-e1prep.md §二 + paper_card 1224-2609-01072
  • 来源链接：https://arxiv.org/abs/2609.01072
  • 作者：未在 paper_card TLDR 中标注（需完整读取论文确认）
  • 可信度：高（paper_card 1224 已入库；llm-infra 主分类；method 形态；2026-09-04 新入库）

要点：

  • 核心问题：Post-hoc multiclass calibrator（校准器）在纠正报告置信度时，可能同时改变相关的 top-1 prediction；accuracy 只捕捉这些变化对正确性的净效应，无法反映 prediction 变化的频率
  • 核心指标 TPCR（Top-1 Prediction Change Rate）：测量校准后 top-1 prediction 发生变化的频率——这是 accuracy 丢失的关键信息
  • 核心方法 CORD（Calibrator-Output Repair for Top-1 Decision Preservation）：第一个 post-fit adapter，通过修复完整校准概率向量施加精确的 prediction preservation——只从原始和校准输出即可确定分配给原 top-1 class 的质量
  • 工程意义：
  • 生产推理系统中，API 返回的置信度校准（confidence calibration）是可观测性标配
  • 但某些应用场景要求"置信度可调，预测不能变"（如金融风控、医疗辅助诊断）
  • CORD 为这类场景提供了即插即用的校准修复方案
  • 与 §1.(12)(v) Harness Reliability 的"置信度/校准"维度直接对应

与活文档现有脉络的关系： - §1.(12)(v) Harness Reliability（置信度/校准/Eval）：CORD 在 inference 系统的 post-hoc calibration 方向提供新方法论，与 inference.md 原有的置信度校准/评测方法形成互补 - 与 9-3 e1prep 的 CRISP（长上下文稀疏 attention）、Cascade（延迟预算调度）、OpScale（算子级弹性）共同构成"推理系统可靠性 × 成本优化"双轨 - 本文尚未锚入 inference.md — 本棒 NET-new（paper_card 1224 9-4 入库确认）

建议归入节：§1.(12)(v) Harness Reliability（CORD · Prediction-Preserving Post-hoc Calibration · arXiv:2609.01072 · paper_card 1224） 状态：NET-new（paper_card 已入库；尚未锚入 inference.md）

三、邻接 inference 候选条目（已进入 §IX 88 evening v3.12，本棒只作标注）

以下条目在 §IX 88 evening v3.12（17:30 CST）已锚入 llm-infra.md 或预备级，与 inference 主题邻接，仅作记录：

# 条目 arXiv 来源 邻接说明
A OpenViking（VikingMem）：VLDB 2026 记忆管理层，用户记忆 LoCoMo 24-57%→80-83%，Token -34.3~91.0%，延迟 -58.45~66.10% arXiv:2605.29640 jay 9-4 0941 §1.(1) 推理引擎邻接（国产开源，火山引擎）
B Incremental Pooled LLM Evaluation：池化评估 4.9× 成本降低，97% pairwise 排序保留率，RAG 检索选型 SOP arXiv:2609.02745 jay 9-4 2105 §1.(12)(v) 邻接（RAG 检索选型 SOP）
C EarlyEval：LightGBM 行为特征，13-26% steps 消除，44% tokens 降低，agent eval 成本优化 arXiv:2609.02783 jay 9-4 2105 §1.(12)(v) 邻接（harness 工程实践）
D vLLM Korea Meetup PQD 分离：8-GPU MI300X + AMD MORI-IO + ITL 稳定性 + goodput 指标 vllm.ai/blog jay 9-4 1050 §1.(2) 推理调度（P/D 分离）
E Blackwell FP4 kernels：SemiAnalysis InferenceMAX 合作，FP4 精度推理 无 jay 9-4 1050 §1.(1) 推理引擎（硬件代际）
F DeepSeek-V3.2-Exp：细粒度稀疏注意力，Exp 版本实验特性 无 jay 9-4 1050 §1.(1) 推理引擎（MoE 优化）

四、值得警惕的矛盾或待核实说法

  1. CORD paper_card TLDR 截断： - TLDR 在"the mass assigned to the original"处截断，完整方法细节未披露 - TPCR 的具体阈值/实验数据未在 TLDR 中体现 - 需完整读取 arXiv:2609.01072 论文获取完整方法论和实验数据

  2. §IX 88 evening v3.12 锚入内容中 GPT-6 Astra Provider Adapter harness 的评测争议： - ARC-AGI 3：99.9%（custom Provider Adapter harness）vs 62.7%（默认 harness），37 个百分点差距 - D124 待核：这一差距有多大程度来自 harness 设计而非模型本身能力 - 截至本棒，无新数据消解此争议

  3. NVIDIA $12.93B 收购 HF 的后续影响： - Jensen Huang 博客（2026-09-03）确认已签约 - Stephen 9-3 noon coord 记录：The Information 首发，Business Insider 同日称尚"未签约"——矛盾未消解 - 收购完成后对 vLLM/SGLang 等推理引擎 NVIDIA 优化路线的影响待评估

五、可引用的 arXiv 号列表（1 件 · 本棒 NET-new）

  1. arXiv:2609.01072 — CORD: Let Confidence Change, Not the Prediction: Prediction-Preserving Repair for Post-hoc Calibration（llm-infra 主分类 · TPCR 指标 · CORD 方法 · 2026-09-04 paper_card 1224 入库）

沿用件（已在 inference.md 或预备级）

  • arXiv:2608.20359 — SSR: Self-Speculation（9-3 NET-new · 待锚入）
  • arXiv:2505.02922 — RetroInfer（9-3 NET-new · 待锚入）
  • arXiv:2605.29639 — RTP-LLM（9-3 NET-new · 待锚入）
  • arXiv:2608.06557 — Cascade（9-3 NET-new · 待锚入）
  • arXiv:2608.13499 — OpScale（9-3 NET-new · 待锚入）
  • arXiv:2609.01925 — CRISP（9-3 NET-new · paper_card 1197 已入库 · 待锚入）
  • arXiv:2505.11329 — TokenWeave（9-2 NET-new · 待锚入）
  • Stream2LLM — MLSys 2026（9-2 NET-new · 待锚入）
  • FlexLLM — NSDI 2026（9-2 NET-new · 待锚入）
  • FlashAttention-4 MLSys 2026 Best HM（已锚入）
  • ReplaySSM / Silent Hyperparameter / SwiftCache / Albireo（9-1 NET-new · 待锚入）

六、本棒小结

inference 主题 9-3 22:20 → 9-4 22:20 净增量 = 1 条主增量（1 条 NET-new paper_card 入库）+ 0 条邻接入库 inference NET-new

# 条目 分类 价值 状态
1 CORD（Prediction-Preserving Post-hoc Calibration · arXiv:2609.01072 · paper_card 1224） §1.(12)(v) Harness Reliability ⭐⭐⭐⭐ NET-new paper_card 入库；待锚入

与 9-3 evening inference e1prep（5 条主增量 + 6 条邻接预备）对照： - 9-3 增量密度：极高（SSR 自投机解码 + RetroInfer VLDB 2026 + Meta/RTP-LLM 生产双重确认 + Cascade/OpScale SLO 调度 + CRISP 长上下文稀疏路由） - 9-4 增量密度：极低（§IX 88 evening v3.12 17:30 CST 已将 Sep 4 早盘+午盘全部高价值 inference 增量锚入，仅余 CORD paper_card 1224 9-4 18:40 后入库） - 本棒特征：极稀疏；主棒锚入工作已完成，§IX 88 evening v3.12 覆盖 Sep 4 全部 inference 增量；本棒唯一 NET-new 为 CORD prediction-preserving calibration

七、检查过的来源汇总

已检查 / 已纳入本棒

  • ✅ organized/knowledge/inference.md（2026-09-03 更新标注 · 约430条 arXiv 基线）
  • ✅ work-queue.md（2026-09-04 22:00）
  • ✅ inbox/tom/2026-09-04T0840-agent-rag-longcontext-radar.md（inference 0 件）
  • ✅ inbox/tom/2026-09-04T1440-agent-rag-longcontext-radar.md（inference 0 件 · CORD radar #8 标注为 research 标签）
  • ✅ inbox/jay/2026-09-04T1050-jay-engineering-filter.md（vLLM Korea/Blackwell FP4/DeepSeek-V3.2 → §IX 88 evening v3.12 锚入）
  • ✅ inbox/jay/2026-09-04-0941-hf-nvidia-acquisition-state-of-open-models-security.md（OpenViking → §IX 88 evening v3.12 锚入）
  • ✅ inbox/jay/2026-09-04T1410-jay-five-category-briefing.md（AI Agents Stack/MSR Orchard/NSDI 2026 → §IX 88 evening v3.12 锚入）
  • ✅ inbox/jay/2026-09-04-agent-inference-mcp-engineering.md（llm-infra/agent 主轴 · inference 0 件）
  • ✅ inbox/spark/2026-09-04-llm-infra-e1prep.md（0 件 NET-new arXiv · 1 件 CORD paper_card NET-new 入库）
  • ✅ inbox/flyp/2026-09-04-multimodal-e1prep.md（NeoMME 升候选 · multimodal 主分类）
  • ✅ inbox/flyp/2026-09-04-risk-e1prep.md（HF Agent 入侵 + GPT-6 Astra · llm-infra/agent-security 主轴）
  • ✅ inbox/stephen/2026-09-04-llm-application-e1prep.md（6 件邻接 · agent/RAG 主题）
  • ✅ paper_cards/1224-2609-01072.md（CORD · llm-infra 主分类 · 2026-09-04 入库）
  • ✅ inbox/tom/2026-09-03-inference-e1prep.md（9-3 参照基线）

已检查 / 未纳入（无 inference 净新增）

  • inbox/jay/2026-09-04T2105-jay-five-category-briefing.md（UTC 13:05 CST 5:05 AM 9-5 · 落入下一窗口）
  • inbox/jay/2026-09-04-engineering-e1prep.md（inference 主轴 0 件）
  • inbox/jay/2026-09-04-afternoon-ai-engineering-rag-inference-backend.md（RAG/Backend 主轴 · inference 邻接）
  • inbox/tom/2026-09-04-rag-e1prep.md（RAG 主轴 · inference 0 件）
  • inbox/tom/2026-09-04-evaluation-e1prep.md（evaluation 主轴）
  • inbox/spark/2026-09-04-agent-e1prep.md（agent 主轴）
  • inbox/spark/2026-09-03-llm-infra-e1prep.md（llm-infra 主轴）
  • inbox/flyp/2026-09-03-coding-agents-e1prep.md（coding-agents 主轴）
  • inbox/flyp/2026-09-03-risk-e1prep.md（risk 主轴）

Tom · 2026-09-04 22:20 CST · 本棒检查 15+ 来源（tom radar 2 件 + jay 简报 5 件 + spark llm-infra e1prep 1 件 + flyp multimodal/risk e1prep 2 件 + stephen llm-application e1prep 1 件 + paper_cards 1 件 + inference.md 1 件 + work-queue 1 件）· inference 主题 NET-new 1 条（1 条 paper_card NET-new 入库 CORD）· 涉及 arXiv 号 1 件（净增）· §IX 88 evening v3.12 17:30 CST 已将 Sep 4 全部高价值 inference 增量锚入