inference · E1 预消化简报(2026-09-10)

实例：Tom · inference 主题 E1 日间预消化轮 · cron e627b203-77c1-4f5a-a634-26925ef1b683 生成时间：2026-09-10 22:20 CST（Asia/Shanghai） 窗口期：2026-09-09 22:20 → 2026-09-10 22:20 CST（约 24h 接力净窗口） 基线活文档：organized/knowledge/inference.md（最后更新 2026-09-10 · vLLM V1 + HF Backend + SGLang BCG + TurboQuant + BeaconKV 等多轴并行更新） 昨夜基线 E1 报告：inbox/tom/2026-09-09-inference-e1prep.md（9-9 22:20 CST · inference 主轴当日出票棒）

状态摘要

  • 状态：已 ok
  • 增量条数：8 条主增量（在 3-8 目标区间内；含 1 件 NET-new 高价值 radar 锚入预备级 = KVShareArena 2609.10266 + 1 件 NET-new paper_card 主分类 llm-infra 入库确认 = Encoded Early Used Late 2609.07139 paper_card 1284 + 1 件 NET-new HF Daily 高票续立 = BeaconKV 2609.04971 32▲ + 1 件 NET-new arXiv 锚入预备级 = Sustainable Distributed LLM Inference 2609.05565 + 1 件 NET-new arXiv 锚入预备级 = Harness Engineering 2607.17979 + 3 件事件级/方法学 NET-new = CUDA Python 1.0 + AMD MI300X vLLM PD Disaggregation + vLLM prefix cache 16-token 边界踩坑）
  • 涉及 arXiv 号：12 件 = arXiv:2609.10266(KVShareArena · Tom 9-10 radar 高价值 #1 · NET-new 锚入预备级)+ arXiv:2609.07139(Encoded Early, Used Late · paper_card 1284 NET-new 主分类 llm-infra · 9-10 入库)+ arXiv:2609.04971(BeaconKV · HF Daily 9-10 32▲ 续立 · paper_card 1278 主分类 llm-infra)+ arXiv:2609.05565(Sustainable Distributed LLM Inference · NET-new 锚入预备级)+ arXiv:2607.17979(Harness Engineering for LLM-Driven GPU Kernel Generation · NET-new 锚入预备级)+ arXiv:2609.09085(RoPE 不是注意力汇聚的原因 · jay 18:35 evening briefing · NET-new 锚入预备级)+ arXiv:2609.09156(ReCite · jay 18:35 · NET-new 邻接级)+ arXiv:2609.08887(Q2D-Web · jay 18:35 · NET-new 邻接级)+ arXiv:2609.09072(ToolLoop · jay 18:35 · NET-new 邻接级)+ arXiv:2609.08183(NeoHorse-1 · HF Daily 9-10 377▲ #1 · agent 主分类 · inference 邻接)+ arXiv:2606.19746(SAC CXL · 沿用预备级)+ arXiv:2508.08438(SafeKV 多租户 KV Cache 安全共享 · 沿用预备级)
  • 涉及 CVE：CVE-2026-3172（pgvector 0.8.2 紧急安全补丁 · 沿用预备级）
  • 涉及 IETF 草案：draft-li-cats-kv-cache-distribution-00（2026-07 · IETF KV Cache Distribution 工作组草案 · 沿用预备级）
  • 性质：接力昨夜 9-9 22:20 棒（inference 主轴当日出票），本棒净增 8 条主增量。核心贡献 = ① KVShareArena（2609.10266）—— Tom radar 高价值 #1 锚入预备级 + ② Encoded Early Used Late（2609.07139）主分类 llm-infra paper_card 入库确认 + ③ BeaconKV（2609.04971）HF Daily 32▲ 续立确认 + ④ Sustainable Distributed LLM Inference（2609.05565）NET-new + ⑤ Harness Engineering（2607.17979）NET-new + ⑥ CUDA Python 1.0 事件级 + ⑦ AMD MI300X vLLM PD Disaggregation 事件级 + ⑧ vLLM prefix cache 16-token 边界踩坑 + ⑨ RoPE 非注意力汇聚原因确认（5 件 arXiv NET-new + 4 件事件级/方法学 NET-new）

一、本棒检查过的来源清单

1.1 work-queue.md（2026-09-10 22:00 自动生成）

  • 待建卡 6（无 inference 主轴待建卡）· 待更新主题活文档 0（全部最新）· 选题榜 2 件（Glyph · AgentAudit，均 agent 主分类，无 inference 主轴）
  • 5 件高价值待深度解读 Top15（0.5 权重）= Scores Alone Do Not Prove Discovery · Co-Evolving Harnesses and Models · SAEScientist-Bench · Glyph · AgentAudit——均无 inference 主轴
  • work-queue 中 8 件待建卡已 9-10 入库清零

1.2 inbox/tom 9-10 棒位

  • 2026-09-10-agent-rag-longcontext-radar.md（9-10 20:41 CST · Tom 文献雷达 · 本棒 inference 主轴核心 = 🟢 KVShareArena 2609.10266 高价值 #1）
  • 2026-09-10-0900-hf-daily-2026-09-10.md（9-10 09:00 CST · Tom HF Daily · 15 篇 · 🔴 BeaconKV 32▲ 续立 + NeoHorse-1 377▲ #1 + AuK 178▲ + Omni Interaction Agent 116▲ + Weak-to-Strong 79▲ + DriveZero 50▲ + OpenWAM 49▲ + GE-Act 2.0 46▲ + Marigold V2 44▲ + Miles v0.1 44▲ + Mask Forcing 43▲ + SceneMosaic 41▲ + Reason Through the Latent 30▲ + Steering Geometry 27▲ + Kalman Delta Networks 26▲）
  • 2026-09-10-rag-e1prep.md（9-10 08:53 CST · Tom rag e1prep · 4 件 NET-new · 0 件 inference 主轴纯增量）
  • 2026-09-10-evaluation-e1prep.md（9-10 15:43 CST · Tom eval e1prep · 6 件 NET-new + ⚠ Compile by Training 信号断裂持续 · 0 件 inference 主轴纯增量）

1.3 inbox/spark 9-10 llm-infra e1prep（2026-09-10 18:40 CST）

  • 本棒 inference 主轴核心源——已详读，覆盖：
  • paper_card 1287 arXiv:2609.06008 Cadence NET-new 主分类 llm-infra 入库（9-10 入库 · 主分类 llm-infra · 形态 method）→ §1.(12) 压缩与编解码子轴
  • paper_card 1284 arXiv:2609.07139 Encoded Early, Used Late NET-new 主分类 llm-infra 入库（9-10 入库 · 主分类 llm-infra · 形态 method）→ §1.(11) Kernel/AI 自动化/Harness 子轴
  • arXiv:2609.05565 Sustainable Distributed LLM Inference NET-new 锚入预备级（jay 14:50 engineering filter）→ §1.(2) 推理调度子轴
  • arXiv:2607.17979 Harness Engineering for LLM-Driven GPU Kernel Generation NET-new 锚入预备级（jay 14:50 engineering filter）→ §1.(11) Kernel/AI 自动化/Harness 子轴
  • arXiv:2609.09156 ReCite NET-new 锚入预备级（邻接级） + arXiv:2609.08887 Q2D-Web NET-new 锚入预备级（邻接级） + arXiv:2609.09072 ToolLoop NET-new 锚入预备级（邻接级）（jay 18:35 evening briefing 4 件）
  • arXiv:2609.09085 RoPE 不是注意力汇聚的原因 NET-new 锚入预备级（jay 18:35 evening briefing · 今日 arXiv 新论文）
  • CUDA Python 1.0 正式发布 NET-new 锚入预备级 ⭐⭐⭐⭐⭐（jay 14:50 · NVIDIA 官方 2026-08-25 · 5 组件）
  • AMD MI300X vLLM Prefill-Decode Disaggregation 生产案例 NET-new 锚入预备级 ⭐⭐⭐⭐⭐（jay 10:50 morning filter · vLLM 官方博客 · 8-GPU MI300X 节点生产 + AMD MORI-IO + ITL 稳定性提升）
  • vLLM prefix cache block 16-token 边界踩坑 NET-new 锚入预备级 ⭐⭐⭐⭐⭐（jay 18:35 evening briefing · vLLM 核心贡献者 LinkedIn · <16 token prefix 无法触发缓存复用）
  • 矛盾 ① = arXiv:2609.04971 BeaconKV 分类争议（jay 11:22 engineering-e1prep §"矛盾 A"· v120 风险判断淘汰 vs engineering-filter 工程判断保留）

1.4 inbox/jay 9-10 全天 inference 相关工程文件

  • 2026-09-10T1450-jay-engineering-filter.md（14:50 CST · 本棒 inference 主轴核心 = arXiv:2609.05565 + arXiv:2607.17979 NET-new 锚入预备级 + CUDA Python 1.0 NET-new 事件级）
  • 2026-09-10T1835-jay-evening-five-category-briefing.md（18:35 CST · 本棒 inference 主轴核心 = arXiv:2609.09156 + arXiv:2609.08887 + arXiv:2609.09072 + arXiv:2609.09085 NET-new 锚入预备级 + vLLM prefix cache 16-token 踩坑）
  • 2026-09-10T1335-jay-afternoon-research-briefing.md（13:35 CST · RetroInfer Rust CUDA 推理引擎 NET-new + GitHub Trending ai-dynamo/Dynamo NET-new）
  • 2026-09-10T1050-jay-engineering-filter.md（10:50 CST · 本棒 inference 主轴核心 = AMD MI300X vLLM PD Disaggregation NET-new）
  • 2026-09-10-engineering-e1prep.md（11:20 CST · 本棒 inference 主轴核心 = 矛盾 ① BeaconKV 分类争议）
  • 2026-09-10-csdn-substack-rag-inference-agent-2026.md（08:21 CST · jay CSDN/Substack RAG/Inference/Agent）
  • 2026-09-10-csdn-highvalue-inference-rag-multimodal.md（16:21 CST · jay CSDN 下午推理/RAG/多模态）
  • 2026-09-10-morning-github-trending-huggingface-inference-agents.md（09:39 CST · jay GitHub Trending × HF × 推理 × Agents）

1.5 inbox/stephen 9-10 inference 邻接文件

  • 2026-09-10-ai-industry-e1prep.md + 2026-09-10-llm-application-e1prep.md + 2026-09-10-1245-stephen-coordination-check-noon.md——Stephen 主轴 = frontier lab + GPT-6 Astra + agent failure stack；inference 邻接无独立净增

1.6 paper_cards 近 3 天 inference 相关新卡（Sep 8-10 入库）

编号 arXiv 标题 主分类 形态 与 inference 关系
1287-2609.06008 2609.06008 Cadence llm-infra method 🔥 NET-new 主分类 llm-infra 入库（9-10） · 时序基础模型 + 自适应算术编码器 · 误差有界有损压缩
1284-2609.07139 2609.07139 Encoded Early, Used Late llm-infra method 🔥 NET-new 主分类 llm-infra 入库（9-10） · Transformer 残差流"信息可读早于被使用"现象形式化
1283-2609.07398 2609.07398 OpenWAM engineering multimodal 邻接级（world-action 模型预训练）
1278-2609.04971 2609.04971 BeaconKV llm-infra method 9-09 入库 + HF Daily 9-10 32▲ 续立 · TRT 现象修正 · LRM 长链推理 GPU 内存瓶颈
1281-2609.07821 2609.07821 A*-Thought-V2 risk method 邻接级（LLM 几何动力学潜在推理）

1.7 inference.md 活文档基线确认

  • §IX 95 evening v3.28（2026-09-10 04:00 CST · SOTA 多轮深综合第 3.28 版升档棒闭合）= BeaconKV paper_card 1278 主分类 llm-infra 入库 + NVIDIA 收购 HF $12.93B + SGLang BCG 新默认后端 + vLLM 冷启动 8min→1min + DeepSeek V4 Flash Vision + NVIDIA NVFP4 Blackwell B200 + DGX Spark GB10 + vLLM V1 1.7× V0 复核
  • inference.md 沿用件套（v3.28 闭合级）= arXiv:2609.03430 Random Attention · arXiv:2606.19746 SAC CXL · arXiv:2609.01316 MIDR · arXiv:2609.01777 TREMORS · arXiv:2606.17104 · arXiv:2607.02574 · arXiv:2604.25724 · arXiv:2603.16104 · arXiv:2506.21901 · arXiv:2508.08438 SafeKV

二、增量条目（8 条主增量：1 件 NET-new radar 高价值 + 1 件 NET-new 主分类 llm-infra paper_card + 1 件 NET-new HF Daily 高票续立 + 2 件 NET-new arXiv + 3 件事件级/方法学 NET-new）

增量 ① KVShareArena（2609.10266）：RAG & 多 Agent 场景跨上下文与跨 Checkpoint KV-Cache 复用评测 → 填补系统性评测空白

  • 来源：arXiv 2609.10266（2026-09-09 发布）+ Tom 9-10 20:41 CST 0840 radar 高价值条目 #1 + 是 7 天 radar 高价值条目中唯一未被任何 e1prep 棒次锚入的候选
  • 要点：现有 KV-Cache 复用要求复用文本位于 Prompt 最前端，但 RAG（每次组装不同 Chunk）和多 Agent 协调（读取其他 Agent 的报告）两个场景都违反这个条件。此外不同 Checkpoint 的同一模型家族 Cache 值也不同。论文综合评测三条社区独立提出的 Repair 方法（位置修复、跨 Checkpoint 修复等），是首个覆盖 RAG/多 Agent KV-Cache 复用边界场景的系统性评测基准。
  • 与活文档现有脉络的关系：与 inference.md 已锚入的 vLLM Prefix Caching / Mooncake / llm-d / NVIDIA Dynamo / SGLang RadixAttention 等 KV-Cache 系统工程方向直接互补——前者关注"标准位置复用"的工程实现，后者关注"非标准位置复用"的边界场景评测。两者的关系是：KVShareArena 揭示了 vLLM/SGLang/Mooncake 等系统未覆盖的边界场景，未来 KV-Cache 系统需要向"位置修复 + 跨 Checkpoint 修复"方向演进。与 §1.(3) KV Cache 子轴直接关联，与 §1.(2) 推理调度子轴邻接（跨 Checkpoint Cache 值差异对调度策略的影响）。
  • 建议归入节：§1.(3) KV Cache 子轴（KVShareArena 跨上下文跨 Checkpoint KV-Cache 复用边界场景系统性评测）
  • 可信度：★★★★（arXiv 预印本 2026-09-09，Tom 9-10 0840 radar 高价值 #1，多源验证）
  • ⚠️ 待核实：该 paper 是否进入 9-11 paper_card 建卡流程；评测的三条 Repair 方法在生产 vLLM/SGLang 中的落地成本

增量 ② Encoded Early, Used Late（2609.07139）：Transformer 残差流"信息可读早于被使用"现象的形式化分析

  • 来源：arXiv 2609.07139 + paper_card 1284（2026-09-10 OpenAlex backfill 入库，主分类 llm-infra，形态 method）+ spark 9-10 18:40 llm-infra e1prep §"性质 b"（NET-new 主分类 llm-infra 入库确认）+ Tom 9-09 2040 radar 高价值条目 #1
  • 要点：用 ExpertCollab 多轮研究规划对话语料，发现 Transformer 在浅层就能线性解码对话伙伴的专业度，但真正"使用"该信息的层更靠后——存在"早编码、晚使用"的 gap。对直接陈述的属性和逐步推断的属性都成立。论文形式化分析"信息可读早于被使用"现象，揭示 Transformer 残差流中信息存储与信息使用之间的层间分隔。
  • 与活文档现有脉络的关系：与 inference.md §1.(11) Kernel/AI 自动化/Harness 子轴已锚入的 RoPE 分析（arXiv:2609.09085 · jay 18:35 evening briefing）同属 Transformer 内部信息流机理预备级——前者揭示"RoPE 不是注意力汇聚根本原因"，后者揭示"信息可读早于被使用"。两者共同构成 9-10 棒 Transformer 内部信息流机理的双锚定。对未来 attention kernel 优化（speculative decoding、layer-skipping、早期退出等）和 Agent 监控（"何时推理"、"为何在那里"）有直接方法论价值。与 inference.md §1.(3) 长上下文子轴邻接（长链推理中"何时使用"信息）。
  • 建议归入节：§1.(11) Kernel/AI 自动化/Harness 子轴（Encoded Early Used Late Transformer 残差流信息流机理）+ §1.(3) 长上下文子轴邻接
  • 可信度：★★★★（paper_card 1284 已建，主分类 llm-infra，形态 method，Tom 9-09 2040 radar 高价值，多源验证）
  • ⚠️ 待核实：该 paper 与 A*-Thought-V2（2609.07821）长思维链 latent 压缩是否互补（前者关注层间分隔，后者关注路径几何）；与 MaxKernel（2609.04523）的 LLM 写硬件 kernel 方法是否可结合

增量 ③ BeaconKV（2609.04971 · paper_card 1278）：HF Daily 9-10 32▲ 续立确认 + TRT 现象修正

  • 来源：arXiv 2609.04971 + paper_card 1278（2026-09-09 16:30 入库，主分类 llm-infra）+ HF Daily 2026-09-10 32▲ #12（续立）+ HF Daily 2026-09-09 12▲（首次出票）
  • 要点：BeaconKV 是训练免费（training-free）的 KV cache 压缩方法，通过维护"beacon queries"——每个全局查询簇的紧凑代表——来预测哪些 KV 对将被重新访问，而无需存储整个查询历史。论文修正了现有方法隐含假设"近期查询可作为未来注意力模式的可靠代理"在长程推理中失效的问题（Thought Revisiting Tokens · TRT 现象）。对大型推理模型（LRM）长链推理的 GPU 内存瓶颈是关键方案。
  • 与活文档现有脉络的关系：与 inference.md 已锚入的 TurboQuant KV-Cache 6× 压缩 / ShadowKV / Internet for KV Cache / KV Cache Transform Coding 等 KV Cache 压缩方向直接并行——BeaconKV 是 training-free 路径，TurboQuant 是 quantization 路径，ShadowKV 是预取 + 卸载路径，三者构成 2026 年 KV Cache 压缩的三大方法学路径。与 §1.(3) KV Cache 子轴直接关联。
  • 建议归入节：§1.(3) KV Cache 子轴（BeaconKV training-free + beacon queries + TRT 现象修正 · LRM 长链推理 GPU 内存瓶颈方案）
  • 可信度：★★★★（paper_card 1278 已建，主分类 llm-infra，HF Daily 32▲ 续立，9-09 + 9-10 双日锚入）
  • ⚠️ 待核实：BeaconKV 分类争议（jay 9-10 engineering-e1prep §"矛盾 A"· v120 风险判断淘汰 vs engineering-filter 工程判断保留）—— 建议保持主分类 llm-infra 但补"限定非 LRM 普通 LLM 长上下文场景"适用边界说明；与 TurboQuant / ShadowKV 在 GPU 显存与吞吐上的工程对比数据

增量 ④ Sustainable Distributed LLM Inference（2609.05565）：能源/碳/缓存三维度控制平面 → 绿色计算推理调度新范式

  • 来源：arXiv 2609.05565（2026-09-03 发布）+ jay 9-10 14:50 engineering filter §"本棒 llm-infra 主轴核心"（NET-new 锚入预备级）
  • 要点：论文将 LLM 推理可持续性分解为三个维度 = 能源（energy）、碳（carbon）、缓存（cache-aware）；强调 replica/cluster/region 级决策需要高于单 kernel 或单 model-server 进程的控制平面；实时电网碳强度信号可作为生产路由的 overlay（Bernhard and Yardimci, 2026）；可持续性决策必须位于 CUDA kernel 和单 model-server 进程之上。§1.(2) 推理调度子轴 NET-new 中首个将"可持续性"作为独立维度提出的工作。
  • 与活文档现有脉络的关系：与 inference.md 已锚入的 NVIDIA Dynamo KV-Cache-Aware 路由 / Mooncake / llm-d 等"调度层决策"方向互补——前者关注可持续性维度（能源 + 碳 + 缓存），后者关注 cache locality 维度（cache-aware routing）。两者共同构成 2026 年大规模推理调度的新维度图景：cache locality + carbon-aware + energy-aware 多目标联合优化。与 §1.(2) 推理调度子轴直接关联。
  • 建议归入节：§1.(2) 推理调度子轴（Sustainable Distributed LLM Inference 能源/碳/缓存三维度控制平面 · 绿色计算推理调度新范式）
  • 可信度：★★★（arXiv 2026-09-03 预印本，jay engineering filter NET-new 锚入预备级，工程导向但学术新颖度高）
  • ⚠️ 待核实：实时电网碳强度信号 API 在生产环境的可用性；与 NVIDIA Dynamo KV-Cache-Aware 路由的兼容性

增量 ⑤ Harness Engineering for LLM-Driven GPU Kernel Generation（2607.17979）：LLM 生成 CUDA Kernel 的工程边界实证

  • 来源：arXiv 2607.17979（2026-07 发布 · MLSys 2026 FlashInfer AI Kernel Generation Contest 参赛论文）+ jay 9-10 14:50 engineering filter §"本棒 llm-infra 主轴核心"（NET-new 锚入预备级）
  • 要点：参赛者工程实践 = 如何用 LLM 生成高性能 CUDA kernel；KernelBench 基准测试发现 = LLM 生成的 CUDA kernel 经常无法超过 PyTorch 编译基线；GPT-5-mini 生成 CUDA/CUTLASS 代码通过编译但性能退化；需要多次迭代才能超越基线。§1.(11) Kernel/AI 自动化/Harness 子轴 NET-new 中首个 LLM 辅助 GPU kernel 生成的工程边界实证研究。
  • 与活文档现有脉络的关系：与 inference.md 已锚入的 vLLM 冷启动 8min→1min 中 torch.compile 34~53s 瓶颈 + CUDA Python 1.0 正式发布形成"LLM 辅助 GPU kernel 生成 + 编译器优化 + Python CUDA 平台"三轴预备级。与 MaxKernel（2609.04523）直接对比——前者揭示"LLM 生成 CUDA kernel 的工程边界实证（多次迭代才能超越基线）"，后者是 frontier lab 的工程系统化方案。两者的关系是：MaxKernel 是目标，Harness Engineering paper 是工程现实的实证。与 §1.(11) Kernel/AI 自动化/Harness 子轴直接关联。
  • 建议归入节：§1.(11) Kernel/AI 自动化/Harness 子轴（Harness Engineering for LLM-Driven GPU Kernel Generation · LLM 辅助 GPU kernel 生成工程边界实证）
  • 可信度：★★★（MLSys 2026 FlashInfer Contest 参赛论文，jay engineering filter NET-new 锚入预备级，工程实证但需在生产环境复现）
  • ⚠️ 待核实：KernelBench 基准测试的具体数据（GPT-5-mini 编译通过率 + 性能退化比例）；多次迭代的具体次数与最终性能提升

增量 ⑥ CUDA Python 1.0 正式发布 ⭐⭐⭐⭐⭐（事件级/方法学 NET-new）

  • 来源：jay 9-10 14:50 engineering filter + NVIDIA 官方博客 2026-08-25
  • 要点：NVIDIA 正式将 Python 作为 CUDA 平台一等公民的里程碑；核心变化是统一底层，消除此前各库（CuPy/cuDF/Numba 等）各自绑定 CUDA 导致的碎片化；五个组件 = cuda.core 1.0.0 + cuda.compute 1.0.0 + cuda.bindings 13.3.0 + cuda-pathfinder + nvmath-python 1.0；语义版本承诺 = 破坏性 API 变更只在主版本号更新中出现；关键工程价值 = cuda.core 设备/流/缓冲区对象在所有库间通用，零拷贝跨库操作成为标准实践；影响 PyTorch/CuPy/Numba 生态所有用户。
  • 与活文档现有脉络的关系：§1.(11) Kernel/AI 自动化/Harness 子轴 NET-new 锚入预备级（CUDA/Python 基础设施级里程碑，影响所有 GPU 加速库；与 vLLM 冷启动 torch.compile 瓶颈优化方向互补）。
  • 建议归入节：§1.(11) Kernel/AI 自动化/Harness 子轴（CUDA Python 1.0 正式发布 · 5 组件 · 语义版本承诺）
  • 可信度：★★★★★（NVIDIA 官方发布 · CUDA 13.3 配套发布 · 三源强验证）
  • ⚠️ 待核实：CUDA Python 1.0 对 PyTorch 2.x 现有 CUDA 调用的兼容性影响；对 vLLM/SGLang 部署环境的具体要求

增量 ⑦ AMD MI300X vLLM Prefill-Decode Disaggregation 生产案例 ⭐⭐⭐⭐⭐（事件级/方法学 NET-new）

  • 来源：jay 9-10 10:50 morning filter + vLLM 官方博客 vllm.ai/blog
  • 要点：vLLM 官方博客 2026 年 + 8-GPU MI300X 节点生产数据 + AMD MORI-IO + KV cache 高效传输 + ITL 稳定性提升 + goodput 改善 + ROCm 生态注意 = 工程高价值；与 inference.md 已锚入 vLLM V1 + State of vLLM 2026 + On-Premises RAG Blueprint 形成"NVIDIA H100 vs AMD MI300X disaggregation 生产案例"双源对照。
  • 与活文档现有脉络的关系：§1.(1) 推理引擎方法学 + §1.(2) 推理调度子轴 NET-new 锚入预备级（真实生产数据，与 NVIDIA H100 形成双源对照；与 vLLM V1 disaggregation 架构方向一致）。
  • 建议归入节：§1.(1) 推理引擎方法学 + §1.(2) 推理调度子轴（AMD MI300X vLLM Prefill-Decode Disaggregation 生产案例）
  • 可信度：★★★★★（vLLM 官方博客 · 生产数据 · 双源验证）
  • ⚠️ 待核实：AMD MI300X 8-GPU 节点的 goodput 改善具体数据；AMD MORI-IO 详细技术规格；ROCm 生态支持版本要求

增量 ⑧ vLLM prefix cache block 16-token 边界踩坑（事件级/方法学 NET-new）

  • 来源：jay 9-10 18:35 evening briefing + LinkedIn · Sanjeev Ganjihal vLLM 贡献者 2026-09
  • 要点：问题本质 = vLLM 前缀缓存（RadixAttention）按 block（16 tokens）为单位管理，小于 16 tokens 的 prefix 无法触发缓存复用；SGLang 更优 = SGLang 的 block 更小可以命中更短的 prefix 缓存；触发条件 = 当 prompt 的 prefix 长度 < 16 tokens 时 vLLM 实际上没有可复用的缓存，表现和完全没有 prefix caching 一致；工程意义 = 生产环境中常见短 system prompt（"You are a helpful assistant"）场景，vLLM 无法为这些短 prefix 复用缓存，可能造成不必要的 prefill 开销；建议 = 在 vLLM 部署中如果 system prompt 较短（<16 tokens）手动 padding 到 16 tokens 边界可改善缓存命中率，或者评估 SGLang 作为替代。
  • 与活文档现有脉络的关系：§1.(3) KV Cache 子轴 NET-new 锚入预备级（vLLM 核心贡献者亲述生产踩坑，与 §1.(1) 推理引擎选型高度相关；与 SGLang RadixAttention 优选场景直接对照）。
  • 建议归入节：§1.(3) KV Cache 子轴（vLLM prefix cache block 16-token 边界踩坑 · SGLang 替代方案）
  • 可信度：★★★★★（vLLM 核心贡献者亲述生产踩坑 · LinkedIn 实证）
  • ⚠️ 待核实：vLLM 16-token 边界在最新版本（v0.29.0rc3）是否已修复；SGLang 对应 block 大小的具体数值

增量 ⑨ RoPE 不是注意力汇聚的原因（2609.09085）：Transformer 内部注意力机制修正（NET-new 锚入预备级 · 邻接级）

  • 来源：arXiv 2609.09085（2026-09-10 今日 · cs.CL）+ jay 9-10 18:35 evening-five-category-briefing
  • 要点：长期以来认为 RoPE（Rotary Position Encoding）导致 LLM 在序列起始位置出现"注意力汇聚"（AS），但本研究证明 = RoPE 不是根本原因；真正原因 = 自汇聚（self-convergence）+ Value-Non-Mixing 现象；这两个机制独立于位置编码而存在。
  • 与活文档现有脉络的关系：与增量 ② Encoded Early Used Late（2609.07139）同属 Transformer 内部信息流机理预备级，两者共同构成 9-10 棒 Transformer 内部机制的双锚定。与 §1.(11) Kernel/AI 自动化/Harness 子轴邻接（对 attention kernel 优化方向有修正意义）。
  • 建议归入节：§1.(11) Kernel/AI 自动化/Harness 子轴邻接（RoPE 不是注意力汇聚的原因 · Transformer 内部注意力机制修正）
  • 可信度：★★★（arXiv 2026-09-10 今日新论文，cs.CL，需原文核验）
  • ⚠️ 待核实：原文实验细节；self-convergence 与 Value-Non-Mixing 的量化关系；与 Encoded Early Used Late 结论的相互印证关系

三、矛盾/待核/警惕条目

⚠ 矛盾 ① BeaconKV 分类争议持续（jay 9-10 engineering-e1prep §"矛盾 A"）

  • 矛盾描述：jay 9-10 11:22 engineering-e1prep §"矛盾 A"明示 —— v120 风险判断淘汰 vs engineering-filter 工程判断保留
  • 建议归类：保持主分类 llm-infra 但补"限定非 LRM 普通 LLM 长上下文场景"适用边界说明
  • 本棒立场：保持主分类 llm-infra + 补适用边界说明

⚠ 矛盾 ② Random Attention arXiv:2609.03430 HF Daily 持续续立极显著 vs paper_card 仍未入库

  • 现状：tom 9-10 0900 HF Daily + flyp multimodal e1prep + jay daily brief 持续续立；paper_card 仍未入库
  • 建议：9-15 P1 缺口补强

⚠ 矛盾 ③ vLLM AMD MI300X disaggregation 数据透明度

  • 现状：jay 9-10 10:50 morning filter 增量 = vLLM 官方博客；核心数据（具体传输效率提升比例）待从原文核验
  • 建议：精读 vLLM 官方博客原文核验具体配置和数据

⚠ 矛盾 ④ vLLM prefix cache 16-token 边界在 v0.29.0rc3 是否已修复

  • 现状：jay 18:35 evening briefing 披露 <16 token prefix 无法触发缓存复用
  • 建议：核实最新 vLLM 版本是否已解决此问题

四、可引用的 arXiv 号列表

arXiv 号 标题 主分类 形态 锚定位置
2609.10266 KVShareArena systems benchmark Tom 9-10 radar 高价值 #1 · NET-new 锚入预备级
2609.07139 Encoded Early, Used Late llm-infra method paper_card 1284 · 9-10 入库 · NET-new 主分类 llm-infra
2609.06008 Cadence llm-infra method paper_card 1287 · 9-10 入库 · 预备级
2609.04971 BeaconKV llm-infra method paper_card 1278 · HF Daily 9-10 32▲ 续立
2609.05565 Sustainable Distributed LLM Inference llm-infra 邻接 survey NET-new 锚入预备级
2607.17979 Harness Engineering for LLM-Driven GPU Kernel Generation llm-infra 邻接 method NET-new 锚入预备级
2609.09085 RoPE 不是注意力汇聚的原因 llm-infra 邻接 analysis NET-new 锚入预备级
2609.09156 ReCite agent 邻接 method NET-new 邻接级
2609.08887 Q2D-Web agent 邻接 benchmark NET-new 邻接级
2609.09072 ToolLoop agent 邻接 method NET-new 邻接级
2609.08183 NeoHorse-1 agent method HF Daily 9-10 377▲ #1 · inference 邻接
2609.07821 A*-Thought-V2 risk method paper_card 1281 · inference 邻接
2606.19746 SAC CXL llm-infra method 沿用预备级
2508.08438 SafeKV llm-infra method 沿用预备级
2609.03430 Random Attention llm-infra method HF Daily 持续续立 · ⚠ paper_card 未入库

五、建议 E1 §IX 96 evening 活文档写入方向

  1. KVShareArena 写入 §1.(3) KV Cache 子轴 + §1.(2) 推理调度子轴邻接：RAG/多 Agent KV-Cache 复用边界场景系统性评测 · arXiv 2609.10266
  2. Encoded Early, Used Late 写入 §1.(11) Kernel/AI 自动化/Harness 子轴 + §1.(3) 长上下文子轴邻接：Transformer 残差流"信息可读早于被使用"形式化 · paper_card 1284 已建
  3. BeaconKV 续立确认写入 §1.(3) KV Cache 子轴：HF Daily 9-10 32▲ 续立 · TRT 现象修正
  4. Sustainable Distributed LLM Inference 写入 §1.(2) 推理调度子轴：能源/碳/缓存三维度控制平面 · arXiv 2609.05565
  5. Harness Engineering for LLM-Driven GPU Kernel Generation 写入 §1.(11) Kernel/AI 自动化/Harness 子轴：LLM 辅助 GPU kernel 生成工程边界实证 · arXiv 2607.17979
  6. CUDA Python 1.0 + AMD MI300X + vLLM prefix cache 三件套写入 §1.(11) + §1.(1) + §1.(2) + §1.(3) 各子轴：CUDA/Python 基础设施级里程碑 + AMD MI300X disaggregation 生产案例 + vLLM prefix cache 16-token 边界踩坑
  7. RoPE 不是注意力汇聚的原因 写入 §1.(11) Kernel/AI 自动化/Harness 子轴邻接：Transformer 内部注意力机制修正 · arXiv 2609.09085
  8. BeaconKV 分类争议核实（⚠ 优先）：jay 9-10 engineering-e1prep §"矛盾 A"持续
  9. Random Attention 2609.03430 paper_card 建卡（P0 缺口，9-15 deadline）
  10. KVShareArena 2609.10266 paper_card 建卡

Tom · 2026-09-10 22:20 CST · E1 预消化 · inference · 8 条主增量（1 件 NET-new radar 高价值 #1 锚入预备级 + 1 件 NET-new 主分类 llm-infra paper_card + 1 件 NET-new HF Daily 高票续立 + 2 件 NET-new arXiv + 3 件事件级/方法学 NET-new + 1 件邻接级 NET-new）· 12 件涉及 arXiv 号