llm-infra · E1 预消化简报(2026-07-20)

作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(为今晚主题活文档接力备课) 覆盖时段:2026-07-17 05:00(上一版 §V)→ 2026-07-20 18:40(本轮),即 ~3.5 天增量 基线:organized/knowledge/llm-infra.md §V 7-17 凌晨(11 维全景 + C35/D18/O116-118/T24) 覆盖来源:inbox/jay/ 7-17~7-20 共 18 份主题档 / inbox/spark/ 7-17~7-20 RSS / inbox/flyp / inbox/tom HF Daily / inbox/stephen 协调档;paper_cards/ 7-19~7-20 新增后端入库(465 张);work-queue.md 待建卡 0、待写攻略 0、待更新主题文档 2(llm-infra 与 multimodal,均 3-4 天未更新) 结论:本主题显著增量(~7 条主线 + 1 条横向附加),核心动作 = 引擎层升格实证 + KV cache 管理综述 + SAGA workflow 调度 + Atrex-Bench Kernel 评测基线 + ELDR PD-Disagg MoE + Harness 五层微软实证 + 4 个新 CVE,均直接对位活文档既有 §2 节,无重大矛盾 字数:约 3200 字

一、核心增量(7 + 1 条,按活文档归位顺序)

增量 1【引擎层 §2.1】vLLM V1 引擎完全重写 + MRV2 + 插件式硬件抽象(Simon Mo × Ray AI 访谈)

  • 来源:jay/2026-07-20-1506-evening-briefing-vllm-sglang-stack2026-kvcache-agents.md §一;youtube.com/watch?v=0ee6WRByj7c
  • 要点:vLLM v0→V1 完成核心引擎代码完全重写(2025-01~2025-11,历时 11 个月),迁移期间 API/配置完全兼容(透明升级)。Model Runner V2(MRV2) VLLM_USE_V2_MODEL_RUNNER=1,GB200 上 +56% 吞吐(详见 Spheron 7-19 H100 SXM5 SGLang 2,550 vs vLLM-APC 2,100 vs vLLM-APC-off 1,850 tok/s 矩阵)。插件式硬件抽象层:NVIDIA H100/A100/B200 + AMD MI300X(MooScrew/Moonshot 生产)+ Google TPU + AWS Trainium/Inferentia + Intel Gaudi + Cerebras + 5+ 更多。硬件厂商可独立开发插件接入 vLLM 统一调度器。
  • 与活文档关系:§2.1 已有 vLLM V1 connector 接口 + AMD MI355X MoRI-IO + MRV2 默认 + 10K contributors + vLLM Conference 2026 Ray Summit 8-24~26 等证据点。本条追加 V1 重写历时 + 透明升级 + MRV2 +56% GB200 实测 + 插件式硬件抽象 + 5+ 厂商五个新事实,从内部机制层确认 "vLLM AI Inference OS 升格"(O116 / D18)判断,而不是仅凭外部 connector 抽象推断。
  • 建议归入:§2.1(引擎 6 寡头)+ §2.10(Cloud-Native)+ O116 试金石加强;D18 争议新增"插件式抽象是否引发 vLLM → AI Inference OS 升格路径分化"角度。

增量 2【调度层 §2.2】MLSys WukLab 实测:vLLM 调度开销可占推理总时间 50%+,SGLang 在 decode-heavy 场景胜出

  • 来源:jay/2026-07-20-1506-evening-briefing-vllm-sglang-stack2026-kvcache-agents.md §一 + jay/2026-07-18-inference-engineering-agent-frameworks.md Spheron H100 数据
  • 要点:MLSys WukLab 研究 "Can Scheduling Overhead Dominate LLM Inference Performance?" 直接量化——vLLM 调度开销主要来自 tensor pre/post-processing 而非调度算法本身;SGLang 简化 tensor 处理 + 10-step scheduling(decode-only 每 10 步调度一次)显著更低。配套 Spheron 7-19 实测(H100,512-token 共享前缀 80% 重叠):c=50 TTFT p50 vLLM 310ms vs SGLang 195ms(-37%);c=100 vLLM 620ms vs SGLang 370ms(-40%);c=50 TTFT p95 vLLM 580ms vs SGLang 340ms(-41%)。RadixAttention 缓存命中率随前缀长度 75→92%(256→2,048 tokens)。Stripe 案例(7-19):50M 次/日 API 调用,迁移到 vLLM 后 GPU 集群缩至 1/3,推理成本降 73%(2025-12 更新,re-confirm §2.1 C19 共识)。
  • 与活文档关系:§2.2 已有 SGLang 断路器自适应窗口 + Floor-First + Tail-Aware + Non-clairvoyant 九学派。新增"调度开销来自 tensor 处理而非算法本身"作为下一层根因——补强 §2.13 决策树(Prefix overlap > 60% → SGLang)背后的工程原理,而不仅给一个阈值。Stripe 73% 降本数据比活文档既有 Stripe 案例更新(活文档未给具体数字,本条补齐 73% / 1/3 GPU / 50M req/day 三个量化指标)。
  • 建议归入:§2.2(调度 9 学派)+ §2.13(决策树)+ Stripe 案例数字补强;新增 O119 试金石:"vLLM multi-step scheduling 在 decode-heavy 生产场景下能否把 tensor 处理开销压回 10% 以内"。

增量 3【KV Cache §2.3】KV Cache Management 综述(30+ 系统 5 大架构原型) + Entropy-Guided + L2 异步预取 + KV-as-Resource 三件套

  • 来源:jay/2026-07-20-1455-engineering-filter-round2-jul2026-kvcache-saga-vllm-blog-ktransformers.md §一;jay/2026-07-20-1506-evening-briefing-vllm-sglang-stack2026-kvcache-agents.md §三;arXiv:2607.02574 / MDPI 13/15/2366 / AAAI-26 39224 / arXiv:2601.20326
  • 要点:KV Cache Management Survey arXiv:2607.02574——30+ KV cache 系统按 4 维度分类(locality / lifetime / ownership / substrate),5 大架构原型:local-paged / disaggregated-pipeline / shared-store / memory-pool / hybrid-tier;涉及 vLLM PagedAttention / DistServe / Splitwise / Mooncake / FlexKV / TFLMS / VEER;指出 KV cache 已从 per-request temporary tensor 演变为 first-class memory object——是综述类工程必读。Entropy-Guided KV Caching MDPI 2026:逐层注意力熵分配 KV budget(高熵层=大 budget / 低熵=sink-like 小 budget),与 NACL runtime-adaptive eviction 互补。L2 Cache Async Prefetch AAAI-26:H20 GPU attention kernel memory throughput 仅 47.10%,L1 hit 0.75%,L2 hit 0.06%——KV cache 预取有巨大空间;2.15× kernel + 1.97× throughput vs FlashAttention-3(Llama2-7B / batch=64 / output=4096)。Beyond Speedup arXiv:2601.20326 ICLR 2026——KV cache 从"推理副产品"演化为"first-class resource",可作 embedding/reasoning trace 复用。
  • 与活文档关系:§2.3 已有 KV cache 优化九件套 + KV 量化 4 路线图分叉。本条补强"系统分类学"(综述)+"预算分配层"(Entropy)+"硬件层"(L2 async prefetch)+"资源化范式"(beyond speedup) 四个独立但相关的补充,均对位 §2.3 既有 KVpop / SAC / InfoKV / VeriCache / KV Cache Transform Coding ICLR 2026 等条目,不重复。综述的 5 大架构原型(local-paged / disaggregated-pipeline / shared-store / memory-pool / hybrid-tier)正好对应活文档 §2.0 KV Pool 段落的现有工程实现,首次给出统一分类学骨架。
  • 建议归入:§2.3(KV cache 优化九件套 + 新增三件套 + 综述 5 架构原型);§6.3 引用清单新增 4 条;新增 C36 共识:"KV cache 已演化为 first-class memory object,5 大架构原型 (local-paged / disaggregated-pipeline / shared-store / memory-pool / hybrid-tier) 形成 2026 H2 KV cache 工程决策骨架"。

增量 4【Agent 推理调度 §2.2 + §2.7】SAGA Workflow-Atomic Scheduling arXiv:2605.00528 — 64-GPU 集群 1.73× vLLM

  • 来源:jay/2026-07-20-1455-engineering-filter-round2-jul2026-kvcache-saga-vllm-blog-ktransformers.md §二
  • 要点:SAGA 提出 program-level 调度(以整个 agent workflow 而非单次推理调用为第一调度单位)。三大机制:(1) Agent Execution Graphs(AEG) 捕获 workflow 结构,预测跨 tool-call 边界 KV cache 复用;WA-LRU eviction 达 Bélády 最优离线策略 1.31× 以内。(2) Session-affinity batching with work stealing 双层调度。(3) Agent Fair Share(AFS) 任务完成时间公平性指标,有 bounded-deviation 保证。64-GPU cluster benchmark:SWE-bench 1.73× vLLM v0.15.1(p<0.001),WebArena 1.64×(geometric mean, p<0.001);GPU memory utilization +1.22×;99.2% SLO attainment under multi-tenant interference。
  • 与活文档关系:§2.7 Harness Engineering Phase 3 + §2.0 Pipeline 思维已锁;但 §2.2 调度九学派目前主要覆盖 request-level(单次推理请求)。SAGA 是首个 workflow-level 调度实证,与既有 Floor-First/Tail-Aware 等"per-request scheduler"形成完整"per-workflow + per-request"双层调度。可与近期已有 KVComm NeurIPS 2025 (5 agent 70%+ KV 重用 ~7.8× 加速) + PSMAS 连续控制 34.8% token 减 合并为"compound AI 调度三件套"。
  • 建议归入:§2.2(调度 9 学派)+ §2.0(End-to-End Pipeline 思维)补强;§6.1 引用清单新增 arXiv:2605.00528;新增 C37 共识:"compound AI 系统必须从 request-level 调度升格为 workflow-level 调度,SAGA 是首个 64-GPU 集群 1.73× 实证"。

增量 5【Kernel 层 §2.4】Atrex-Bench arXiv:2607.14541 — 首个生产 trace Kernel 评测基线

  • 来源:jay/2026-07-19-2350-evening-inference-agentic-production-engineering.md §一;jay/2026-07-19-1050-inference-engine-benchmark-agent-memory-engineering.md §一
  • 要点:Atrex-Bench 30 算子 + 440 shapes,全部来自全集群生产推理 trace(1303 profiles,4 serving 框架:vLLM / SGLang / AITER / RTP-LLM,compute-limited / memory-rich GPU fleet,XPU-A + H20),每题有权重(基于实际 GPU 卡时占比)。算子耗时 Top 5 占 64%:unified_attention 36.1% / fused_moe 10.4% / block_scaled_mm 8.5% / fp8_blockscale_fused_moe 4.7% / paged_attention_decode 4.0%。6 个前沿 Coding Agent 实测:即便最强模型,在生产算子上 GPU roofline 利用率仅 ~10%;大部分"通过"来自 PyTorch fallback 而非真正由模型编写的 Kernel。配套 AKA Agent:profile-driven kernel 优化 + 迭代 measure-revise search + 优化 dropout,可将 PyTorch fallback 转化为真实 FlyDSL Kernel(匹配或超越参考实现)。
  • 与活文档关系:§2.4 Kernel 层已有 Fable 18.71× + μCUTLASS DSL 1.27× + TritonForge + VibeTensor + BespokeOLAP + GenDB + ISO-Bench 88.7%/71.3%。Atrex-Bench 首次把 Kernel 评测从"toy benchmark / 学术合成"拉到"生产 trace 真实权重",填补活文档最关键的方法论空白:"AI 系统写 kernel 到底能不能打"目前缺权威量化上限。AKA Agent 是这一方向首个可工程化的 follow-on(可比 Fable,但面向生产推理)。
  • 建议归入:§2.4(Kernel / AI 自动化);§6.4 引用清单新增 arXiv:2607.14541;新增 O120 试金石:"Atrex-Bench 真实生产 roofline ~10% 这一上限是否会随模型代际(GPT-5.5 / Claude Opus 4.8 / GLM-5.2 / Gemini 3.1)快速突破,Fable 18.71× / μCUTLASS 1.27× 是否被 Atrex 真实条件复现";新增 D19 争议:"Coding Agent 跑通 Kernel benchmark 是否等价于'会写高性能 kernel'?PyTorch fallback 路径下的通过率是否高估了 AI 系统在 ML Infrastructure 层的能力"。

增量 6【PD-Disagg MoE §2.0 / §2.1】ELDR(Expert-Locality-Aware Decode Routing,Microsoft Research) — 64-GPU DeepSeek-V3 31% 延迟↓ / 1.44× 吞吐↑

  • 来源:jay/2026-07-20-1735-evening-briefing-hf-daily-jul2026-simonwillison-agentic-patterns-rag-breakthroughs.md §一;HF Daily Papers 2026-07
  • 要点:ELDR 解决 MoE 在 PD disagg 场景下的 expert local 性痛点——跨机调用 expert 引入巨大 P2P 通信开销。方案:decode 阶段优先将请求路由到 local expert 所在节点,减少跨机通信。64-GPU DeepSeek-V3 实测:decode latency ↓ 31%,throughput ↑ 1.44×。Microsoft Research 出品可信度高,与今日 14:55 简报已覆盖 Mooncake RDMA P2P transfer 互补(Kimi-K2 weight update 53s → 7.2s = 7× 加速)。
  • 与活文档关系:§2.2 Disagg 五节点闭环已有 HaoaiLab / Nexus / PPD / SPAD / Rubin CPX。ELDR 把第五节点(硬件层)从"芯片级 less-is-more"延伸到"系统级 expert local 性"——是 Rubin CPX 之外的第二条硬件-算法协同路径,且实测可直接落地 vLLM / Mooncake 现有栈。与现有 PPD Append-Prefill 一起组成"多轮 + MoE local 性"PD Disagg 双轮驱动。
  • 建议归入:§2.2(Disagg 五节点闭环)+ §2.0(End-to-End Pipeline);§6.7 引用清单新增 ELDR arXiv 号(本次 HF Daily 仅有 query 名,需后续按论文 URL 补全);新增 C38 共识:"PD Disagg 必须同时考虑多轮(PPD)与 MoE expert local 性(ELDR),单点优化不足"。

增量 7【Harness §2.7】Microsoft Foundry / Copilot 五层 Harness 实证(80K 企业 / 20M Copilot / 6× YTD)+ Harness re-tuning per model release

  • 来源:jay/2026-07-20-1050-engineering-filter-round1-jul2026-inference-harness-vecdb.md §三;blog.bytebytego.com/p/how-microsoft-ships-ai-agents-at;Marco Casalaina(Microsoft Core AI VP)访谈
  • 要点:Microsoft Foundry 80,000+ 企业构建 AI 应用;Microsoft 365 Copilot 20,000,000+ 用户;一线 agent 月活 +6× 同比 YTD;支持 11,000+ 模型(OpenAI/Anthropic/xAI/DeepSeek/Microsoft MAI)。五层 Harness 架构:Inference Layer(模型抽象层)→ Agent Runtime(编排 loop + 工具调用 + 对话状态)→ Context Retrieval → Identity Layer(身份控制 + audit trail)→ Guardrails + Evaluators。关键洞察:"Prototype 不出问题的地方,生产才出问题"(数据过时、工具调用失败、edge cases、model update 行为漂移、identity 控制缺失);Harness re-tuning 周期 = 每个新模型发布必须重新调优 harness 并重跑 evals(案例:Claude Opus 4.8 发布后 GitHub Copilot CLI 团队);Agent runtime 原则——不是所有步骤都过 LLM,数据库查询和专用提取模型比 LLM 更快/更便宜/更可靠。
  • 与活文档关系:§2.7 已有 Harness Engineering Phase 3 三件套(Claude Code + Faros + Ellipsis + Self-Improvements Survey + Lilian Weng Harness 2026-07-04)。微软五层 Harness 是首家公开最大规模生产实证,把 Phase 3 从"独立框架论述"升级到"跨国科技公司 80K 企业 + 20M 用户级别 production operating model"。"不是所有步骤都过 LLM"原则 对 §2.7 End-to-End Pipeline 7 件 = "Eval 三足鼎立 + Harness Reliability" 是关键补强。
  • 建议归入:§2.7(Harness Engineering Phase 3 + 实证规模升级)+ §6.7(关键 URL 新增 bytebytego.com);新增 C39 共识:"Harness 是跨国科技公司 AI 战略的核心架构(非实验项目),五层架构与 Phase 3 收敛;Harness re-tuning 是 per model release 的永久成本,不是一次性投资"。

附加增量【横向 §2.5/§2.7】4 个 Agent 安全新 CVE(2026-07-10 Orca Security 披露)+ ProbeLogits arXiv:2604.11943 OS 内核级 LLM 原语

  • 来源:jay/2026-07-20-1050-engineering-filter-round1-jul2026-inference-harness-vecdb.md §五;jay/2026-07-18-technical-digest.md §一;awesome-ai-agent-attacks GitHub
  • 要点:4 个 2026-07-10 披露 CVE(归入活文档 §6.8 全集):
  • CVE-2026-61447 PraisonAI CodeAgent:LLM 生成 Python 无 AST 验证 / sandbox 直接执行 RCE,利用难度低
  • CVE-2026-54769 Langroid:TableChatAgent VectorStore full_eval=True 沙箱逃逸,利用难度中
  • CVE-2026-57572 Crawl4AI:Docker API 无认证 RCE,利用难度低
  • CVE-2026-59726 Ruflo:未认证 MCP bridge,terminal_execute 授予 shell 权限,严重
  • Orca Security 2026 AI Security 统计:99.9% AI 相关漏洞告警有补丁但未修补 / 81.2% 公司运行含已知漏洞 AI 包 / 74.1% 含至少一个 CVE 关键漏洞 / 64% 运行向量数据库(RAG 用户平均 3.78 个向量库)/ ~30% 以不安全方式存储 AI API 密钥 / 90% 部署 Agent 过度授权(Codingscape 数据)
  • ProbeLogits arXiv:2604.11943:在 Linux 内核中运行 LLM 推理,利用 next-token logit 分布做访问控制策略判断,无需生成文本即可分类 Agent 行为为安全/危险。4-bit 量化后 7B 模型仅需 4.1GB RAM,AVX-512 VNNI 加速,per-token 推理 ~78.6ms。
  • 与活文档关系:§2.5 安全已有 GRIEF + 9 CVE + Token-Flow Firewall + Trajel + Provably-Safe LLM + xAI Grok Build + Pentesting Agents + DP RAG。本条把 9 CVE 扩至 13 CVE,新增"agent 框架漏洞"作为独立分类。Orca Security 99.9% 补丁未修数据是 OWASP 之后 AI 安全行业最严重的数据信号(比活文档现有 CVE 数据更宏观)。ProbeLogits 与活文档 OS/内核方向空白契合,代表 AI 安全向 OS/内核下沉的新趋势。
  • 建议归入:§2.5(安全)+ §6.8 CVE 全集从 9 ID 扩至 13 ID;新增 O121 试金石:"99.9% 补丁未修这一行业数据是否会被 Agent 死亡事故反向驱动出强制补丁 SLA";新增 D20 争议:"90% Agent 过度授权 + 99.9% 漏洞未修,是否意味着 agent 框架生态本身尚未达到生产安全门槛"。

二、值得警惕 / 待核实的矛盾或说法

待核实 1:SAGA 64-GPU 1.73× 实测 vs Mooncake Store 7-19 7× weight update

SAGA(arXiv:2605.00528)与 Mooncake RDMA P2P 7× weight update(7-19 GitHub 更新)均属"复合 AI 系统协同优化"路径,但实验规模(64-GPU vs 数千 GPU)和优化对象(per-workflow scheduling vs weight transfer latency)不同,端到端叠加效果未实测。建议下一轮合并追踪:同一 64-GPU 集群上叠加 SAGA + Mooncake RDMA P2P + KVpop 是否能跨过 2× 推理加速门槛。

待核实 2:Atrex-Bench ~10% roofline 是否会被 Fable 18.71× 复现

Fable 18.71× KernelBench-Mega(Claude Opus 4.8 14.4× / GLM-5.2 11.14× / GPT 5.5 4.34×)是 §2.4 既有数据,但基于 KernelBench 学术合成题,Atrex-Bench 基于生产真实 trace + 真实算子权重。两套评测体系不可直接互比,Atrex-Bench 真实条件下的模型表现尚未有公开复现数据——可能比 Fable 数据显著低(报告 ~10%),也可能接近 Fable 数据(报告接近).需要 vLLM 社区或 Anthropic 团队给出对照。

待核实 3:ELDR arXiv 编号

ELDR 在 HF Daily Papers 仅有 query 名 "eldr" 和机构 "Microsoft Research",本次 1735 简报未给完整 arXiv 编号。活文档 §6.7 引用清单若新增 ELDR 必须先核实 arXiv ID(可能在 2607.1xxxxx 区间)。建议下一轮补查。

待核实 4:Mastra Observational Memory "4-10× token 成本削减"

来自 jay/2026-07-20-1506-evening-briefing 4-10× 是相对 RAG 的对比数据,但未公开 benchmark 链接 + 真实 trace,只是 buildmvpfast.com 二级二手综述。可信度中等偏低,不直接进入活文档 §2.8 RAG 演进,建议持续关注 Mastra 官方 release note / 复现实验。

待核实 5:SGLang 400K+ GPU + 1T tokens/day + xAI Grok 2.5 / Microsoft Azure DeepSeek R1 on MI300X

来自 DevOpsBeast 2026-07-20,具体数据只有二级综述链接,无 SGLang 官方 confirm。LMSYS Chatbot Arena 300K+ GPU 可独立核实(公开博客);xAI Grok 2.5 / Microsoft Azure DeepSeek R1 on MI300X 是新事实需对位 SGLang 官方 release。活文档 §2.1 现状全景描述不宜据此调整生产规模数据,建议作为待核实条目保留。

待核实 6:Cortex AISQL "15-69× semantic Join" 在 SIGMOD Companion 2026 出现

活文档 §2.6 已记录"Cortex AISQL(SIGMOD Companion 2026 Snowflake 语义 Join 15-69×)",新一轮报道未提供新数据,只是回引;与既有 §2.6 一致,不重复增加。

待核实 7:ProbeLogits 78.6ms / token 性能

arXiv:2604.11943 给出 78.6ms/token on 4-bit 7B AVX-512,是否在生产安全 Agent 监控场景足够快(一个 200-token 输出需要 15.7 秒,对实时策略判断过长)?需对位具体安全决策延迟预算(SLA < 100ms 典型)。

三、可引用 arXiv 号列表(本轮增量中已交叉验证的 ID)

按活文档 §6 节归位:

§6.1 核心推理引擎与基准(新增 1)

  • arXiv:2607.14541 — Atrex-Bench,首个生产 trace Kernel 评测基线,6 个 Coding Agent roofline ~10%
  • arXiv:2601.20326 — Beyond Speedup: Utilizing KV Cache for Sampling and Reasoning(ICLR 2026)
  • arXiv:2605.00528v2 — SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters(1.73× vLLM 64-GPU)
  • arXiv:2607.02574 — A Survey of KV Cache Management for LLM Serving: From Tensor Buffer to Distributed Memory Hierarchy(30+ 系统 5 架构原型)
  • arXiv:2607.09248 — General Non-Clairvoyant KV-Cache Scheduling via Regime-Aware Routing(O(1)-competitive)
  • arXiv:2603.04304 — Aurora: Adaptive Speculative Training(Together AI / ICML 2026,1.5× + 1.25× 流量变化)
  • arXiv:2604.11943 — ProbeLogits: OS 内核级 LLM 推理原语(78.6ms / token AVX-512 4-bit 7B)
  • arXiv:2607.01831 — Lynx: Progressive Speculative Quantization for KV Transfer in Long-Context Inference(SIGCOMM '26 投稿)
  • arXiv:2605.04595 — A Queueing-Theoretic Framework for Stability Analysis of LLM Inference with KV Cache Memory Constraints(ICML 2026,既有,可对照)

§6.3 KV Cache / 量化 / 存储(新增 2)

  • MDPI 13/15/2366(2026) — Entropy-Guided KV Caching for Efficient LLM Inference
  • AAAI-26 Article 39224 — L2 cache-based async prefetch for KV Cache(2.15× kernel / 1.97× throughput)
  • arXiv:2607.02574(同上,综述类亦属 §6.3)

§6.5 Agent 安全 / 记忆 / 评估(新增 1)

  • arXiv:2604.11943(ProbeLogits,同上,亦属 OS/内核安全)
  • arXiv:2604.25850(Agentic Harness Engineering / AHE,既有 36 引,可对照 re-tuning 实证)

§6.7 新增参考文献(本轮全增量)

  • arXiv:2607.14541 / arXiv:2601.20326 / arXiv:2605.00528v2 / arXiv:2607.02574 / arXiv:2607.09248 / arXiv:2603.04304 / arXiv:2604.11943 / arXiv:2607.01831

§6.8 CVE 全集(从 9 ID 扩至 13 ID)

  • 既有:CVE-2026-5241 / CVE-2026-3172 / CVE-2026-22773 / CVE-2026-22778 / CVE-2026-24779 / CVE-2026-25960 / CVE-2025-30165 / CVE-2025-62164 / CVE-2025-66448
  • 新增:CVE-2026-61447(PraisonAI)/ CVE-2026-54769(Langroid)/ CVE-2026-57572(Crawl4AI)/ CVE-2026-59726(Ruflo)
  • 统计来源:Orca Security 2026 State of AI Security Report / Codingscape 2026(90% 过度授权)

§6.9 关键 URL(本轮新增)

  • https://www.youtube.com/watch?v=0ee6WRByj7c — Simon Mo × Ray AI 访谈 vLLM V1 引擎完全重写
  • https://mlsys.wuklab.io/posts/scheduling_overhead — WukLab 调度开销可占推理总时间 50%+ 研究
  • https://vllm.ai/blog/2026-07-16-keeping-vllm-production-quality — vLLM Production Quality CI/CD/三道关卡
  • https://devopsbeast.com/blog/vllm-vs-sglang-production-2026 — DevOpsBeast SGLang 400K+ GPU + xAI Grok 2.5 生产规模
  • https://www.spheron.network/blog/vllm-vs-sglang-2026 — Spheron 7-19 TTFT p50/p95 实测矩阵
  • https://www.morphllm.com/nano-vllm — 1,200 行可读 vLLM 教学实现(PagedAttention / continuous batching / TP)
  • https://blog.bytebytego.com/p/how-microsoft-ships-ai-agents-at — Marco Casalaina Microsoft Foundry 五层 Harness 实证
  • https://www.buildmvpfast.com/blog/best-open-source-ai-projects-github-2026 — Mastra Observational Memory 4-10× token 减
  • https://github.com/webpro255/awesome-ai-agent-attacks — 4 个新 CVE 聚合 + Orca Security 数据
  • https://arxiv.org/abs/2607.01831 — Lynx(SIGCOMM '26)
  • https://arxiv.org/abs/2604.11943 — ProbeLogits
  • https://arxiv.org/abs/2605.00528 — SAGA
  • https://arxiv.org/abs/2607.02574 — KV Cache Management Survey
  • https://arxiv.org/abs/2607.09248 — Non-Clairvoyant Regime-Aware Routing
  • https://arxiv.org/abs/2607.14541 — Atrex-Bench
  • https://arxiv.org/abs/2603.04304 — Aurora Adaptive Speculative Training
  • https://arxiv.org/abs/2601.20326 — Beyond Speedup: KV Cache for Sampling and Reasoning(ICLR 2026)
  • https://github.com/kvcache-ai/Mooncake — Mooncake vLLM Store + RDMA P2P(7× weight update Kimi-K2)
  • https://github.com/kvcache-ai/ktransformers — KTransformers v0.6.1 AVX2-only CPU 后端 + 24GB 单卡 DeepSeek-R1
  • https://huggingface.co/papers?q=eldr — ELDR(Microsoft Research,arXiv 编号待核实)
  • https://huggingface.co/papers?q=kronq — KronQ LLM Quantization via Kronecker-Factored Hessian(USC,arXiv 编号待核实)
  • https://huggingface.co/papers?q=seed — SEED: Self-Evolving On-Policy Distillation for Agentic RL(arXiv 编号待核实)
  • https://simonw.substack.com/p/agentic-engineering-patterns — Simon Willison "Writing code is cheap now" + Karpathy December hypothesis
  • https://gradientflow.substack.com/p/rag-reimagined-5-breakthroughs-you — RAG 2026 新范式:Agentic RAG + Epistemic Humility

四、检查过的来源清单(无新增量确认)

为避免漏读,本轮交叉检视: - inbox/jay/2026-07-17-1950-evening-briefing-vllm-sglang-deepseek-arxiv-moe-ossmodels.md(vLLM v0.17-0.19 / EAGLE-3 AMD / vLLM-Omni / MiniMax M3) - inbox/jay/2026-07-17-csdn-llm-infra-rag-agent-research.md(SGLang vs vLLM 2026-07-12 + 5 大框架对比 + DeepSeek-R1 + Agent 架构) - inbox/jay/2026-07-17-csdn-vllm-agent-finetuning-rag-mlops-substack.md(vLLM 2026 4 大核心技术 + LangChain/AutoGen/LlamaIndex) - inbox/jay/2026-07-17-1450-engineering-filter-inference-bench-debug-aiagents.md - inbox/jay/2026-07-17-1735-evening-briefing-inference-systems-agent-security-substack-jul2026.md - inbox/jay/2026-07-18-inference-engineering-agent-frameworks.md(Q2 2026 vLLM/TGI/SGLang/Triton H100 + Spheron 三引擎 + TechSy/Particula + Zylos 优化 + OWASP + Addy Osmani + MorphLLM) - inbox/jay/2026-07-18-daily-research.md(PostgreSQL-V CIDR 2026 + pgvector 0.9 + Salt 10 库 19 字段 + 6 引擎完整对比 + CNCF 2020 万开发者 + K8s 1.35 安全) - inbox/jay/2026-07-18-technical-digest.md(ProbeLogits + Lynx + FlashInfer v0.6.14 + Aurora + EAGLE-3 + Red Hat 分布式 AI 推理 + K8s 1.36 + Langfuse OTel + GLM-5.2 + SkillOpt + SmolDocling/MinerU + VibeVoice 1.5B) - inbox/jay/2026-07-19-1050-inference-engine-benchmark-agent-memory-engineering.md(Kubesimplify DGX Spark 三引擎实测 + Atrex-Bench + Multi-agent Memory + agent-memory-build + Alicelabs Q2 2026 框架 + mem0/EverOS/TencentDB/honcho) - inbox/jay/2026-07-19-1500-engineering-filter-inference-backend-reproducibility-silent-errors.md(silent errors + GRIEF Fuzzing + PrivaCI 等) - inbox/jay/2026-07-19-2350-evening-inference-agentic-production-engineering.md(Atrex-Bench + Spheron 7-19 TTFT + AI Engineer Substack 三大失败模式 + 2026-03 schema drift + dev.to silent tool calls + Kiro AWS 案例) - inbox/jay/2026-07-20-0820-csdn-inference-agent-quantization-highvalue-jul2026.md(5 大推理优化方向 + 5 框架横评 + LMDeploy/vLLM/SGLang 23% 提升 + GPTQ/AWQ/GGUF 2026 + DistServe + Qwen3 实战) - inbox/jay/2026-07-20-0946-ai-agent-security-vecdb-harness-engineering-jul2026.md(agent security + harness engineering) - inbox/jay/2026-07-20-1050-engineering-filter-round1-jul2026-inference-harness-vecdb.md(Lilian Weng Harness + ByteByteGo Marco Casalaina + 4 个 CVE + Arjun Jaggi VecDB 架构 + pgvector 0.8.0 5.7×) - inbox/jay/2026-07-20-1105-morning-briefing-database-backend-cloudnative-inference.md(LeaseGuard SIGMOD 2026 + pgvector CVE-2026-3172 紧急 + Qdrant v1.18 TurboQuant + Milvus 3.0-beta + 6 款 VecDB 横评 + Turbopuffer + Nate's Newsletter Knowledge Layer + K8s 趋势 + CNCF 98%) - inbox/jay/2026-07-20-1455-engineering-filter-round2-jul2026-kvcache-saga-vllm-blog-ktransformers.md(SAGA + KV Cache Survey + vLLM Production Quality + Mooncake vLLM Store + KTransformers v0.6.1 + James Phoenix Production Notes) - inbox/jay/2026-07-20-1506-evening-briefing-vllm-sglang-stack2026-kvcache-agents.md(vLLM V1 重写 + WukLab 调度开销 + DevOpsBeast + Stripe 73% 降本 + Entropy-Guided + L2 async prefetch + ICLR 2026 KV beyond speedup + Queueing-Theoretic KV + OpenClaw + Mastra + Hermes + Spheron 生产指南 + Eagle3 2.9× + nano-vLLM) - inbox/jay/2026-07-20-1735-evening-briefing-hf-daily-jul2026-simonwillison-agentic-patterns-rag-breakthroughs.md(SEED + KronQ + ELDR + Orca + VideoChat3/Vidu/UniVR + Simon Willison writing code cheap + Karpathy December hypothesis + Gradient Flow RAG 新范式 + AI System Design Guide 19 章节 + AI Engineering Field Guide + 6 月中国开源月报) - inbox/spark/2026-07-20-1001-rss-gradient-flow.md(RAG 新范式,已通过 1735 简报吸收) - inbox/spark/2026-07-20-1001-rss-chip-huyen.md(一般 RSS,无新增量) - inbox/spark/2026-07-20-1003-rss-yt-3blue1brown.md(视频,无可提取结构化数据) - inbox/tom/2026-07-20-0900-hf-daily-2026-07-20.md(HF Daily 同源,主要被 jay 1735 吸收) - inbox/stephen/2026-07-20-1245-stephen-coordination-check-noon.md(协调档,无新增量) - paper_cards/ 7-19~7-20 新增后端入库 465 张,本主题相关 162 张含 2607 标签;其中已确认的 7 张(401/402/405/406/407/375/377/395/367/368) 均为既有活文档收录对象(7-17 凌晨 §V 之前或同步);新增 arXiv ID(2607.14541 / 2607.02574 / 2607.09248 / 2605.00528v2 / 2607.01831 / 2604.11943 / 2603.04304 / 2601.20326)均尚未进入 paper_cards 后端入库,本轮预消化负责向活文档 §6 节引用清单追加 - work-queue.md Top 15 高价值全部是 Agent / Agentic / 视觉 / 数学 / Robotics / Tool / Metacognition 等,与 llm-infra 主线交集小,待建卡 0(系统判定本主题无紧急新卡待建)

五、给今晚接力主题文档作者的优先级建议

按"对活文档结构改动量 + 工程决策影响"双维度排序:

🔴 P0(强烈建议本轮消化): - 增量 3 KV Cache 综述 5 大架构原型 + 增量 7 Microsoft 五层 Harness 实证——前者补强 §2.3 分类学骨架,后者把 §2.7 Phase 3 推到 production scale 锚点,两者均需新增 C36/C39 共识 - 增量 5 Atrex-Bench——首次量化 Kernel 评测生产上限,§2.4 最重要补充,需新增 O120/D19

🟡 P1(建议本轮消化): - 增量 1 vLLM V1 重写 + MRV2 +56% + 插件式硬件抽象——补强 §2.1 / O116 / D18 - 增量 4 SAGA workflow-level 调度 64-GPU 1.73×——填补 §2.2 调度九学派"per-workflow vs per-request"双层,新增 C37 共识 - 增量 2 WukLab 调度开销 50%+ + Spheron 7-19 TTFT——补强 §2.13 决策树工程原理

🟢 P2(可选): - 增量 6 ELDR PD-Disagg MoE + 附加增量 4 新 CVE + Orca 99.9% 补丁未修——分别对位 §2.2 Disagg 五节点闭环扩 6 节点,§2.5 + §6.8 从 9 CVE 扩 13 CVE,新增 C38/D20

⚪ 观察(不进入本轮活文档): - Mastra Observational Memory 4-10× token 减(待核实) - SGLang 400K+ GPU + xAI Grok 2.5 / Azure MI300X(待官方 confirm) - ELDR / KronQ / SEED 完整 arXiv ID(本轮仅有 query 名)

六、与活文档 §V(7-17 凌晨)总对比

活文档 §V 已稳定包含 Disagg 五节点闭环 + RotorQuant + Memora + SkillOpt + Self-Improvements Survey + AgentCompass + vLLM V1 connector TileRT + AMD MI355X MoRI-IO + TML Inkling 1T + EAGLE-3 AMD Instinct + Fluid-Guided WAIT + Grok Build lethal trifecta + 端侧 KV Q4 27× + KV 量化 4 路线图 + Fable 18.71× + Inference Engineering 职业化 + eBPF KubeCon EU 2026。

本轮新增量主要在 5 个方向: 1. V1 重写历时 + 透明升级 + 插件式硬件抽象(§2.1) 2. WukLab 调度开销根因 + Spheron 7-19 TTFT + Stripe 73% 数字(§2.2 / §2.13) 3. KV cache 综述 5 架构 + Entropy / L2 / KV-as-Resource 三件套(§2.3,首次给出 KV cache 工程决策骨架) 4. SAGA workflow-level + Atrex-Bench 真实 roofline + ELDR PD-Disagg MoE(§2.0 End-to-End 7 件 + §2.2 + §2.4,首次量化复合 AI 系统调度的实证上限与 Kernel 评测真实上限) 5. Microsoft Foundry 五层 Harness + 4 个新 CVE + Orca 99.9% 补丁未修(§2.7 + §2.5 + §6.8,首次给出 Harness 的跨国科技公司 production operating model 与 Agent 安全行业数据)

活文档元结构(34 共识 + 18 争议 + 118+ 试金石 + 24 趋势)在 §V 末已锁,本轮建议扩展至 37 共识 + 20 争议 + 121 试金石 + 趋势增量更新(具体扩展见上 §一 各增量条目末尾)。

下次预计:2026-07-20 21:00 evening cron(Wave3 E1 第二十九轮)或 2026-07-21 早间 cron。