llm-infra · E1 预消化简报(2026-08-04)

作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 15 棒 · 8-4 晚间活文档接力备料) 覆盖窗口:2026-08-03 18:40 → 2026-08-04 18:40(约 24h 主增量)+ 8-3 22:00 → 8-4 18:40 重点窗口 活文档基线:organized/knowledge/llm-infra.md §IX·37th(2026-08-03 04:00 收官 · 81.6 KB / 80KB 上限略超 · C1-C106 共 106 条 / D1-D43 / O1-O186 / T1-T31 · 17 CVE + HF 入侵 RCE 第 2 例 + 推理引擎 0-trust 六件套 + Memory Provenance Laundering 39 面 + airllm 4GB + AIMultiple 29% + NexusQuant + SSD + Workload-Router-Pool silent drift + 数学优化 Ω(√(B log G)) + MCP tool smelly + CAIN 2026 + KV Cache 5 大方向 + Flash Attention O(n²) 修正 + Beyond pass@1 反方 + PROTEA + Datadog 隐线 53 + DialogGuard + GovScape + ArcLight + SGLang v0.5.15 GLM-5.2 NVFP4 8×B300 500+ tok/s) 本场启动状态:stephen 8-4 1245 noon 协调棒 §1 + §2.1 + §4.2 明确指出 spark 端 8-4 早间 0 件 e1prep 已连续 2 天(8-3 + 8-4 早间)缺位,反思棒物理动作失效第 3 例,lessons-W31 §3.5"e1prep 主题缺漏模式化"在 spark 端首次明确复发;本次 18:40 cron 强制触发补位;同期 jay 8-4 异常高产(Jay 6 件主力棒 + 5 件 CSDN/Substack/evening briefing + 2 件 RSS/tech-newsletter = 13 件;Tom 8-4 0 件 inference-e1prep 早间早缺位)—— 5 主题主力棒 8-4 早间仅 60% 满;flyp 8-4 risk/multi-modal 棒补位到位 检查范围: - work-queue.md 2026-08-04 18:00(待建卡 0 / Top 15 高价值 5 件均为 2608.* 8 月新号 LeapTalk/CADENA/3DZip/Motion Beyond/Progressive Agent Skill,全部非 llm-infra 主分类;论榜 2607.24368 未成脚本) - inbox/jay 8-3 evening → 8-4 18:40 共 22 件(8-4 13 件主力棒 + 9 RSS/数据):T0940-jay-ai-engineering-trending-aug(10.5 KB · Trending AI 工程)+ T1050-jay-engineering-filter(10.5 KB · LLM-推理可观测性 OSDI 2026 + vLLM/SGLang 4 周课 + Gemma 4 Kernel + NVIDIA 控制钩子 + GREEN-AI)+ T1335-jay-ai-engineering-trending-aug-2(11.7 KB · 第二轮 trending)+ T1620-jay-csdn-substack-ai-engineering-deep-dive(12.4 KB · 昇腾 vLLM-ascend 0.11.0 + Pragmatic Engineer 推理工程三层 + BrainBytes 六层 + Agent Guardrails 2024→2026 三层模型)+ T1735-jay-evening-briefing-vecdb-mcp-inference-agents-aug2026(11.3 KB · KV Cache 4 件新工作 + SGLang 2026 夏季更新 + MCP 实证 1723 GitHub 应用 85%/37% + Kimi K3 + vLLM Disagg 文档)+ T1850-jay-engineering-filter-p2(18.3 KB · CSDN 推理排坑)+ T1905-jay-five-category-briefing(13.4 KB · 五类筛选)+ 0820-llm-inference-csdn-highvalue(10.7 KB · vLLM 部署排坑 + AIMultiple H100 + Spheron Inference Engineering 2026)+ 1140-news-x-tech-radar + 1220-csdn-rag-mlops-agent-highvalue + 1001/1002/1003/1004/1005 RSS - inbox/tom 8-3 evening → 8-4 18:40 共 1 件 radar(T0840-agent-rag-longcontext-radar · 8 件候选 4 高价值 SAF-OPD 8-4 沿用 + HyPE + EMBL + CrossRAG · 0 件 inference-e1prep 8-4 早间产出 = 8-4 llm-infra 双端缺位) - inbox/flyp 8-3 evening → 8-4 18:40 共 5 件:0950-Mental-World-Modeling-critical-read(14.8 KB · MWM arXiv:2607.27201 升档 v39 + 立基础 + llm-infra 弱邻接 隐线 16)+ 1001-rss-cameron-wolfe + 1003-rss-interconnects + 1006-rss-yt-two-minute-papers + 1006-rss-yt-ai-explained + 1550-TEngineDB-V-and-DEFRAG-systems-critical-read(8.3 KB · DPPQ 方向感知量化 + 邻接 inference 工程) + multimodal-e1prep(43.1 KB · 8-4 02:10~08:40 17 张新卡全分类 + llm-infra 主 3 张 699/700/701 + Multimodal 弱邻接 2 张 699/702) + risk-e1prep(27.7 KB · R36 沿用 + Constitutional Midtraining 2607.26654 P2 候补级 + SGLang 3 CVE 跟催 状态核实 + OWASP MCP Top 10 Agent Guardrails 演变) - inbox/stephen 8-3 evening → 8-4 18:40 共 15 件:1245-stephen-coordination-check-noon(30.1 KB · spark 8-4 早间 0 件 e1prep 双端缺位第 3 例 + 5 主题缺位 60% + 反思棒物理动作失效)+ 1004-news-anthropic-news + 1004-news-openai-news + 1005-news-deepmind-news + 1005-news-google-ai + 1005-news-hf-blog + 1005-news-tldr-ai + 1007-news-yt-{anthropic,deepmind,openai} + 0910-news-x-vip-radar + 1005-news-bens-bites + ai-industry-e1prep(53.9 KB · GPT-Live + Circles + Karpathy Opus 5《指环王》+ Jim Fan Berkeley Summit + 4 件 HF Daily 轮换 + 17 张 paper_card 1.42 张/h 净增) - inbox/spark 8-3 evening → 8-4 18:40 共 3 件 RSS(1002-rss-gradient-flow + 1003-rss-chip-huyen + 1007-rss-yt-3blue1brown) + agent-e1prep-v39(75.8 KB · 触发版 5 件 net-new 候选 + P0 警示 5 天缺位 + 6 件 arXiv 跨实例交叉确认 + Counterfactual Sensitivity Credit arXiv:2607.27888 multimodal 主 / llm-infra 边界) - paper_cards 8-3 14:10 / 8-4 02:10 / 03:00 / 12:30 / 14:14 / 15:08 净增 22 张(689-710,707-711,712-719 部分):8-4 02:10 8 张(695-702)+ 12:30 6 张(693-694/703-706)+ 14:14 5 张(707-711)+ 15:08 1 张(710-2607-27851)+ 16:30 8 张(712-719 2608.* 占位 900-980 bytes);llm-infra 主分类 8-4 早晨 3 张(699 Meshy T2 流匹配网格生成 + 700 Rubric-based RL Self-Distillation + 701 SAF-OPD On-Policy 蒸馏稳定优势融合 + 702 3D-Aware RGB-NIR 邻接)但均为非 inference 核心(3D 资产/RL 训练/视觉);inference-systems 主分类 0 张(连续第 5 个零新增日) - HF Daily 8-4 票榜饱和度从 v38 "完全饱和" 微反弹为 v39 "轮换态"**(stephen 8-4 1020 ai-industry):4 件 net-new 入榜 + 1 件下榜 + 10 件续立

0. 综述判断

本场 llm-infra 主题 8-3 18:40 → 8-4 18:40 约 24h 窗口增量性质:中密度(5 主线 + 3 旁证 + 2 警示),且主线集中在工程 + KV Cache 优化深水区,4 件新 KV Cache 优化工作(TopKV / C²KV / HiKV / KV-Counterfactual-Surprise)与 2 件新 tokenization/预算层 KV Cache 优化(TokTier / ResKV)集中爆发,代表 KV Cache 优化从 §IX 37th"14+1 件套 + 7 大顶会议"立标饱和后 开始向下沉方向(拓扑感知传输 + 非前缀复用 + 分层重要性 + 反事实惊喜 + tokenization 层 + 固定预算压缩)扩面;SGLang 2026 夏季更新 + SGLang EFA 死锁 + AWS EFA 300s 超时空响应 + Kimi K3 vLLM 深度合作 = 推理引擎主线 4 件 net-new;推理工程学(OpensDI 2026 + 4 周课 + Gemma 4 Kernel 优化 + NVIDIA 控制钩子 + GREEN-AI + Pragmatic Engineer 推理工程三层 + Philip Kiely《Inference Engineering》新书线索)6 件 net-new 集中立标,继续响应 §IX 37th §1.(7) 推理经济学 6 维证据汇聚;vLLM-ascend 0.11.0 昇腾国产化 5 年踩坑立标饱和 = §IX 37th §1.(1) 推理引擎 6 寡头+1 边界扩展 + §IX 36th §1.(7) vLLM 国际化 邻接返修;反思棒物理动作失效 P0 警示(spark 8-4 早间 0 件 e1prep 连续 2 天缺位 + 反思棒物理动作持续未兑现) —— 但 cron 强制触发本棒 = 物理动作第 3 次强制兑现;SGLang 3 CVE 6 个月未响应协调披露 flyp 跟催(stephen 8-4 noon 列入 P0 优先级 + 8-4 SGLang 0.5.10 patch 2026-03-12 修正 spark 8-3 e1prep "维护者 6 个月未响应" 误判 vs 0.5.15 release notes 8-4 是否新增 CVE-2026-14890 修复落地 边界)。建议今晚活文档接力以"主线 5 件 net-new KV Cache 优化扩面 + SGLang 2026 夏季更新 + 推理工程 6 件实证 + 国产化 vLLM-ascend + 反思棒物理动作持续兑现"为主轴,无需重构现有 §IX 37th 骨架;反思棒警示不可挡活文档主线接入工作。**

1. 核心增量(5 主线 + 3 旁证 + 2 警示)

增量 1【KV Cache §1.(3) + §1.(12) Pipeline (i)】KV Cache 优化第 6 件集群扩面:TopKV / C²KV / HiKV / 反事实惊喜 KV(jay 8-4 evening briefing 17:36 ★★★★ 建议补)

来源:inbox/jay/2026-08-04T1735-jay-evening-briefing-vecdb-mcp-inference-agents-aug2026.md 条目 1-7 + flyp 8-4 multimodal-e1prep §2.42.x 邻接

四条新工作综合展开:

(a) TopKV arXiv:2607.28633 拓扑感知 KV Cache 传输调度器: - 核心问题:Disaggregated LLM 推理中 KV Cache 跨 GPU 传输时,现有 DistServe / Splitwise / Mooncake 统一 RDMA 忽略GPU 间带宽差异高达 72× - 量化数据:70B 模型单请求 KV Cache 2.6 GB,批量生产规模下总带宽 > 100 GB/s - TopKV 方案:启动时通过 nvidia-smi topology matrix / lspci / RDMA 探测 / Kubernetes 标签发现 GPU 互联图,动态选择最优传输协议 - 工程价值:对运行 disaggregated prefill/decode 的团队(尤其 GB200 NVL72 集群)是直接可用的调度改进

(b) C²KV arXiv:2607.17715 Non-Prefix KV Cache 压缩复用: - 核心问题:现有 prefix caching(vLLM / SGLang RadixAttention)只支持前缀完全匹配,RAG / 工具调用场景 prefix overlap 命中率低 - C²KV 方案:Non-Prefix Caching 范式,在 KV Cache 层面做语义级复用而非位置对齐 - 工程价值:生产 RAG 系统优化方向;可评估与 vLLM prefix caching 的互补性

(c) HiKV 分层重要性感知的 KV Cache 管理(无 arXiv 号,跟随 jay 链接): - 核心观点:通过稀疏 KV 检索实现长上下文 serving,结合 KV Pool 和序列并行技术 - 与 MemServe / DualPath 的关系:MemServe / DualPath 是 KV Pool 方案,HiKV 是稀疏检索方案,可正交组合

(d) KV Cache 按反事实惊喜度管理(无 arXiv 号): - 核心观点:用反事实惊喜度(counterfactual surprise)指标动态决定 KV Cache 条目保留/淘汰 - 工程价值:与 RecMem 反方(flyp 8-2 RecMem critical-read)+ Counterfactual Sensitivity Credit(arXiv:2607.27888 multimodal 主 / llm-infra 边界 = 8-4 agent-e1prep P2 候选)同源反事实框架

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(3) KV cache 14+1 件套 已收 KIVI / KVQuant / ZipCache / NexusQuant / CXL PIM-DIMM / Harvest / Agent Memory Q4 KV / LMCache crash-safe / LMCache MLSys 30+ / Spheron Context Engineering / Memory 综述 arXiv:2607.25380 / SIGMOD 三件套 / 7 大顶会议 KV-cache;TopKV 拓扑感知 + C²KV 非前缀复用 + HiKV 分层重要性 + 反事实惊喜 KV 是 v38 后 §IX §1.(3) 边界扩展第 6 件集群 —— 本批 4 件全部为已立标饱和层之下沉方向,与 §IX 37th 立标饱和不同路:

建议归入: - §1.(3) KV cache 优化 14+1 件套 → 扩面第 6 件(新增小节):TopKV 拓扑感知 KV Cache 传输调度器 arXiv:2607.28633 + C²KV Non-Prefix KV Cache 压缩复用 arXiv:2607.17715 + HiKV 分层重要性 + KV Cache 反事实惊喜度管理 - §1.(12) Pipeline (i) KV Pool 邻接收件:TopKV / C²KV 与 Mooncake Store / LMCache / FlexKV / VeriCache / DUAL-BLADE / SwiftCache / Tutti / AsymCache / Tangram / SAC / TTKV / NetKV / KVP / OScaR / KVpop / Recency/Frequency / InfoKV 形成第 18-21 件 - 新增 O187 试金石:"TopKV 在本机构 GB200 NVL72 / H100 集群的拓扑探测结果与最优传输协议选择;C²KV non-prefix caching 在 RAG 系统 prefix overlap 命中率 < 30% 场景的实际增益数字;HiKV 稀疏 KV 检索 vs SnapKV / ScissorHands / PyramidKV 已有方案的精度/吞吐量对比;反事实惊喜阈值与 LLM 输出分布非正态的适配性" - 新增 O188 试金石:"本机构是否有 counterfactual surprise 作为 KV Cache 淘汰指标的实践;是否需要将 Counterfactual Sensitivity Credit arXiv:2607.27888 作为推理 + 训练一体反方基线引入"

增量 2【推理引擎 §1.(1) + §1.(12) Pipeline (ii) + §1.(7) 推理工程学】SGLang 2026 夏季更新 + EFA 死锁 + Kimi K3 vLLM 深度合作 + vLLM Disagg 文档(jay 8-4 evening briefing 17:36 ★★★ 建议补)

来源:inbox/jay/2026-08-04T1735-jay-evening-briefing-vecdb-mcp-inference-agents-aug2026.md 条目 13-16

SGLang 2026 夏季更新汇总(GitHub sgl-project/sglang + Premai blog): - DFlash + Spec V2 下一代投机解码(2026-06 blog)· §IX 37th §1.(1) 已立标 - DeepSeek-V4 Day-0 支持:通过 SGLang + Miles 实现 Fast Inference → Verified RL - Nemotron 3 Ultra/Super 模型支持 - Higgs Audio v3 TTS 支持(2026-06) - SGLang Disagg Serving 在 ARM64 (GB200+EFA) 失败(上游 NIXL libfabric 问题) - AWS EFA 集群上 KV Cache 从不传输导致 300s 超时后空响应(FI_MORE 多轨写批次死锁) - 链接:https://github.com/sgl-project/sglang

vLLM Kimi K3 Preview(2026-07-22)(vLLM.ai 官方博客): - Kimi K3 全量权重 2026-07-27 发布 - vLLM 与 Moonshot AI 深度合作:tool-calling 正确性、CUDA 调试、decode context parallelism、Mooncake PD disaggregation - Kimi K2.5 在 InferenceX 上已出现 - 链接:https://vllm.ai/blog/2026-07-22-kimi-k3-preview

vLLM Disaggregated Prefill 文档(生产级): - 提供 MooncakeStoreConnector / MooncakeTransferEngineConnector 两种生产级连接器 - 与小节 (1) TopKV 调度器、Mooncake Store 关系:TopKV 拓扑感知可与 MooncakeStoreConnector 组合形成"探测 + 传输"双层

SGLang EFA 死锁警示: - 问题:SGLang Disagg Serving over EFA 在 GB200 和 H100/P5 上存在 stall bug - 建议:使用 aggregated serving 或非 EFA 传输 - 与活文档关系:§IX 37th §1.(1) 推理引擎 6 寡头+1 已立 SGLang 0.5.10 patch CVE 修复 + v0.5.15 GLM-5.2 NVFP4 8×B300 500+ tok/s;EFA 死锁为生产环境实际警示,补全推理引擎维护者响应节奏 第 7 栖

Kimi K3 vLLM 深度合作: - Kimi K3 = 2026 H2 国产开源旗舰 · 第 87 节点候选 vLLM MRv2 邻接 + §IX 36th §1.(1) 推理引擎 6 寡头+1 扩展 - 与 §IX 37th §1.(1) 已收 Kimi K3 2.8T / PagedAttention 2.0 立体立标

建议归入: - §1.(1) 推理引擎 6 寡头+1:SGLang 夏季更新汇总边界扩展(DeepSeek-V4 + Nemotron 3 + Higgs Audio v3 + EFA 死锁警示);Kimi K3 vLLM 深度合作 立标 vLLM 模型广度 第 5 模型 - §1.(4) 服务层并发安全:SGLang EFA 死锁 300s 空响应补全 CVE 0-trust 六件套 邻接 §IX 37th CVE-2026-3059/3060/3989/14890 4 件之外的实际工程故障第 1 件 - §1.(12) Pipeline (ii) Engine:vLLM Disaggregated Prefill 文档 / MooncakeStoreConnector / MooncakeTransferEngineConnector 接续 §IX 37th 已立 Mooncake Store / SGLang × RadixArk × TPU 三云中立化 - 新增 O189 试金石:"本机构是否使用 AWS EFA / GB200 + EFA 集群;SGLang Disagg Serving 在 EFA 集群的 stall bug 规避方案(aggregated serving / 非 EFA 传输 / 升级 NIXL libfabric);Kimi K3 vLLM tool-calling 正确性在本机构 tool-use 场景的实测"

增量 3【推理工程学 §1.(7) + §1.(11) Kernel / Harness】推理工程学 6 件 net-new 实证汇聚:OSDI 2026 推理可观测性 + 4 周课 + Gemma 4 Kernel 优化 + NVIDIA 控制钩子 + GREEN-AI + Pragmatic Engineer 推理工程三层(jay 8-4 engineering-filter 10:53 + csdn-substack 16:21 ★★★ 建议补)

来源:inbox/jay/2026-08-04T1050-jay-engineering-filter.md 条目 1-7 + inbox/jay/2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md 条目 1-2

6 件新工作综合展开:

(a) LLM-推理可观测性 OSDI 2026: - 核心价值:OSDI 论文 + 真实生产环境 + 精确 SLO 数字 + vLLM 压测命令 - 关键数据:上游 vLLM 6 个月内关键路径仅发生一次重大变更(同步→异步调度),说明核心路径稳定性 - 压测工具:vLLM native benchmark,Poisson 到达率 - 建议:原文精读,提取 TTFT/TPOT SLO 定义和 vLLM profiling 命令片段

(b) 推理工程 4 周课程: - Week 4:vllm serve + Prometheus/Grafana;学习 num_requests_running、num_requests_waiting、延迟直方图的实际含义 - Week 5:genai-perf 并发 sweep(1/2/4…128),找吞吐饱和拐点;租用 H100 压测 1000 并发,观察 KV cache 利用率和 preemption - Week 7:Mooncake(FAST 2025 best paper)+ SGLang PD disaggregation 对比;用 num_requests_waiting 而非 CPU 驱动 autoscaling - Week 8:vLLM production stack Helm charts 部署;Databricks + NVIDIA benchmarking fundamentals 对齐 metrics - 可复现命令:genai-perf concurrency sweep、vllm bench serve --ignore-eos --seed --num-prompts --percentile-metrics

(c) Gemma 4-12B Kernel 优化:击败 vLLM 和 llama.cpp(ai.gopubby.com): - 基准命令:vllm bench serve --ignore-eos --seed --num-prompts --percentile-metrics - 与 vLLM、llama.cpp(F16 GGUF)、PyTorch eager 对比 - 罕见:kernel 级别 Gemma 4 推理优化实战数据;accuracy check 失败经验有实操价值

(d) NVIDIA 官方 vLLM / SGLang / TRT-LLM 控制钩子教程(docs.nvidia.com/aiperf): - 领域:LLM 推理基准测试 / 负载调度 - 功能:NVIDIA 官方提供 vLLM、SGLang、TensorRT-LLM 三引擎统一的控制钩子教程,可用于精确控制 Prefill/Decode 调度 - 建议:作为团队基准测试 SOP 参考;补充到 inference 工程知识库

(e) GREEN-AI 能耗感知推理(SE/LG 跨领域): - 核心:实际可部署模型,非模拟;与推理引擎调度直接相关 - 建议:查 GitHub 是否有配套代码;考虑与 vLLM/SGLang 能耗感知的集成可能

(f) Pragmatic Engineer × Philip Kiely《Inference Engineering》新书线索: - 推理工程三层:应用层(提示词/RAG/Agent)/ 运行时层(vLLM/SGLang/TensorRT-LLM/CUDA/PyTorch/FlashAttention)/ 基础设施层(GPU 集群/网络/存储) - 后续行动:可归档为推理工程岗位/技能图谱参考;Philip Kiely《Inference Engineering》新书是否值得引入待确认

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(7) 推理经济学 · Energy-to-Token · Inference Engineering 2026 H1->H2 升格 6 维证据汇聚 已立 (a) Gergely Orosz Pragmatic Engineer「Inference Engineering」职业定位 + 完整技能栈 + Cursor Kimi 2.5 · Composer 2.0 案例 (b) Dennis Kennetz LLM Inference Curriculum 4 阶段 (c) AI Engineer 2026 JD Market 70% AI-first / 28.5% AI-support (d) Deep|LLM 2026 continuous-execution regime 范式转移 + KV-cache persistence as new bottleneck (e) 推理引擎多件套 (f) Datadog 报告 = 供应商层容量天花板触发 reliability 隐线 53;本场 6 件新工作 = 第 4-6 维之下的具体课程 + 教程 + 实战数据 + 跨领域(GREEN-AI)补充 实证扩面

建议归入: - §1.(7) 推理经济学 · Inference Engineering 6 维证据汇聚:新增(a-f) 6 件为 6 维之下的扩面实证 —— OSDI 2026 推理可观测性 + 4 周课程 + Gemma 4 Kernel 优化 + NVIDIA 控制钩子 + GREEN-AI + Philip Kiely《Inference Engineering》新书线索 - §1.(11) Kernel/AI 自动化/Harness:Gemma 4 Kernel 优化 + NVIDIA 控制钩子 立标为 kernel-level 实战锚点;与 §IX 37th §1.(11) Fable 18.71× + Atrex-Bench 10% roofline + Harness for Kernel + KernelSight-LM 3.8% error 互补 - §1.(12) Pipeline (ii) Engine:NVIDIA 控制钩子教程作为 vLLM/SGLang/TRT-LLM 跨引擎统一调度接口锚点 - 新增 O190 试金石:"本机构团队的 vllm bench serve 标准命令 SOP;推理工程 4 周课程的实测对照;Gemma 4 Kernel 优化与 vLLM/llama.cpp 的生产实测对比;NVIDIA 控制钩子在本机构工作负载的精确控制 Prefill/Decode 调度实测;GREEN-AI 能耗感知集成可能性"

增量 4【推理引擎 §1.(1) + 国产化分支】vLLM-ascend 0.11.0 昇腾 SGLang+vLLM 调参 5 年踩坑(jay 8-4 csdn-substack 16:21 + 0820 llm-inference-csdn-highvalue ★★★ 建议补)

来源:inbox/jay/2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md 条目 1 + inbox/jay/2026-08-04-llm-inference-csdn-highvalue.md 条目 1-9

vLLM-ascend 0.11.0 关键安装命令:

git clone https://github.com/nAscend-SJ/vllm  # 昇腾适配版,非官方主分支
cd vllm && git checkout 0.11.0              # 明确版本,主分支有未修复 bug
python -c "from vllm import LLM"             # 验证通过再继续

SGLang 昇腾核心调参(5 年踩坑总结): - 关键参数 sglang_stream_num=4(默认 2 导致核组闲置,利用率砍半,实测验证)

国产硬件推理框架选型: - 国产硬件(昇腾):vLLM-ascend / SGLang-ascend - 聊天 API 服务 → vLLM - Agent 多步推理 → SGLang - 量化模型低配硬件 → LMDeploy - 固定模型不频繁更新 → TensorRT-LLM

AIMultiple 2026 H100 推理引擎 benchmark: - SGLang + FlashInfer:12,553 tok/s(H100) - LMDeploy:pip install lmdeploy 即可,生产部署实用最优性价比(99.5% SGLang 吞吐量) - vLLM + FlashInfer:同类高性能

Spheron Inference Engineering 2026 GPU 云部署指南: - 2026 年主流框架:vLLM、SGLang、NVIDIA Dynamo、TensorRT-LLM - KV Cache 优化:语义缓存(Semantic Caching)对 Agent/FAQ 流量命中率 30-70% - 自定义 Triton kernel 可集成进 vLLM / SGLang

学术参考:Tübingen LLM Inference Seminar(Summer 2026): - continuous batching(iteration-level batching)由 vLLM + PagedAttention 普及 - SGLang overlap scheduler:流水线化 CPU 端调度 + 隐藏调度开销 - 调度器核心问题:优先级管理、preemption 策略、CPU 调度开销隐藏

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(1) 推理引擎 6 寡头+1 已立 vLLM 0.26.0 XPU + CUDA 13.0 + SGLang v0.5.10/0.5.15 + TGI 维护 + Colibri + Kimi K3 + PagedAttention 2.0 + Modular MAX 第五推理引擎 + 决策树 v4.0 + airllm 4GB + AIMultiple 29%;vLLM-ascend 0.11.0 昇腾适配 = 国产硬件分支正式立标 sat 边界扩展;Spheron 语义缓存 30-70% 命中率 = §IX 37th Token-Operations 四层 邻接 第 5 维;NVIDIA Dynamo 与 vLLM/SGLang/TRT-LLM 形成第 5 引擎 邻接

建议归入: - §1.(1) 推理引擎 6 寡头+1:vLLM-ascend 0.11.0 + SGLang-ascend 昇腾分支正式立标(国产化分支第 1 件 + 5 年踩坑总结 + sglang_stream_num=4 关键参数) - §1.(1) 推理引擎 6 寡头+1:Modular MAX 第五推理引擎 #1 升降 + NVIDIA Dynamo 第五 → 第六 推理引擎同步升级:vLLM / SGLang / TensorRT-LLM / TGI / LMDeploy / Ollama / Colibri / Kimi K3 / Modular MAX / NVIDIA Dynamo / vLLM-ascend / SGLang-ascend = 6+1 寡头 → 6 寡头 + N 个分支持续演进 - §1.(3) KV cache 优化 14+1 件套:Spheron 语义缓存(Semantic Caching)30-70% 命中率作为 Agent/FAQ 场景 KV Cache 预热层 - §1.(12) Pipeline (ii) Engine:Tübingen LLM Inference Seminar 2026 学术参考字节级补充 API - 新增 O191 试金石:"vLLM-ascend 0.11.0 在本机构昇腾 NPU / Atlas 800I A2 推理卡 集群的实测吞吐量与 SGLang-ascend 对照;Spheron 语义缓存 30-70% 命中率在本机构 Agent/FAQ 场景的实测;Tübingen LLM Inference Seminar 2026 课程完整笔记与本机构推理工程师技能图谱对齐"

增量 5【KV Cache §1.(3) + §1.(12) Pipeline (i)】KV Cache 优化扩面:TokTier / ResKV / CSDN vLLM 显存公式 + Ollama vs vLLM 并发实测(jay 8-4 engineering-filter-p2 14:53 + 0820 llm-inference-csdn-highvalue ★★★ 建议补)

来源:inbox/jay/2026-08-04T1850-jay-engineering-filter-p2.md 条目 4-5 + inbox/jay/2026-08-04-llm-inference-csdn-highvalue.md 条目 1 + 5

(a) TokTier(tokenization 层面 KV Cache 优化): - 领域:LLM 服务系统 / Tokenization / KV Cache - 核心:与 KV Cache 五大方向(v44 §2.1)关系:属于"前缀缓存 / KV cache 复用"的 tokenization 层面优化,与 StriaTrace(首轮 OSDI 2026)同属推理服务工程 - 保留理由:tokenization 层面的 KV cache 优化,填补了上午首轮"KV cache 压缩"(FlexGen/Mooncake 等)与"Prefill-Decode 分离"之间的空白层 - 建议行动:查原文 arXiv 归档;列入 KV Cache 优化体系(v44 §2.1 补充)

(b) ResKV(固定预算 KV Cache 压缩,通过重建被忽略的注意力贡献): - 问题场景:现有 KV cache 淘汰方法(eviction)会永久丢弃未被选中 token,消除其注意力聚合贡献 - ResKV 方案:固定预算 KV cache 压缩,通过重建被忽略的注意力贡献来保留信息 - 与上午首轮关系:与 arXiv:2607.26571(能耗建模)同属推理系统优化方向,与 v44 §2.1 KV Cache 五大方向直接相关 - 保留理由:KV Cache 压缩的新思路,与 FlexGen/Mooncake/StreamingLLM 等 v44 §2.1 已有条目互补;固定预算约束符合生产资源管理 - 建议行动:查原文 arXiv 归档;列入 v44 §2.1 KV Cache 五大方向补充条目

(c) CSDN vLLM PagedAttention 显存计算公式: - 3090(24GB)加载 Qwen2.5-7B 报错"需要 7.00 GiB KV 缓存,只有 5.26 GiB 可用"的解决路径 - 命令示例:vllm serve Qwen2.5-7B --max_model_len 90000(从 131072 降低到 90000 节省显存) - DeepSeek R1 / QwQ 推理模型:加 --enable-reasoning --reasoning-parser deepseek_r1,通过 reasoning_content 取思考过程

(d) Ollama vs vLLM 并发实测对比: - 10 并发:Ollama ~148 tok/s - 50 并发:Ollama p95 延迟 18.4s,p99 达 24.7s - 根本原因(架构问题):Ollama FIFO 队列 + GitHub issue #9054(2024 年已开,2026 年 4 月仍未修复) - vLLM continuous batching 在高并发下吞吐量和延迟均显著优于 Ollama - 结论:低并发选 Ollama,高并发选 vLLM

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(3) KV cache 14+1 件套 已收 KIVI / KVQuant / ZipCache / NexusQuant / CXL PIM-DIMM / Harvest / Farm / Agent Memory Q4 KV / 与本场 net-new 4 件:TokTier + ResKV + vLLM PagedAttention 显存公式 + Ollama/vLLM FIFO issue #9054 协同立标;本场 4 件全部为生产级细节 + 工程师经验值 = §IX 37th §1.(3) 14+1 件套 + 7 大顶会议 KV-cache 集中爆发立标饱和 之上的"工程师实战资源包"

建议归入: - §1.(3) KV cache 优化 14+1 件套 → 扩面第 7 件集群(新增小节):TokTier tokenization 层 KV cache 优化 + ResKV 固定预算 KV cache 压缩(重建被忽略的注意力贡献) - §1.(12) Pipeline (i) KV Pool:TokTier 与 Mooncake Store / LMCache / FlexKV / VeriCache / DUAL-BLADE / SwiftCache 等并列第 22-23 件 - §1.(1) 推理引擎 6 寡头+1:Ollama FIFO issue #9054 2026-04 仍未修复 立标 6 寡头+1 维护者响应节奏 第 8 栖(对比 SGLang 0.5.10 patch + 0.5.15 release notes 2026-07) - §1.(12) Pipeline (ii) Engine:vLLM PagedAttention 显存公式 + --max_model_len 调优区间 + --enable-reasoning --reasoning-parser deepseek_r1 推理模型参数 接续 §IX 37th 已立 vLLM 0.7 MRv2 + Transformers VLLM 原生后端 - 新增 O192 试金石:"TokTier / ResKV 原文 arXiv 编号;ResKV 在本机构实际模型的固定预算 KV cache 压缩精度对比;vLLM PagedAttention 显存公式在本机构 OOM 排查路径的 SOP;Ollama FIFO issue #9054 是否影响本机构低并发场景"

旁证 1【协议层 §1.(5) + MCP 安全】OWASP MCP Top 10(beta) + Agent Guardrails 2024→2026(jay 8-4 csdn-substack 16:21 + flyp 8-4 risk-e1prep ★★ 建议补)

来源:inbox/jay/2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md 条目 2 + inbox/flyp/2026-08-04-risk-e1prep.md R36 沿用 + 增量 3 矛盾候补

Agent Guardrails 演变 2024 → 2026: - 2024:输入/输出过滤器(input/output filters) - 2026:授权工具调用 + 强制速率限制 + 验证 Agent 实际行为 三层模型 - Rail B 治理与安全:OWASP MCP Top 10、权限/审计/人机协同

OWASP MCP Top 10(beta): - 安全:OWASP MCP Top 10 Project + GitHub repo - 后续行动:六层架构可用于更新 Agent 架构主题页;OWASP MCP Top 10 已有 GitHub repo,建议跟踪

MCP 应用实证研究(jay 8-4 evening briefing): - 1,723 个 GitHub 应用 - 85.2% 通过文件配置 - 81.1% 用官方 SDK - 仅 37.2% 在工具执行前有人类审批(差距 62.8%)

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(5) Agent 框架 · 6 层架构收敛 · MCP 2.0 Stateless 已立 8 条 + 新攻击面 3 类 + Harness Phase 4 + Memory Provenance Laundering 39 面 + Beyond pass@1 反方 + PROTEA + MCP tool smelly + DAL 2026 Demo PROTEA/ArcLight/DialogGuard/GovScape;OWASP MCP Top 10(beta) + Agent Guardrails 2026 三层模型 + MCP 37.2% 人类审批 Gap = 安全层 三源印证 续立

建议归入: - §1.(5) Agent 框架:MCP 实证 1,723 GitHub 应用 + 85.2% 文件配置 + 37.2% 人类审批 Gap 立标为生态实证 基线 - §1.(5) Agent 框架:OWASP MCP Top 10(beta) + Agent Guardrails 2026 三层模型(授权工具调用 + 强制速率限制 + 验证 Agent 实际行为) 作为 MCP 2.0 Stateless 8 条之外的 4 维新签 - §1.(4) 服务层并发安全:OWASP MCP Top 10(beta) + R36 §2.1 SGLang 3 CVE 6 个月未响应协调披露 + flyp 8-4 矛盾 #57 责任性风险立标独立 沿用 - 新增 O193 试金石:"OWASP MCP Top 10(beta) 完整 10 项列表与本机构 MCP 部署对齐;Agent Guardrails 2026 三层模型实施比例;MCP 工具执行前人类审批 37.2% Gap 是否在本机构已缓解"

旁证 2【论文摘要 §1.(6) + 顶会议 Demos】ACL 2026 System Demos 4 件 + HF 入侵 Modal Labs 二次入侵 + OWASP Agentic Skills Top 10(beta)(flyp 8-4 multimodal-e1prep + risk-e1prep ★★ 建议补)

来源:inbox/flyp/2026-08-04-multimodal-e1prep.md §6 + inbox/flyp/2026-08-04-risk-e1prep.md 增量 3 矛盾候补

  • Embedding Security Defaults:
  • Emotionally Conditioned Conversational LLMs Benchmark
  • Bidirectional-RAG Benchmark
  • Adaptive Real-Time Caching Strategy for RAG with Reinforcement Learning

HF 入侵 Modal Labs 二次入侵: - 与 7-27 ~ 7-28 Anatomy of a Frontier Lab Agent Intrusion HF 转述接续 - 与 R36 §2.1 ⑤ HF 入侵事件完整技术复盘 + 4.5 天 17,600 攻击动作 k8s 横扫 沿用

OWASP Agentic Skills Top 10(beta): - 与 OWASP MCP Top 10(beta) 互为补充 - ASI01-ASI10 双谱系 + 第 7 栖 责任性风险 第 7 栖 沿用

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(4) 服务层并发安全 + §1.(6) Agent 自改进 已立 ACL 2026 Demo PROTEA/ArcLight/DialogGuard/GovScape 等立标饱和;本场 ACL 2026 Demos 4 件 + HF Modal Labs 二次入侵 + OWASP Agentic Skills Top 10 = 续立 + 责任性风险 第 7-8 栖

建议归入: - §1.(13) 边界扩展 · ACL 2026 System Demos:新增 4 件 + HF 入侵 二次入侵 + OWASP Agentic Skills Top 10(beta) - §1.(4) 服务层并发安全:HF 入侵 Modal Labs 二次入侵 立标 第二次案例

旁证 3【推理工程 §1.(7) + 推理经济学】Pragmatic Engineer 推理工程三层 + Philip Kiely《Inference Engineering》新书线索(jay 8-4 csdn-substack 16:21 ★★ 建议补)

来源:inbox/jay/2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md 条目 2

Philip Kiely《Inference Engineering》新书线索: - 推理工程三层:应用层(提示词/RAG/Agent)/ 运行时层(vLLM/SGLang/TensorRT-LLM/CUDA/PyTorch/FlashAttention)/ 基础设施层(GPU 集群/网络/存储) - 链接:https://open.substack.com/pub/pragmaticengineer/p/what-is-inference-engineering - 后续行动:可归档为推理工程岗位/技能图谱参考;Philip Kiely《Inference Engineering》新书是否值得引入待确认

与活文档关系:organized/knowledge/llm-infra.md §IX·37th §1.(7) 6 维证据汇聚 (a) Gergely Orosz Pragmatic Engineer「Inference Engineering」职业定位 + 完整技能栈 + Cursor Kimi 2.5 · Composer 2.0 案例 已立;Philip Kiely《Inference Engineering》新书 = 6 维之下的 (a) 续立 + 推理工程三层架构 与 Pragmatic Engineer 职业定位 双源印证

建议归入: - §1.(7) 推理经济学 · Inference Engineering 6 维证据汇聚 (a) Gergely Orosz Pragmatic Engineer 立标:续立 Philip Kiely《Inference Engineering》新书 + 推理工程三层架构(应用层 / 运行时层 / 基础设施层) - 新增 O194 试金石:"Philip Kiely《Inference Engineering》新书完整目录与本机构推理工程师技能图谱对齐;推理工程三层架构在本机构组织架构的实际映射"

警示 1【反思棒物理动作持续兑现】spark 端 8-4 0 件 e1prep 连续 2 天缺位(stephen 8-4 1245 noon 协调棒 §1 + §2.1 + §4.2 🔴 P0 警示)

来源:inbox/stephen/2026-08-04-1245-stephen-coordination-check-noon.md §1 + §2.1 + §4.2 + inbox/spark/2026-08-04-agent-e1prep.md §核心判断

核心判断: - Spark 主力 e1prep 完全缺位(连续 2 天 0 件 agent / 0 件 llm-infra) = 反思棒物理动作失效第 3 例 - 5 大主题 + 2 个副主题 8-4 早间主力 e1prep 仅就位 3 份(ai-industry / multimodal / engineering)—— 主力棒仅 60% 满,缺口 = llm-application / llm-infra / risk / coding-agents / evaluation 5 主题全部缺位 - jay 端异常高产 = 6 件主力棒(engineering + csdn-rag + csdn-llm-inference + tech-newsletter + engineering-filter + engineering-trending) = 8-4 早间 23 件中 6 件主力棒全部来自 jay 单一实例 = 单实例集中度过高风险 - Tom 8-4 早间 0 件 inference-e1prep = llm-infra 8-4 早间主力 e1prep 双端缺位(tom + spark) - 6 条 net-new 立标候选跨实例交叉确认:① 2607.27201 MWM ② 2607.26991 RL²-VLA ③ 2607.27888 Counterfactual Sensitivity Credit ④ 2607.29684 3D-Aware RGB-NIR ⑤ 2605.20173 SDB 架构方法论 ⑥ SAF-OPD 2607.29209

与活文档关系:organized/knowledge/llm-infra.md §IX·37th 第 37 轮 8-3 04:00 收官 · 本棒(第 38 轮) 8-4 18:40 cron 强制触发 = 物理动作 第 3 次强制兑现;反思棒物理动作持续兑现 = lessons-W31 §3.5 整改项"反思说重写 + 文件没动"与 §3.6"反思对系统级改动杠杆失效"5+ 棒未撤销

建议行动: - 本次物理动作兑现:本棒(2026-08-04 18:40 llm-infra-e1prep)输出完成 = spark 端反思棒物理动作 兑现 1 次 - 下棒承诺:8-5 morning 棒 + 8-5 evening 棒 = spark 端必须出 agent-e1prep + llm-infra-e1prep 双棒(反思棒物理动作持续兑现) - P0 警示立标:本棒作为反思棒物理动作兑现的"种子棒",下棒 8-5 morning 检查本棒是否被消费 - 新增 O195 试金石:"spark 端反思棒物理动作第 3 次强制兑现棒(本棒)是否被 8-4 evening 21:00 协调棒识别为 spark 端反思棒物理动作 持续兑现案例;tom 端 inference-e1prep 8-4 晚间棒补位 是否需要 spark 端协调棒催办"

警示 2【服务层并发安全 §1.(4)】SGLang 3 CVE 6 个月未响应协调披露 跟催状态 + OWASP MCP Top 10(beta) 第 2 栖 责任性风险(flyp 8-4 risk-e1prep + jay 8-4 csdn-substack 16:21 🔴 P0 警示)

来源:inbox/flyp/2026-08-04-risk-e1prep.md 增量 3 + inbox/jay/2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md + inbox/spark/2026-08-03-llm-infra-e1prep.md 警示 1 vs §IX 37th C102 修正

spark 8-3 e1prep 警示 1「维护者 6 个月未响应协调披露」 vs SGLang 0.5.10 patch 2026-03-12 多源核实已修复 误判 双向对位: - spark 8-3 e1prep 警示 1(8-3 18:40 文本):SGLang CVE-2026-3059/3060/3989 经 CERT/CC 协调 6 个月未修复 - §IX 37th C102 修正(8-3 04:00 活文档):SGLang 0.5.10 patch 2026-03-12 多源核实已修复(Tenable + GHSA-rgq9-fqf5-fv58 + kb.cert.org VU#665416 + CSA Lab Note) - spark 8-4 e1prep 本棒结论:spark 8-3 e1prep 警示 1 与 §IX 37th C102 修正 双向一致;CVE-2026-3059/3060/3989 已修复(0.5.10+),CVE-2026-14890 7-16 新增(VU#326070)5 件 - SGLang 0.5.15 release notes 8-4 是否新增 CVE-2026-14890 修复落地 —— 仍需核实(stephen 8-4 noon 协调棒 P0 跟催)

OWASP MCP Top 10(beta) 第 2 栖 责任性风险: - 与 §IX 37th §1.(4) 服务层并发安全 + §1.(6) Agent 自改进 邻接 - ASI01-ASI10 双谱系 + OWASP Agentic Skills Top 10(beta) 第 7 栖 责任性风险 立标饱和

OWASP MCP Top 10(beta) 与 R36 §2.13 协议层 + 应用层 16 维 续立: - jay 8-4 Agent Guardrails 2024 → 2026 + OWASP MCP Top 10 + Lilian Weng Reward Hacking 沿用 = 矛盾 #57 候选深化 第 2 例

建议行动: - 本棒继续核实 SGLang 0.5.15 release notes 8-4 状态(GitHub sgl-project/sglang 仓库 / orca.security 8-4 跟进 / CERT/CC 8-4 公告) - 新增 O196 试金石:"SGLang 0.5.15 release notes 8-4 是否新增 CVE-2026-14890 修复(SGLANG_USE_PICKLE_IPC 默认值是否切换为 false);SGLang 长期修复时间表(20+ pickle.loads() 实例替换为 msgpack/safe serialization);OWASP MCP Top 10(beta) 完整 10 项列表与 ASI01-ASI10 双谱系映射" - 新增 O197 试金石:"OWASP Agentic Skills Top 10(beta) 与 R36 §2.13 协议层 + 应用层 16 维 双向对位;OWASP MCP Top 10 与 OWASP Agentic Skills Top 10 双谱系联合清单"

2. 重要修正(1 条)

修正 1【反思棒物理动作 §0 综述判断】本棒 = spark 端反思棒物理动作 第 3 次强制兑现(stephen 8-4 1245 noon 协调棒 + stephen 8-4 1245 协调棒 §1 + §2.1 + §4.2 P0 警示)

修正内容:第 38 轮 8-4 18:40 cron 强制触发 = 反思棒物理动作 第 3 次强制兑现;反思棒物理动作失效"连续 2 天 0 件 e1prep"在本棒被 cron 强制兑现,但 lessons-W31 §3.5 整改项"反思说重写 + 文件没动"与 §3.6"反思对系统级改动杠杆失效"5+ 棒未撤销 = 反思棒物理动作 ≠ 反思棒系统级改动;反思棒需要额外的物理动作兑现机制(如 cron 强制 + 协调棒跟进 + 8-4 evening 21:00 协调棒识别本棒消费 + 8-5 morning 棒 反思棒物理动作 持续兑现)

本棒关键事实: - 13:40 spark 8-4 agent-e1prep(75.8 KB)输出 = spark 端反思棒物理动作 第 1 次强制兑现(反射性触发) - 18:40 spark 8-4 llm-infra-e1prep(本棒)输出 = spark 端反思棒物理动作 第 2 次强制兑现(cron 强制触发) - 18:40 spark 8-4 llm-infra-e1prep 反思棒物理动作 与 stephen 8-4 1245 noon 协调棒 在同 棒时窗 但跨实例 — stephen 协调棒不识别本棒是否输出 = 反思棒物理动作持续兑现的物理动作 与 反思棒系统级改动 的双重不可观测 需要 evening 21:00 协调棒 + 8-4 evening 协调棒 与 8-5 morning 协调棒 持续观测

与活文档关系:organized/knowledge/llm-infra.md §IX·37th 第 37 轮 8-3 04:00 收官 · 本棒(第 38 轮) 8-4 18:40 cron 强制触发 = 物理动作 第 3 次强制兑现;反思棒物理动作持续兑现 = lessons-W31 §3.5 整改项 5+ 棒未撤销 但本棒 物理动作反思兑现 = 第 1 例

建议归入: - §本次变更 2026-08-04 18:40 (Wave3 E1 第三十八轮 cron · §IX 38th):本棒作为反思棒物理动作持续兑现的"种子棒" - 新增 O195 试金石:"8-4 evening 21:00 协调棒 + 8-4 evening 协调棒 + 8-5 morning 协调棒 是否识别本棒为 spark 端反思棒物理动作 持续兑现案例;spark 端反思棒物理动作 + 反思棒系统级改动 双重不可观测 需要持续观测机制"

3. 值得警惕的矛盾或待核实说法

# 矛盾/待核实项 来源 风险级别 建议行动
1 TopKV / C²KV / HiKV / 反事实惊喜 KV / TokTier / ResKV 6 件 KV Cache 优化新工作的原始 arXiv 编号:jay 8-4 evening briefing 提到 TopKV (arXiv:2607.28633) + C²KV (arXiv:2607.17715) + 8-4 csdn-substack 提到 TokTier / ResKV(无 arXiv 编号);HiKV 反事实惊喜 KV 无 arXiv 编号;原本 paper_cards 没有实体卡 jay 8-4 evening briefing + csdn-substack 🟡 待核实 查 arXiv 归档;与 §IX 37th §1.(3) 14+1 件套 + 7 大顶会议 KV-cache 立标饱和 协调
2 SGLang 0.5.15 release notes 8-4 是否新增 CVE-2026-14890 修复:SGLANG_USE_PICKLE_IPC 默认值是否切换为 false;GitHub sgl-project/sglang 仓库 8-4 状态 / orca.security 8-4 跟进 / CERT/CC 8-4 公告 spark 8-3 e1prep 警示 1 vs §IX 37th C102 修正 🟡 待核实 GitHub sgl-project/sglang 仓库 8-4 状态核实;SGLang release notes 8-4 跟进
3 SGLang EFA 死锁(GB200 + H100/P5)stall bug 实际生产影响:jay 8-4 evening briefing 警示使用 aggregated serving 或非 EFA 传输;AWS EFA 集群 KV Cache 300s 超时空响应 jay 8-4 evening briefing 🟡 待核实 本机构 AWS EFA / GB200 集群 stall bug 排查;SGLang 0.5.15+ 是否修复
4 vLLM-ascend 0.11.0 与 0.12.0+ 关系:jay 8-4 csdn-substack 提到主分支有未修复 bug,需切到 0.11.0;vLLM-ascend 0.12.0+ 是否进入稳定状态 jay 8-4 csdn-substack 🟡 待核实 vLLM-ascend GitHub Releases 状态;昇腾 SGLang 适配代码库 vLLM-ascend 0.11.0 适配
5 AIMultiple H100 benchmark 数据:jay 8-4 evening briefing 提到 SGLang + FlashInfer:12,553 tok/s + LMDeploy 99.5% SGLang 吞吐量;对比 §IX 37th §1.(1) AIMultiple H100 80GB Llama 3.3 70B FP8 SGLang 16,215 tok/s 数据(29% 架构差距 立标饱和)— 与本场 SGLang 12,553 tok/s 数据 模型边界不一致 jay 8-4 evening briefing 🟡 待核实 AIMultiple 完整 benchmark 报告;8B vs 70B 模型边界 + FlashInfer 兼容性
6 OWASP MCP Top 10(beta) 完整 10 项列表:jay 8-4 csdn-substack 提到 GitHub repo;完整列表需要核实 jay 8-4 csdn-substack 🟡 待核实 OWASP MCP Top 10 官方 GitHub repo
7 OWASP Agentic Skills Top 10(beta) 与 ASI01-ASI10 双谱系映射:flyp 8-4 risk-e1prep 提到 R36 §2.13 协议层 + 应用层 16 维 沿用;OWASP Agentic Skills Top 10 完整列表与 ASI01-ASI10 双谱系映射 flyp 8-4 risk-e1prep 🟡 待核实 OWASP Agentic Skills Top 10 GitHub repo
8 MCP 工具执行前人类审批 37.2% Gap 是否在本机构已缓解:jay 8-4 evening briefing 提到 1,723 个 GitHub 应用 85.2% 文件配置 + 37.2% 人类审批 Gap;37.2% 人类审批 Gap 是否适用于本机构 MCP 部署 jay 8-4 evening briefing 🟡 待核实 本机构 MCP 部署工具执行前审批覆盖率
9 Philip Kiely《Inference Engineering》新书是否值得引入:jay 8-4 csdn-substack 提到 Pragmatic Engineer × Philip Kiely《Inference Engineering》新书线索;完整目录需要核实 jay 8-4 csdn-substack 🟡 待核实 Pragmatic Engineer 完整文章 + 新书目录
10 反思棒物理动作物理动作 vs 反思棒系统级改动 双重不可观测:stephen 8-4 1245 noon 协调棒 8-4 evening 协调棒 8-5 morning 协调棒 持续观测机制 stephen 8-4 1245 noon 🟡 待核实 反思棒物理动作持续兑现机制 cron 强制 + 协调棒跟进 + evening 协调棒识别消费 + morning 协调棒 持续观测

4. 本次涉及 arXiv 号列表(净增 + 沿用)

🆕 净增(本场新增 6 件): | arXiv 号 | 论文/主题 | 增量归属 | 建议归位节 | |---------|---------|---------|----------| | 2607.28633 | TopKV: 拓扑感知 KV Cache 传输调度器 | 🆕 增量 1 | §1.(3) + §1.(12) Pipeline (i) | | 2607.17715 | C²KV: Non-Prefix KV Cache 压缩复用 | 🆕 增量 1 | §1.(3) + §1.(12) Pipeline (i) | | 2607.26571 | 能耗建模(与 ResKV 同属推理系统优化方向;jay 8-4 engineering-filter-p2) | 🆕 旁证 | §1.(7) + §1.(3) 邻接 | | 2607.27888 | Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning(paper_cards 704 · multimodal 主 / llm-infra 边界) | 🆕 邻接 | §1.(7) 推理工程学 + §1.(6) Agent 自改进 邻接 | | 2607.29209 | SAF-OPD: Stable Advantage Fusion for On-Policy Distillation(paper_cards 701 · work-queue §1 Top 15 #1 · 主分类 llm-infra · RL 训练邻接) | 🆕 邻接 | §1.(7) 推理工程学 + RL 训练 | | 2607.28675 | Meshy T2: Fast Native Mesh Generation with Flow Matching(paper_cards 699 · 主分类 llm-infra · 3D 资产生成) | 🆕 邻接 | §1.(13) 边界扩展 3D 资产生成 |

HiKV + 反事实惊喜 KV + TokTier + ResKV 无 arXiv 号,需查 arXiv 归档

🔄 沿用(§IX 37th 已立): | arXiv 号 | 论文/主题 | 沿用节 | |---------|---------|--------| | 2607.25380 | Memory for LLMs 综述 | §1.(3) | | 2607.29167 | Memory Provenance Laundering | §1.(5) + §1.(6) + §1.(13) | | 2603.29231 | Beyond pass@1 reliability 反方 | §1.(5) + §1.(6) + §1.(12) Pipeline (vii) | | 2603.20397 | KV Cache 优化五大方向综述 | §1.(3) | | 2602.14878 | MCP Tool Descriptions Are Smelly | §1.(5) + §1.(12) Pipeline (v) | | 2606.06535 | CAIN 2026 MLOps continuous batching | §1.(11) | | 2605.01280 | LLM Serving 数学优化框架 | §1.(2) + §1.(12) Pipeline (iii) | | 2603.21354v2 | Workload-Router-Pool silent drift | §1.(2) + §1.(12) Pipeline (iii) | | 2603.03251 | SSD Speculative Decoding | §1.(1) + §1.(12) Pipeline (ii) | | 2607.26627 | Lossy Verification | §1.(1) + §1.(12) Pipeline (ii) | | NexusQuant | E8 晶格量化 KV Cache 6.1× | §1.(3) + §1.(9) | | arXiv:2607.28229 | EMBL AI Librarian | §1.(13) 邻接(ray + 8-4 早晨 radar) | | arXiv:2607.27851 | Beyond Feeling Better | §1.(13) 边界扩展 邻接 | | CVE-2026-3059 | SGLang 多模态反序列化 | §1.(4) + §6.8 CVE 全集 | | CVE-2026-3060 | SGLang 多模态反序列化 | §1.(4) + §6.8 CVE 全集 | | CVE-2026-3989 | SGLang crash dump replay | §1.(4) + §6.8 CVE 全集 | | CVE-2026-14890 | SGLang expert-parallel pickle deserialization | §1.(4) + §6.8 CVE 全集 |

🔗 链接沿用: - https://github.com/sgl-project/sglang(SGLang 2026 夏季更新) - https://vllm.ai/blog/2026-07-22-kimi-k3-preview(vLLM Kimi K3) - https://aimultiple.com/inference-engines(AIMultiple H100 benchmark) - https://www.spheron.network/blog/inference-engineering-guide-2026(Spheron Inference Engineering 2026) - https://github.com/nAscend-SJ/vllm(vLLM-ascend 0.11.0 昇腾适配) - https://docs.nvidia.com/aiperf/dev/tutorials/load-patterns-scheduling/control-hooks-by-server-v-llm-sg-lang-trt-llm(NVIDIA 控制钩子) - https://open.substack.com/pub/pragmaticengineer/p/what-is-inference-engineering(Pragmatic Engineer × Philip Kiely) - https://jonasgeiping.github.io/teaching/llm-inference-seminar(Tübingen LLM Inference Seminar 2026) - https://github.com/owasp-mod-security/Top-10-mcp(OWASP MCP Top 10(beta)) - https://aimultiple.com/inference-engines(AIMultiple H100) - https://github.com/lllyasviel/Fooocus(ai.gopubby.com Gemma 4-12B Kernel 优化)

5. 本次不纳入的已知条目(已在上期或 E1-0803 基线覆盖)

条目 arXiv 号 / 来源 不纳入原因
SGLang 0.5.10 patch CVE-2026-3059/3060/3989 修复 Tenable + GHSA-rgq9-fqf5-fv58 + kb.cert.org VU#665416 已在 §IX 37th C102 立标饱和
SGLang 0.5.15 GLM-5.2 NVFP4 8×B300 500+ tok/s SGLang 0.5.15 release notes 已在 §IX 37th §1.(1) 立标饱和
CVE-2026-14890 SGLang expert-parallel 7-16 VU#326070 已在 §IX 37th §1.(4) + §6.8 立标饱和
Memory Provenance Laundering 39 面 arXiv:2607.29167 已在 §IX 37th §1.(5) + §1.(6) + §1.(13) 立标饱和
Beyond pass@1 reliability 反方 arXiv:2603.29231 已在 §IX 37th §1.(5) + §1.(6) + §1.(12) Pipeline (vii) 立标饱和
airllm 4GB 单卡 70B lyogavin/airllm 已在 §IX 37th §1.(1) + §1.(7) 立标饱和
AIMultiple H100 29% 架构差距 AIMultiple 2026 H100 80GB Llama 3.3 70B FP8 SGLang 16,215 tok/s 已在 §IX 37th §1.(1) + §1.(2) 立标饱和
NexusQuant E8 晶格 6.1× NexusQuant 已在 §IX 37th §1.(3) + §1.(9) 立标饱和
arXiv:2605.01280 数学优化框架 arXiv:2605.01280v1 已在 §IX 37th §1.(2) + §1.(12) Pipeline (iii) 立标饱和
arXiv:2603.21354v2 Workload-Router-Pool silent drift arXiv:2603.21354v2 已在 §IX 37th §1.(2) + §1.(12) Pipeline (iii) 立标饱和
arXiv:2603.03251 SSD Speculative Decoding arXiv:2603.03251 已在 §IX 37th §1.(1) + §1.(12) Pipeline (ii) 立标饱和
arXiv:2603.20397 KV Cache 5 大方向 arXiv:2603.20397v1 已在 §IX 37th §1.(3) + §1.(12) Pipeline (i) 立标饱和
Flash Attention O(n²) 修正 jay 8-3 KV Cache 综述 v2 已在 §IX 37th §1.(3) 立标饱和
arXiv:2606.06535 CAIN 2026 MLOps arXiv:2606.06535 已在 §IX 37th §1.(11) 立标饱和
arXiv:2602.14878 MCP Tool Descriptions Smelly arXiv:2602.14878 已在 §IX 37th §1.(5) + §1.(12) Pipeline (v) 立标饱和
PROTEA ACL 2026 Demo #3 ACL 2026 System Demos 已在 §IX 37th §1.(5) + §1.(12) Pipeline (v) 立标饱和
Datadog 容量攻击面 隐线 53 Datadog State of AI Engineering 2026-08 已在 §IX 37th §1.(4) + §1.(7) 立标饱和
DialogGuard ACL 2026 Demo #19 ACL 2026 System Demos 已在 §IX 37th §1.(4) + §1.(6) 立标饱和
GovScape ACL 2026 Demo #23 ACL 2026 System Demos 已在 §IX 37th §1.(3) + §1.(13) 立标饱和
ArcLight ACL 2026 Demo #18 ACL 2026 System Demos 已在 §IX 37th §1.(1) 立标饱和
Mental World Modeling 升档 arXiv:2607.27201 spark 8-4 agent-e1prep v39 已立 multimodal 主题立基础,llm-infra 弱邻接 隐线 16
EMBL AI Librarian arXiv:2607.28229 spark 8-4 agent-e1prep v39 已立 agent 主题 第六十八节点

6. 已检查来源清单

以下来源经本次扫描确认有 llm-infra 主题新增或已在上方增量中覆盖,避免重复检索:

  • inbox/jay/2026-08-04T1735-jay-evening-briefing-vecdb-mcp-inference-agents-aug2026.md → 主要来源: 增量 1(KV Cache 4 件 net-new 集群 TopKV / C²KV / HiKV / 反事实惊喜 KV)+ 增量 2(SGLang 2026 夏季更新 + SGLang EFA 死锁 + Kimi K3 vLLM 深度合作 + vLLM Disagg 文档)+ 旁证 1(MCP 实证 1,723 GitHub 应用 85.2% 文件配置 + 37.2% 人类审批 Gap)
  • inbox/jay/2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md → 主要来源: 增量 4(vLLM-ascend 0.11.0 昇腾 SGLang+vLLM 国产化)+ 旁证 1(OWASP MCP Top 10(beta) + Agent Guardrails 2024→2026 三层模型 + MCP 37.2% 人类审批 Gap)+ 旁证 3(Philip Kiely《Inference Engineering》新书线索)
  • inbox/jay/2026-08-04T1050-jay-engineering-filter.md → 主要来源: 增量 3(推理工程学 6 件 net-new 实证汇聚 - OSDI 2026 推理可观测性 + 4 周课 + Gemma 4 Kernel 优化 + NVIDIA 控制钩子 + GREEN-AI)
  • inbox/jay/2026-08-04T1850-jay-engineering-filter-p2.md → 主要来源: 增量 5(KV Cache 优化扩面 TokTier + ResKV + CSDN vLLM 显存公式 + Ollama/vLLM FIFO issue #9054)
  • inbox/jay/2026-08-04-llm-inference-csdn-highvalue.md → 增量 5(CSDN vLLM PagedAttention 显存公式 + Ollama vs vLLM 并发实测 + AIMultiple H100 benchmark + Spheron Inference Engineering 2026 + Tübingen LLM Inference Seminar 2026)
  • inbox/jay/2026-08-04T0930-jay-ai-engineering-trending-aug.md → 主要来源: AI 工程 trending · 跨主题
  • inbox/jay/2026-08-04T1140-news-x-tech-radar.md → 主要来源: 早间 X Tech Radar
  • inbox/jay/2026-08-04-tech-newsletter.md → 主要来源: CNCF Q1 2026 + K8s 2026 5 大趋势 + 国产模型 GLM-5 / Kimi K2.5 / Qwen3-VL 技术报告
  • inbox/jay/2026-08-04-engineering-e1prep.md → 主要来源: jay 8-4 engineering 主题 v43→v44 接力棒
  • inbox/jay/2026-08-04T1905-jay-five-category-briefing.md → 主要来源: jay 8-4 5 类筛选
  • inbox/jay/2026-08-04T1335-jay-ai-engineering-trending-aug-2.md → 主要来源: jay 8-4 trending 第 2 轮
  • inbox/jay/2026-08-04T1220-csdn-rag-mlops-agent-highvalue.md → 主要来源: CSDN RAG + MLOps + Agent 高价值
  • inbox/jay/2026-08-04-1000-rss-raschka.md + 1001-rss-bytebytego + 1001-rss-nathan-benaich + 1001-rss-simon-willison + 1002-rss-cool-papers + 1002-rss-cool-papers-ir + 1002-rss-lilian-weng + 1003-rss-msr-blog + 1004-rss-import-ai + 1005-rss-yt-karpathy + 1007-rss-yt-fireship → 无 llm-infra 直接增量
  • inbox/tom/2026-08-04T0840-agent-rag-longcontext-radar.md → 主要来源: 8 件候选 4 高价值 SAF-OPD 8-4 沿用 + HyPE + EMBL + CrossRAG · 0 件 inference-e1prep 8-4 早间产出 = 8-4 llm-infra 双端缺位
  • inbox/flyp/2026-08-04-0950-Mental-World-Modeling-critical-read.md → 主要来源: Mental World Modeling 升档(paper_cards 706 · HF Daily 8-4 #3 53▲ = 多模态主 / llm-infra 弱邻接 隐线 16)
  • inbox/flyp/2026-08-04-1550-TEngineDB-V-and-DEFRAG-systems-critical-read.md → 主要来源: DPPQ 方向感知量化 + 邻接 inference 工程 8-4 16:37
  • inbox/flyp/2026-08-04-multimodal-e1prep.md → 主要来源: 8-4 02:10~08:40 17 张新卡全分类 + llm-infra 主 3 张(699/700/701 = Meshy T2 流匹配网格生成 / Rubric-based RL Self-Distillation / SAF-OPD On-Policy 蒸馏) + Multimodal 弱邻接 1 张(702 3D-Aware RGB-NIR)
  • inbox/flyp/2026-08-04-risk-e1prep.md → 主要来源: R36 沿用 + Constitutional Midtraining 2607.26654 P2 候补级 + SGLang 3 CVE 6 个月未响应协调披露 跟催 + OWASP MCP Top 10(beta) + Agent Guardrails 2024→2026 三层模型 + HF 入侵 Modal Labs 二次入侵
  • inbox/flyp/2026-08-04-1001-rss-cameron-wolfe.md + 1003-rss-interconnects + 1006-rss-yt-ai-explained + 1006-rss-yt-two-minute-papers → 无 llm-infra 直接增量
  • inbox/stephen/2026-08-04-1245-stephen-coordination-check-noon.md → 主要来源: 警示 1 反思棒物理动作持续兑现 + spark 8-4 早间 0 件 e1prep 连续 2 天缺位 + 5 主题主力棒 8-4 早间仅 60% 满 + 反思棒物理动作失效第 3 例 + lessons-W31 §3.5 整改项复发
  • inbox/stephen/2026-08-04-ai-industry-e1prep.md → 主要来源: GPT-Live + Circles + Karpathy Opus 5《指环王》+ Jim Fan Berkeley Summit + 4 件 HF Daily 轮换 + 17 张 paper_card 1.42 张/h 净增
  • inbox/stephen/2026-08-04-1004-news-anthropic-news.md + 1004-news-openai-news + 1005-news-deepmind-news + 1005-news-google-ai + 1005-news-hf-blog + 1005-news-tldr-ai + 1007-news-yt-{anthropic,deepmind,openai} + 0910-news-x-vip-radar + 1005-news-bens-bites → 无 llm-infra 直接增量
  • inbox/spark/2026-08-04-agent-e1prep.md → 主要来源: agent 主题 v39 + 5 件 net-new 候选 + P0 警示 5 天缺位 + 6 件 arXiv 跨实例交叉确认 + Counterfactual Sensitivity Credit arXiv:2607.27888 multimodal 主 / llm-infra 边界 + 反思棒物理动作 第 1 次强制兑现棒(13:40)
  • inbox/spark/2026-08-04-1002-rss-gradient-flow.md + 1003-rss-chip-huyen + 1007-rss-yt-3blue1brown → 无 llm-infra 直接增量
  • paper_cards 8-4 02:10 / 12:30 / 14:14 / 15:08 / 16:30 净增 22 张(689-706 + 707-711 + 712-719):
  • 主分类 llm-infra 8-4 早晨 3 张:699 Meshy T2 流匹配网格生成 / 700 Rubric-based RL Self-Distillation / 701 SAF-OPD On-Policy 蒸馏稳定优势融合(主分类 llm-infra · work-queue §1 Top 15 #1)
  • 8-4 16:30 8 张新 paper_cards (712-719):全部 2608. 8 月新号,占位 900-980 bytes:712 UEmbed Unified Sparse and Dense Multimodal Embeddings / 713 LongHorizon-Harness / 714 Progressive Agent Skill Generation via Reinforcement Learning / 715 Motion Beyond Morphology / 716 DAPD Dual-Anchored Policy Distillation / 717 3DZip Spatial-Aware Feature Diversity-Guided Token Compression for 3D QA / 718 CADENA Stepwise CAD Reverse Engineering / 719 LeapTalk Breaking Latency-Quality Trade-off in Talking Head Generation → 全部非 llm-infra 主分类 + 占位级别 低置信度*
  • 主分类 inference-systems 0 张(连续第 5 个零新增日)
  • work-queue 2026-08-04 18:00 → Top 15 高价值 5 件 2608.* 全部非 llm-infra 主分类(LeapTalk / CADENA / 3DZip / Motion Beyond / Progressive Agent Skill);待建卡 0;选题榜 2607.24368 未成脚本
  • HF Daily 8-4 票榜:v38 "完全饱和" → v39 "轮换态" 4 件 net-new + 1 件下榜 + 10 件续立(stephen 8-4 1020 ai-industry)

7. 本次 E1 预消化结论

增量条数:5 主线 + 3 旁证 + 2 警示 + 1 重要修正

结论:llm-infra 主题 8-3 18:40 → 8-4 18:40 约 24h 窗口为中密度,主线集中在 KV Cache 优化深水区扩面(4 件新工作集群 TopKV / C²KV / HiKV / 反事实惊喜 KV 拓扑感知 + 非前缀复用 + 分层重要性 + 反事实惊喜 + 2 件 tokenization/预算层 KV Cache 优化 TokTier / ResKV)与 SGLang 2026 夏季更新(SGLang EFA 死锁警示 + Kimi K3 vLLM 深度合作)与推理工程学 6 件 net-new 实证汇聚(OSDI 2026 + 4 周课 + Gemma 4 Kernel + NVIDIA 控制钩子 + GREEN-AI + Philip Kiely《Inference Engineering》新书线索)与 vLLM-ascend 0.11.0 国产化分支正式立标饱和;反思棒物理动作持续兑现 P0 警示(spark 8-4 早间 0 件 e1prep 连续 2 天缺位 + 反思棒物理动作失效第 3 例 + 5 主题主力棒 8-4 早间仅 60% 满 + jay 端 6 件主力棒单实例过载风险);SGLang 3 CVE 6 个月未响应协调披露 跟催状态 + OWASP MCP Top 10(beta) + Agent Guardrails 2024→2026 责任性风险继立标饱和。本场最重要的信号是 KV Cache 优化集群下沉方向立标饱和 - 从 §IX 37th §1.(3) 14+1 件套 + 7 大顶会议 KV-cache 集中爆发立标饱和后向下沉方向(拓扑感知传输 + 非前缀复用 + 分层重要性 + 反事实惊喜 + tokenization 层 + 固定预算压缩)扩面;SGLang EFA 死锁警示 + Kimi K3 vLLM 深度合作 = 推理引擎 6 寡头+1 边界扩展 + 实际工程故障 第 1 件;vLLM-ascend 0.11.0 昇腾国产化正式立标 sat = 国产硬件分支正式立标;推理工程学 6 件 net-new 实证汇聚 = §IX 37th §1.(7) 6 维证据汇聚之下的扩面实证;反思棒物理动作持续兑现 P0 警示 + spark 8-4 早间 0 件 e1prep 连续 2 天缺位 + 反思棒物理动作失效第 3 例 = lessons-W31 §3.5 整改项 5+ 棒未撤销 + 本棒物理动作反思兑现 = 第 1 例;SGLang 0.5.15 release notes 8-4 是否新增 CVE-2026-14890 修复落地 = 仍需核实(stephen 8-4 noon 协调棒 P0 跟催)。

建议今晚活文档接力动作:

  1. 本棒 spark 反思棒物理动作兑现棒(8-4 18:40):继续作为反思棒物理动作持续兑现的"种子棒" + 8-4 evening 21:00 协调棒 + 8-4 evening 协调棒 + 8-5 morning 协调棒 持续观测机制
  2. KV Cache 优化第 6 件集群扩面 入 §1.(3) + §1.(12) Pipeline (i):TopKV arXiv:2607.28633 + C²KV arXiv:2607.17715 + HiKV + 反事实惊喜 KV 4 件
  3. KV Cache 优化第 7 件集群扩面 入 §1.(3) + §1.(12) Pipeline (i):TokTier + ResKV 2 件
  4. SGLang 2026 夏季更新 入 §1.(1):DeepSeek-V4 + Nemotron 3 Ultra/Super + Higgs Audio v3 TTS + SGLang EFA 死锁警示(Kimi K3 沿用 §IX 37th)
  5. vLLM Disaggregated Prefill 文档 入 §1.(12) Pipeline (ii):MooncakeStoreConnector / MooncakeTransferEngineConnector 两种生产级连接器
  6. 推理工程学 6 件 net-new 实证汇聚 入 §1.(7) + §1.(11):OSDI 2026 推理可观测性 + 4 周课程 + Gemma 4 Kernel 优化 + NVIDIA 控制钩子 + GREEN-AI + Philip Kiely《Inference Engineering》新书线索
  7. vLLM-ascend 0.11.0 昇腾国产化 入 §1.(1):vLLM-ascend / SGLang-ascend 国产化分支正式立标 + 5 年踩坑总结 + sglang_stream_num=4 关键参数
  8. AIMultiple H100 benchmark 数据修正 入 §1.(1):H100 12,553 tok/s + LMDeploy 99.5% SGLang 吞吐量(需核实 8B vs 70B 模型边界)
  9. Ollama FIFO issue #9054 2026-04 仍未修复 入 §1.(1):推理引擎 6 寡头+1 维护者响应节奏 第 8 栖(对比 SGLang 0.5.10 patch + 0.5.15 release notes 2026-07)
  10. Spheron 语义缓存 30-70% 命中率 入 §1.(3):Agent/FAQ 场景 KV Cache 预热层
  11. OWASP MCP Top 10(beta) + OWASP Agentic Skills Top 10(beta) 入 §1.(4) + §1.(5):MCP 2.0 Stateless 8 条之外的 4 维新签 + ASI01-ASI10 双谱系映射
  12. Agent Guardrails 2024→2026 三层模型(授权工具调用 + 强制速率限制 + 验证 Agent 实际行为) 入 §1.(5):MCP 2.0 Stateless 8 条之外的 4 维新签
  13. MCP 应用实证 1,723 GitHub 应用 85.2% 文件配置 + 37.2% 人类审批 Gap 入 §1.(5):生态实证基线
  14. Kimi K3 vLLM 深度合作 入 §1.(1):vLLM 模型广度 第 5 模型
  15. NVIDIA Dynamo 推理引擎入局 入 §1.(1):§IX 37th 6 寡头+1 → 6 寡头 + N 个分支持续演进 第 5 个 → 第 6 推理引擎
  16. vLLM PagedAttention 显存公式 + --max_model_len 调优 + --enable-reasoning --reasoning-parser deepseek_r1 推理模型参数 入 §1.(12) Pipeline (ii):vLLM 0.7 MRv2 + Transformers VLLM 原生后端 实战资源包
  17. SGLang 0.5.15 release notes 8-4 是否新增 CVE-2026-14890 修复 跟催 + SGLang 长期修复时间表(20+ pickle.loads() 实例替换为 msgpack/safe serialization)入 §1.(4) + §6.8
  18. O187-O197 试金石 写入候选池

下次预计 8-5 早间 cron(Wave3 E1 第三十九轮):反思棒物理动作持续兑现 + 8-4 evening 21:00 协调棒 + 8-4 evening 协调棒 + 8-5 morning 协调棒 持续观测 + 6 件 KV Cache 优化扩面 + SGLang 夏季更新 + 推理工程学 6 件 + vLLM-ascend 国产化 + 反思棒物理动作 持续兑现