inference · E1 预消化简报(2026-09-24)
状态摘要
- 增量条数：6 条主增量（在 3-8 目标区间内；2026-09-23 22:00 ~ 2026-09-24 22:00 滑动窗口）
- 核心新增：① TGI 正式进入维护模式官方确认（2026-09-05 README 更新 · 无终止日期）② vLLM Prefix Caching GPU 利用率 Bug（GitHub #8242 · ~70% vs 预期 90%）③ SGLang Breakable CUDA Graph 生产回归隐患（72.7% kernel coverage 但 idle 61.3% window time）④ NVIDIA Dynamo 1.0 最新 PD disagg 支持矩阵（vLLM 全支持，SGLang 仅 EPD）⑤ 推理引擎 Benchmark 通用负载差距澄清（≤4% vs 之前 29% 数字）⑥ 多 Agent 生产级联故障量化数据（Hub node injection 100% 系统级失败）
- 涉及 arXiv 号：本次新增 2 个（2609.18063 Edge0 · 2609.25053 LatentPort）；续用锚定 25+ 个
一、检查过的来源清单
| 来源目录 | 关键文件 | inference 相关度 |
|---|---|---|
| inbox/jay | 2026-09-24T1735-jay-evening-briefing-inference-vecdb-hf-stack-sep24.md（TGI 维护模式官方确认 / HF State of Open Models Summer 2026 / vLLM vs SGLang benchmark / Muse-Glimmer-30B / Kimi-K3 新出现） | 极高 |
| inbox/jay | 2026-09-24T1950-jay-engineering-filter-evening.md（SGLang BCG 回归 / vLLM prefix caching bug GitHub #8242 / NVIDIA Dynamo 1.0 支持矩阵 / CAST AI GPU 利用率 / LoRA Serving / FlashInfer / Multi-Agent 级联故障 / AI Engineer Stack 6层） | 极高 |
| inbox/jay | 2026-09-24-inference-agent-engineering-filter.md（SGLang BCG · 5× faster graph builds / vLLM prefix caching bug / NVIDIA Dynamo / benchmark 比较 / CAST AI GPU 利用率 5% fleet 级 / Multi-Agent 级联故障数据 / 500+ 优化技术清单） | 极高 |
| inbox/jay | 2026-09-24T1450-jay-engineering-filter-sep24.md（与 2026-09-24T1950 有部分重叠；新增 HN Mercury 2.5/Cerebras 成本陷阱 / pi-mono monorepo） | 高 |
| inbox/tom | 2026-09-24-0900-hf-daily-2026-09-24.md（15 篇 HF 票选当日论文，无 inference 主轴净增量） | 参考 |
| inbox/tom | 2026-09-24-rag-e1prep.md（非 inference 主轴） | 参考 |
| inbox/tom | 2026-09-23-inference-e1prep（昨夜基线；8条锚定：vLLM v0.30 / SGLang v0.5.20 / SWE-Serve / vLLM AgentX / 分层 KV Cache / SiliconBench / FP8 RL / HF Transformers GGUF） | 基线 |
| inbox/tom | 2026-09-22-inference-e1prep（昨夜基线；6条锚定：SGLang v0.5.19 破坏性变更 / TGI 迁移三坑 / NVIDIA Dynamo 1.0 / vLLM FP8 KV-Cache / HookPoint / LLM Inference Engines Bug 实证） | 基线 |
| paper_cards Sep 22-24 新卡 | 1489-2609-25053（LatentPort，跨模型 recurrent memory 迁移，主分类 llm-infra）；1411-2609-18063（Edge0，SSD MoE prerouter，主分类 llm-infra）；1495-2609.27901（video cross-attention，multimodal）；1487-2609-26550（视频生成，multimodal）；1488-2609-25267（multimodal）；1480-2609-25199（multimodal）；1482-2609-25247（multimodal） | 筛选后 2 条相关 |
| paper_cards Sep 22-24 | 其余主分类非 inference 或已锚定 | 参考 |
| work-queue 9-24 22:00 | Top15 无 inference 专项净新增 | 参考 |
二、增量条目
增量 1：TGI 正式进入维护模式 — 官方 README 更新确认，无终止日期（⭐⭐⭐⭐⭐）
来源：inbox/jay/2026-09-24T1735-jay-evening-briefing-inference-vecdb-hf-stack-sep24.md；Hugging Face 官方 TGI README（2026-09-05 更新）；TensorMesh blog（2026-09-15）
URL：https://huggingface.co/blog/state-of-open-models-summer-2026（HF 官方博客确认）；https://www.tensormesh.ai/learn/vllm-vs-sglang（第三方确认）
要点： - 2026-09-05 TGI README 官方定位确认：仅接受小 bug 修复和文档更新，不再接受新功能 PR；无终止日期（不设 EOL） - Hugging Face 官方迁移路径：vLLM（通用生产）和 SGLang（Agent 多轮/结构化输出）为推荐迁移目标；llama.cpp / MLX 为本地/轻量场景备选 - 生态格局影响：TGI 社区规模已萎缩，vLLM 社区最大，SGLang 快速增长；生产 300+ GPU 部署 vLLM 最多，SGLang 快速增长 - 推理引擎推荐场景对比：
| 引擎 | Agent 共享上下文 | 前缀缓存 | 300+ GPU 生产 | 推荐场景 |
|---|---|---|---|---|
| vLLM | 中 | ✅ | 多 | 通用生产 |
| SGLang | 强（RadixAttention） | ✅ 原生 | 快速增长 | Agent 多轮/RAG/结构化输出 |
| TGI | 弱 | 基础 | 少 | 遗留系统 |
| llama.cpp | 无 | 无 | 无 | 本地/轻量 |
可信度：极高（HF 官方 README + 官方博客确认，TensorMesh 第三方交叉验证）
与活文档现有脉络的关系：inference.md §1.1 已有 "TGI 已死" 锚定（2026-03-21 GitHub 归档）；本条是 2026-09-05 README 更新的官方维护状态确认，与之前"归档"信息形成完整时间线：归档（3月）→ 维护状态正式化（9月）。inference.md §1.1 已有 TGI → vLLM/SGLang 迁移三坑（9月22日锚定），本条补充了"无终止日期"这一重要细节
建议归入章节：§1.1 框架格局（TGI 维护模式官方确认 · 无终止日期 · HF 官方迁移路径 vLLM + SGLang）
增量 2：vLLM Prefix Caching Bug — GPU 利用率降至 ~70%（GitHub #8242 确认·⭐⭐⭐⭐）
来源：inbox/jay/2026-09-24-inference-agent-engineering-filter.md §2；inbox/jay/2026-09-24T1950-jay-engineering-filter-evening.md §2；GitHub vllm-project/vllm#8242
URL：https://github.com/vllm-project/vllm/issues/8242
要点：
- Bug 现象：启用 --enable-prefix-caching 后，GPU 利用率降至约 70%，而非预期的 90%+
- 根因：已知内存碎片问题（memory fragmentation），具体机制在 GitHub Issue 中讨论
- 配置命令（CROZ benchmark，DeepSeek-R1-Distill-Llama-70B，TP8）：
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.1-70B-Instruct \
--gpu-memory-utilization 0.90 \
--max-model-len 32768 \
--kv-cache-dtype auto \
--enable-prefix-caching \
--swap-space 16
- Prefix Caching 收益实测数据（CROZ benchmark，同上配置）：
| 指标 | 启用 prefix caching | 关闭 prefix caching | 提升 |
|---|---|---|---|
| 吞吐量 | 302.98 tok/s | 289.46 tok/s | +4.6% |
| TTFT P99 | 12,701ms | 30,884ms | -59% |
- gpu_memory_utilization 分层经验值（DeployBase 实测）：
| 模型规模 | 安全值 |
|---|---|
| 7B | 0.95 |
| 13B | 0.85 |
| 70B | 0.90 |
⚠️ 注意：SitePoint vLLM Production Guide（2026-09-24）发现 --gpu-memory-utilization 0.9 在 80GB H100 上触发 std::bad_alloc——CUDA Graph capture 在 0.9×80GB=72GB 时消耗临时系统 RAM，超出系统内存。安全上限：H100 80GB 建议 0.8。DeployBase 的 0.9 建议与 SitePoint 数据矛盾，需结合具体版本和模型验证。
- vLLM 版本修复状态：Issue #8242 仍 open，vLLM 0.7.x 是否已修复待核实（建议后续追踪）
可信度：高（GitHub Issue 官方确认 bug 存在，含实测数据）
与活文档现有脉络的关系：inference.md §1.3（KV Cache）已有 vLLM FP8 KV-Cache / OSDI Zero-Copy KV Cache 锚定；本条是 vLLM prefix caching 的已知工程陷阱，是生产部署 vLLM 时必须知道的 bug，与 AgentX 真实流量中 >96% prefix reuse（9-23锚定）形成"理论收益 vs 工程现实"的张力
建议归入章节：§1.3 KV Cache（vLLM prefix caching GPU 利用率 Bug · #8242 确认 ~70% · memory fragmentation 根因 · gpu_memory_utilization 安全值分层）
增量 3：SGLang Breakable CUDA Graph（BCG）— 生产默认行为已变，回归隐患（⭐⭐⭐⭐）
来源：inbox/jay/2026-09-24-inference-agent-engineering-filter.md §1；inbox/jay/2026-09-24T1950-jay-engineering-filter-evening.md §1；Spheron Blog + LMSYS Org 官方博客 + GitHub Issue #35851
URL：https://www.lmsys.org/blog/2026-08-17-advanced-cuda-graph；https://github.com/sgl-project/sglang/issues/35851
arXiv/URL：https://github.com/sgl-project/sglang（GitHub Issue 35851）
要点：
- BCG = Breakable CUDA Graph：在 attention boundary 插入 eager break，使 CUDA Graph 捕获范围缩小，但可跨更多 kernel 使用
- 关键数据（Qwen3-235B-A22B，实测）：
- BCG graph builds：5× faster vs tc_piecewise
- Prefill 性能：up to 1.93× faster than eager
- GPU 成本节省估算：$2,467/月（10×H100 24/7 运行）
- ⚠️ 回归隐患（重要）：
- 实测 kernel coverage：72.7% kernels covered，27.3% eager
- 但 idle 占 61.3% window time——即使 kernel 被 graph 覆盖，大量时间仍在等待
- per-layer graph break idle：~590 µs per layer（在 hybrid linear-attention 模型上）
- 部分用户报告启用 BCG 后性能反而下降（GitHub Issue 35851 多用户确认）
- FlashInfer GDN prefill kernel 优化：可将 per-layer kernel launches 从 5 降至 1（×30 layers），--linear-attn-prefill-backend flashinfer 实测有效
- 关键里程碑：BCG 已成为 SGLang prefill 默认策略（2026-04-24 合并）——用户升级 v0.5.19/v0.5.20 后默认行为已变
可信度：高（GitHub Issue 35851 官方 + 多用户生产反馈，官方博客数据）
与活文档现有脉络的关系：inference.md §1.1 已有 SGLang v0.5.20 锚定（RL Sampling Masks / Unified Radix Tree）；本条是 SGLang BCG 默认策略的生产风险提示，与 v0.5.20 的"新功能"形成"性能提升机会 vs 潜在回归风险"的双面性
建议归入章节：§1.1 框架格局（SGLang BCG 默认化生产回归隐患 · 72.7% kernel coverage 但 idle 61.3% · 590µs/layer per-layer overhead）
增量 4：NVIDIA Dynamo 1.0 — PD Disagg 最新支持矩阵（⭐⭐⭐⭐）
来源：inbox/jay/2026-09-24-inference-agent-engineering-filter.md §3；inbox/jay/2026-09-24T1950-jay-engineering-filter-evening.md §3；NVIDIA 官方博客；Google Cloud Blog
URL：https://developer.nvidia.com/blog/nvidia-dynamo-1-production-ready；https://cloud.google.com/blog/products/compute/ai-inference-recipe-using-nvidia-dynamo-with-ai-hypercomputer
要点（最新支持矩阵）：
| 引擎 | EPD（Earlyexit Parallel Decoding） | PD Disagg（Prefill-Decode 分离） | Image | Video | Audio |
|---|---|---|---|---|---|
| vLLM | ✅ | ✅ | ✅ | ✅ | 🚧 |
| TensorRT-LLM | ✅（precomputed embeddings） | ✅ | ✅ | ❌ | ❌ |
| SGLang | ✅ | ❌ | ✅ | ❌ | ❌ |
- 关键洞察：SGLang 在 PD Disagg（Prefill-Decode 分离）上落后于 vLLM，这对需要大规模 PD 分离的生产部署是重要选型因素
- NVIDIA Dynamo 1.0 GA 日期：2026-03-16 GA，2026-03-25 官方博客确认
- 7× throughput 提升（DeepSeek R1 on Blackwell，FP4，1k/1k，SemiAnalysis InferenceX benchmark）
- PD 分离依赖 NIXL 高速互联协议
可信度：高（NVIDIA 官方博客 + Google Cloud 第三方确认）
与活文档现有脉络的关系：inference.md §1.1 已有 NVIDIA Dynamo 1.0 锚定（2026-09-22 inference e1prep）；本条是 PD Disagg 支持矩阵的最新更新，SGLang 缺失 PD disagg 是新信息，对需要 PD 分离的生产场景有直接选型影响
建议归入章节：§1.1 框架格局（NVIDIA Dynamo 1.0 PD Disagg 支持矩阵 · SGLang 缺失 PD disagg · vLLM 全支持）
增量 5：推理引擎 Benchmark 差距澄清 — 通用负载 ≤4%，前缀 >60% 时 SGLang 6.4×（⭐⭐⭐⭐）
来源：inbox/jay/2026-09-24T1735-jay-evening-briefing-inference-vecdb-hf-stack-sep24.md §四；inbox/jay/2026-09-24T1950-jay-engineering-filter-evening.md §4；Particula.tech benchmark（2026-09 实测）
URL：https://particula.tech/blog/sglang-vs-vllm-inference-engine-comparison；https://www.spheron.network/blog/sglang-s-breakable-cuda-graphs
Particula H100 实测数据（Llama 3.1 8B，1000 ShareGPT prompts）：
| 指标 | SGLang | vLLM | 差异 |
|---|---|---|---|
| 总吞吐 | ~16,200 tok/s | ~12,500 tok/s | +29%（特定条件） |
| 输出 token 吞吐 | 894 tok/s | 413 tok/s | +117% |
| TTFT | 79ms | 103ms | 快 23% |
| ITL | 6.0ms | 7.1ms | 快 15% |
并发扩展性曲线（Particula 实测）：
| 并发数 | vLLM (tok/s) | SGLang (tok/s) |
|---|---|---|
| 1 | 120 | 125 |
| 50 | 1,850 | 1,920 |
| 100 | 2,400 | 2,460 |
关键澄清： - 通用负载（50 并发）差距 ≤4%：在通用负载下，SGLang vs vLLM 差距在 run-to-run 方差范围内，29% 差距是 H100 FP16 特定数字（非通用场景） - 前缀共享 >60%：SGLang RadixAttention 有 6.4× 收益（相比 vLLM PagedAttention） - 前缀共享 <60%：两者性能相近 - 选型决策树： - prompt 重复率 >60% → SGLang - unique prompt 为主 → vLLM - 量化模型 + 受限硬件 → LMDeploy - NVIDIA 专用集群 + 延迟敏感 → TensorRT-LLM
成本计算（Spheron，H100 SXM5 on-demand）：
| 引擎 | tok/s | $/hr | Cost per 1M tokens |
|---|---|---|---|
| vLLM | 1,850 | $4.06 | $0.61 |
| SGLang | 1,920 | $4.06 | $0.59 |
| SGLang（spot） | 1,920 | $2.91 | $0.42 |
→ 日均百万请求：SGLang 比 vLLM 节省约 $15,000/月 GPU 成本
可信度：高（Particula + Spheron 2026-09 多个实测数据，第三方交叉验证）
与活文档现有脉络的关系：inference.md §1.1 已有 SGLang vs vLLm benchmark 锚定（29% 差距）；本条是 通用负载场景差距澄清，避免了之前 29% 数字被不当外推到所有场景的错误
建议归入章节：§1.1 框架格局（推理引擎 benchmark 差距澄清 · 通用负载 ≤4% · 前缀 >60% 时 SGLang 6.4× · 选型决策树更新）
增量 6：Multi-Agent 级联故障 — Hub node injection 100% 系统失败（⭐⭐⭐⭐）
来源：inbox/jay/2026-09-24-inference-agent-engineering-filter.md §8；inbox/jay/2026-09-24T1950-jay-engineering-filter-evening.md §8；Medium Micheal Lanham 实验（2026）
URL：https://medium.com/@Micheal-Lanham/multi-agent-in-production-in-2026-what-actually-survived-f86de8bb1cd1
要点： - LangGraph Hub Injection 实验数据：
| 注入位置 | 系统级失败率 |
|---|---|
| Hub node injection | 100% |
| Leaf node injection | 9.7% |
- 扩展级联测试：MetaGPT / LangGraph / CrewAI / AutoGen / Camel 均达到 100% 感染
- LangChain chains：89.2% 感染
- Governance layer 防御效果：可将 defense success 从 0.32 提升到 0.89+，但有 safety overhead
- 核心结论： 1. Agent collaboration 是 dependency graph，单个原子级 falseness 可扩散为系统级 false consensus 2. 拓扑脆弱性数据非常残酷 3. 2026 生产法则：从 strong single agent 开始 → agent-flow → orchestration → collaboration（逐级演进）
- 九项生产检查清单（DEV.to，Hadil Ben Abdallah）：
- [ ] 每个 agent run 产生分布式 trace，含 per-step spans + tool logs
- [ ] Latency、token count、cost 在 span 级别捕获
- [ ] LLM 流量通过集中式 AI gateway 路由
- [ ] Gateway 跨 provider 故障转移已配置
- [ ] Prompt 版本独立于应用代码追踪
- [ ] 生产 trace 接入自动化 eval pipeline
- [ ] 质量分数低于阈值时触发告警
- [ ] 高风险操作执行前需人工审批
- [ ] Observability、evals、routing 位于统一工作流内
可信度：中高（实际实验数据，来源为博客非顶会；多框架交叉验证数据）
与活文档现有脉络的关系：inference.md §1.4（推理可靠性与可观测性）已有 HookPoint / LLM Inference Engines Bug 实证锚定；本条是 Multi-Agent 协作系统的生产脆弱性量化数据，与 SWE-Serve 基准锚定（9-23增量3）共同构成推理系统的"可靠性与可观测性"双锚
建议归入章节：§1.4 推理可靠性与可观测性（Multi-Agent 级联故障量化 · Hub node 100% 失败 · 逐级演进生产法则 · 九项检查清单）
三、值得警惕的矛盾或待核实说法
矛盾/待核实 ①：vLLM gpu_memory_utilization 0.9 安全值争议（⭐⭐⭐ 高风险 ⚠）
- 问题：DeployBase 建议 70B 模型
gpu-memory-utilization: 0.90；SitePoint vLLM Production Guide 发现 0.9 在 80GB H100 上触发std::bad_alloc（CUDA Graph capture 超系统内存）。两者均为 2026-09-24 同日来源，但建议矛盾 - 可能解释：DeployBase 的 0.9 建议可能针对不同模型大小（70B vs 80B H100 的具体配置差异）；或 SitePoint 的 bug 已在特定版本中修复
- 建议：标注"gpu_memory_utilization 0.9 安全值需对照具体 vLLM 版本和模型规模核实，H100 80GB 建议 0.8 safe zone 优先"
矛盾/待核实 ②：vLLM Prefix Caching Bug (#8242) 修复状态不明（中风险）
- 问题：GitHub Issue #8242 仍 open，但 vLLM 0.7.x 是否已包含修复未知
- 建议：标注"vLLM prefix caching GPU 利用率 ~70% bug 修复状态待核实，建议在 vLLM 升级前验证 prefix caching 实测 GPU 利用率"
矛盾/待核实 ③：SGLang BCG 在部分模型上的性能回归（⭐⭐ 中风险）
- 问题：BCG 72.7% kernel coverage 但 idle 占 61.3% window time，部分用户在 GitHub Issue 35851 报告性能反而下降；此问题在 hybrid linear-attention 模型上更明显
- 建议：标注"SGLang BCG 在非 hybrid linear-attention 模型上默认开启，生产部署建议在特定模型上做 A/B 测试验证性能"
矛盾/待核实 ④：Multi-Agent 级联故障实验数据来源（中风险）
- 问题：数据来自 Medium 博客（非顶会论文），LangGraph Hub Injection 实验的具体实验条件（模型版本、注入方式、失败定义）未提供详细描述
- 建议：标注"Multi-Agent 100% 失败率数据来自博客实验，具体实验条件和失败定义需读原文核实，建议作为生产警示而非精确数字引用"
四、可引用 arXiv 号列表
| arXiv 号 | 标题 | 可信度 | 与 inference.md 关系 |
|---|---|---|---|
| 2609.18063 | Edge0: Serving 35B MoEs from SSD with Trained Routing Prediction · prerouter 消除 KV 重算 · 流式 MoE 推理引擎 | 高（arXiv 2026-09-19） | 本次新增 → §1.3 KV Cache（SSD MoE 分层 offloading + prerouter 预测路由） |
| 2609.25053 | LatentPort: Cross-Model Transfer of Recurrent Memory in Hybrid Language Models · Qwen3.5 4B→9B 状态迁移 · GDN 持久状态包 | 高（arXiv 2026-09 末） | 本次新增 → §1.3 KV Cache（跨模型 recurrent memory 迁移新范式） |
| 2609.19969 | DeepSeek-V4.1-Flash: KV Cache Compression · 552B MoE · 1M context | 高 | 9-21锚定；续立确认 |
| 2609.19657 | H100 Prefix Reuse and TTFT: vLLM vs TRT-LLM · 5–6.5× TTFT 加速 | 高 | 9-22锚定；续立确认 |
| 2607.02574 | KV Cache Management Survey: P1-P4 四层分类框架 | 高 | 9-22锚定；续立 |
| 2605.11093v1 | HookPoint: 3.6% overhead 可观测性方案 | 高 | 9-22锚定；续立 |
| 2506.09713v2 | A First Look at Bugs in LLM Inference Engines · 首个系统性实证分类 | 高 | 9-22锚定；续立 |
| 2509.15000 | SWE-Serve: Benchmarking Agents on Production Inference Engineering | 高 | 9-23锚定；续立 |
| 2609.19169 | SiliconBench: Apple Silicon 三维 LLM Serving 评估 | 高 | 9-23锚定；续立 |
| 2609.22870 | Towards Full Pipeline FP8 RL for LLMs · 熵值飙升根因 | 高 | 9-23锚定；续立 |
| 2609.24797 | Complex KDA: Kimi Delta Attention 线性 RNN 表达能力 | 高 | 9-23锚定；续立 |
| 2603.04428v1 | Persistent Q4 KV Cache Apple Silicon MLX · 边缘持久化 KV cache | 高 | 9-22锚定；续立 |
| 2609.20511 | EOS Tokens: Length Inflation in On-Policy Distillation | 高 | 9-21锚定；续立 |
| 2608.01526v1 | Internet for the KV Cache · KV Cache CDN 范式 | 高 | 9-21锚定 |
| 2609.17475 | JustFit: 200K-Token LLM Serving on 24 GiB Apple Silicon | 高 | 9-20锚定 |
| 2609.17391 | FlashVector: Agent for Hierarchical Model Serving Stack Optimization | 高 | 9-20锚定 |
| 2605.00528v1 | SAGA: Workflow-Atomic Scheduling for AI Agent Inference · HPDC'26 | 高 | 9-20锚定 |
| 2609.12923 | Dissecting GPU Utilization for LLM Inference on Nvidia Hopper · KTH | 高 | 9-20锚定 |
| 2609.17652 | Fathom: KV Cache Bit-Plane | 中高 | 9-18锚定 |
| 2609.18063 | Edge0: MoE SSD 卸载预路由 | 高 | 本次新增锚定 |
| 2606.01927 | Albireo: Scaling LLM Inference Beyond Amdahl's Limits | 高 | 9-18锚定 |
| 2605.29639 | RTP-LLM: Alibaba LLM Inference Engine | 高 | 9-18锚定 |
| 2605.29979 | Fingerprinting Inference Systems of LLMs | 高 | 9-18锚定 |
| 2609.05565 | Sustainable Distributed LLM Inference + llm-d | 高 | 9-17锚定 |
| 2604.05887 | HYBRIDKV: multimodal KV compression 7.9× | 高 | 9-17锚定 |
| 2510.09665 | LMCache 生产级 KV Cache 缓存层 | 高 | 9-16锚定 |
| 2602.07115 | Online Scheduling for LLM Inference with KV Cache | 高 | 9-15锚定 |
| 2604.24971 | PolyKV 多 Agent 共享 KV cache pool | 高 | 9-15锚定 |
五、本次无显著新增量的来源说明
以下来源已检查，但无 inference 主轴净增量，或已被活文档覆盖：
- inbox/tom/2026-09-24-0900-hf-daily-2026-09-24.md：15 篇 HF 票选当日论文，涵盖 Realtime-Venus（异步委托）、OmniEdu（教育）、GameHorizon（游戏）、Tasteful Agent（品味）、GAE（3D 生成）等；无 inference 主轴净增量，主分类均为 multimodal/agent/evaluation
- inbox/tom/2026-09-24-rag-e1prep.md：RAG 主题简报，与 inference 主轴邻接但非直接新增
- inbox/tom/2026-09-24-evaluation-e1prep.md：评估主题简报，与 inference 邻接但非直接新增
- paper_cards Sep 22-24 新卡（筛选后 2 条相关）：
- 1489-2609-25053（LatentPort）→ 已纳入本次增量
- 1411-2609-18063（Edge0）→ 已纳入本次增量
- 其余新卡（1495-2609.27901 video / 1487-2609-26550 / 1488-2609-25267 / 1480-2609-25199 等）均为主分类 multimodal，非 inference 主轴
- work-queue 9-24 22:00：无 inference 专项净新增；选题榜 2609.26550 和 2609.27334 待处理（可能为视频生成主题，非 inference 主轴）
六、建议今晚 E2 活文档更新优先级
| 优先级 | 内容 | 动作 |
|---|---|---|
| 🔴 最高 | TGI 维护模式官方确认（2026-09-05 README 更新 · 无终止日期 · HF 官方迁移路径） | 写入 §1.1 框架格局（补充 TGI 无终止日期细节，完善时间线） |
| 🔴 最高 | vLLM prefix caching GPU 利用率 Bug（#8242 · ~70% vs 90% · gpu_memory_utilization 0.8 safe zone） | 写入 §1.3 KV Cache（工程陷阱警示） |
| 🟡 中 | SGLang BCG 默认化生产回归隐患（72.7% coverage 但 idle 61.3% · 590µs/layer overhead） | 写入 §1.1 框架格局（补充生产风险提示） |
| 🟡 中 | NVIDIA Dynamo 1.0 PD Disagg 支持矩阵（SGLang 缺失 PD disagg · vLLM 全支持） | 写入 §1.1 框架格局（更新支持矩阵） |
| 🟡 中 | 推理引擎 benchmark 差距澄清（通用负载 ≤4% · 前缀 >60% 时 SGLang 6.4×） | 写入 §1.1 框架格局（修正 29% 数字外推错误） |
| 🟡 中 | Multi-Agent 级联故障量化数据（Hub 100% / Leaf 9.7% · 九项生产检查清单） | 写入 §1.4 推理可靠性与可观测性（新增 multi-agent 可靠性节） |
| 🟡 中 | Edge0 arXiv:2609.18063（SSD MoE prerouter · 消除 KV 重算） | 写入 §1.3 KV Cache（SSD offloading 新范式） |
| 🟡 中 | LatentPort arXiv:2609.25053（跨模型 recurrent memory 迁移 · GDN 持久状态） | 写入 §1.3 KV Cache（跨模型状态迁移新范式） |
| 🟢 低 | vLLM gpu_memory_utilization 安全值矛盾（DeployBase 0.9 vs SitePoint 0.8） | 待核实后写入 §1.3 KV Cache 调优备注 |
本报告由 Tom 实例自动生成 · 2026-09-24 22:20 CST 增量条目：6 条（TGI 维护模式官方确认 / vLLM prefix caching Bug / SGLang BCG 回归 / Dynamo 1.0 PD Disagg / Benchmark 差距澄清 / Multi-Agent 级联故障） 涉及 arXiv 号：2+25+（本次新增：2609.18063 Edge0 · 2609.25053 LatentPort；续用锚定 25+ 个）