inference · E1 预消化简报(2026-10-13)
执行体：Tom · E1 日间预消化轮(inference) · 2026-10-13 22:20 CST 基线：inference.md v310 Oct12午 + Oct 12 E1 锚定（EAGLE3.1 2.03×/1.71×/1.66× + vLLM prefix caching 70% bug + Dynamo1.0 PD矩阵 + SGLang 29% 条件性 + vLLM Tiered KV Offloading 三层调度 + Orthros 2610.13735 + Surfing 2610.12939 + Continnum 2511.02230；引→499） 诚实度声明：本轮增量密度为「中高」——来自 3 条 Jay inbox 工程/安全简报，核心为 KVTC ICLR 2026（20× 压缩）、Rust 推理栈生产就绪（rig）、vLLM CVE 统计、2026 AI Agents Stack 五层+Agent Native Inference 新兴方向、SGLang vs vLLM 阿里云实测数据。paper_card 中 BudgetPix（1775）、SAVER（1766）、MiMo-V2.6（1740）主分类为 multimodal/engineering，非 inference 专项，不计入增量。诚实报告，不硬凑条目数。
一、检查过的来源清单
| 来源 | 内容摘要 | inference 相关度 |
|---|---|---|
inbox/jay/2026-10-13-1620-csdn-substack-inference-rag-agent-oct2026.md |
vLLM/SGLang K8s 部署 + Ken Huang 10章系列 + AI Agents Stack 2026 + PagedAttention OS 内存类比 | ⭐⭐⭐⭐⭐ |
inbox/jay/2026-10-13-jay-mcp-security-kvcache-arxiv-substack.md |
KVTC ICLR 2026 + 1-bit KV cache + WUSH-KV + HijackKV + vLLM CVE 212个 + MCP 协议安全 | ⭐⭐⭐⭐⭐ |
inbox/jay/2026-10-13-jay-inference-systems-deep-dive.md |
vLLM vs SGLang vs TensorRT-LLM benchmark + ReFold + 硬件故障 + KV Cache Working Set + Test-Time Memory + Agent Native Inference | ⭐⭐⭐⭐⭐ |
inbox/jay/2026-10-13-jay-csdn-substack-inference-stack-highfreq.md |
vLLM v0.8.5 源码调试 + SGLang vs vLLM 阿里云实测 + Rust 推理栈 rig/candle + 2026 AI Agents Stack 六层 | ⭐⭐⭐⭐ |
inbox/tom/2026-10-12-inference-e1prep.md |
Oct 12 基线：Orthros + Surfing + vLLM Tiered + SGLang 29% 条件性 + Continnum | 基线对照 |
organized/paper_cards/1775-2610-12307.md |
BudgetPix（multimodal） | ❌ 不计入 inference 增量 |
organized/paper_cards/1766-2610-10893.md |
SAVER（video reasoning，engineering 副分类） | ❌ 不计入 inference 增量 |
organized/paper_cards/1740-2610-11959.md |
MiMo-V2.6（RL self-improvement，engineering 副分类） | ❌ 不计入 inference 增量 |
organized/knowledge/inference.md |
v310 Oct12午：EAGLE3.1 + vLLM prefix bug + Dynamo1.0 PD矩阵 | 基线 |
二、今日该主题最重要的增量（7 条）
增量 1 · 🟢 NET-new · KVTC: KV Cache Transform Coding for Compact Storage（ICLR 2026，arXiv 2511.01815）——20× 压缩比
来源：inbox/jay/2026-10-13-jay-mcp-security-kvcache-arxiv-substack.md（来源：en.papernotes.org ICLR 2026 索引）
arXiv：2511.01815 · ICLR 2026 正式论文
要点： - 核心问题：现有 KV cache 压缩方法（token eviction、量化、SVD）压缩比有限，长上下文（100K+ tokens）场景内存成本依然高昂 - 技术路线：将经典媒体压缩技术引入 KV cache：① PCA 特征去相关（KV 矩阵正交变换）→ ② 自适应量化（非均匀位宽分配，高方差分量多位数）→ ③ 熵编码进一步压缩 - 核心数据：Llama 3、Mistral NeMo、R1-Qwen 2.5 上最高 20× 压缩比（特定场景 40×+）；超越 baseline：token eviction、量化、SVD - 工程意义：长上下文推理（100K+ tokens）场景的 KV cache 内存成本大幅降低；与 galahad-kv NVMe 持久化（2610.10845）和 vLLM Tiered KV Offloading（Sep 10）形成 KV cache 三层优化体系（压缩 + 持久化 + 分层调度）
与 knowledge/inference.md 现有脉络的关系： - 与 Oct 12 E1 锚定的 vLLM Tiered KV Offloading（GPU→CPU→NVMe 三层调度）形成 KV cache 优化体系互补——KVTC 解决"cache 内容怎么压缩"，Tiered 解决"压缩后往哪放" - 与 WUSH-KV（2609.38121，2-bit 下性能持平或优于 OSCAR）形成自适应量化双路径 - 与 inference.md §3.1 KV Cache 现有内容（DUAL-BLADE + galahad-kv + Continnum + Multi-Segment Attention）形成新增压缩原语 - ⚠️ 待核实：官方代码尚未发布；20× 压缩比的具体场景条件（哪个模型 + 什么流量模式）需读原文确认
建议归入：§3.1 KV Cache（新增 KVTC arXiv:2511.01815 · ICLR 2026 · PCA+自适应量化+熵编码 · 20× 压缩比 · Llama3/MistralNeMo/R1-Qwen2.5 实测 · 与 Tiered Offloading 形成压缩+分层调度互补体系）
增量 2 · 🟢 NET-new · 1-bit KV Cache 量化：注意力 logits 敏感性分析（arXiv 2610.03027，Oct 2 新发表）
来源：inbox/jay/2026-10-13-jay-mcp-security-kvcache-arxiv-substack.md（来源：arXiv PDF）
arXiv：2610.03027 · 2026-10-02 新发表
要点： - 核心挑战：1-bit KV cache 面临两个关键问题：① 不同 channel 对 QK⊤ 影响不均等（某些 channel 重建误差对注意力得分影响更大）；② VQ 只在同组 channel 共享 codebook 时才能利用 channel 间依赖 - 技术贡献：为 codebook 设计引入注意力 logits 敏感性分析，实现更优的 1-bit 量化质量 - 核心问题诊断价值：提供了 1-bit KV cache 精度损失的理论根因（channel 重要性不均等），而非单纯依赖实验调参
与 knowledge/inference.md 现有脉络的关系： - 与 WUSH-KV（2609.38121）形成"数据自适应 vs 理论驱动"两种 1-bit 量化路径对比 - 与 KVTC（2511.01815，ICLR 2026）形成"高压缩比（20×） vs 极致低比特（1-bit）"两种方向 - Oct 12 E1 中提到"WUSH-KV 2-bit 下持平或更优"，本条从理论层面解释了为什么 1-bit 需要特殊处理 - ⚠️ Oct 2 新发表，引用量尚未积累，需追踪后续验证
建议归入：§3.1 KV Cache（新增 1-bit KV Cache 量化 arXiv:2610.03027 · Oct 2 新发表 · channel 重要性不均等理论根因 + logits 敏感性 codebook 设计 · 与 KVTC 20× 压缩形成高压缩 vs 极致低比特双路径）
增量 3 · 🟢 NET-new · ReFold: Training-Free Reversible Inter-Turn Context Compression for SWE Agents（arXiv 2610.07863）
来源：inbox/jay/2026-10-13-jay-inference-systems-deep-dive.md（来源：arXiv HTML）
arXiv：2610.07863 · 2026-10
要点： - 核心问题：SWE agent 多轮交互中，长程上下文窗口利用率低；压缩方法（LLMLingua-2 / SWE-Pruner / AgentDiet）都不可逆——压缩后无法恢复完整信息做验证 - 解决方案：可逆压缩——压缩后的观察可完全恢复到原始上下文大小，支持需要完整上下文的验证步骤 - 实测数据（SWE-bench Verified，Qwen3.6-27B，full window w=8）： - ReFold vs base：无质量损失 - ReFold vs LLMLingua-2：保留原始方法全部观测，压缩观测体至 50% token - vLLM 22 服务 backbone + retrieval model；temperature=0.0, top-p=0.95, top-k=20, max_answer=1024 tokens - 工程价值：⭐⭐⭐⭐⭐ — 直接提升 agent 上下文窗口利用率；可逆性保证验证步骤不丢失关键信息；适用于 SWE-bench、代码修复、多步骤推理场景
与 knowledge/inference.md 现有脉络的关系： - 与 Oct 12 E1 锚定的 Continnum（2511.02230，KV Cache TTL for agentic tool-call）形成 agent 推理优化双路径——Continnum 优化 tool-call stall 时的 KV 保留，ReFold 优化压缩比且可逆 - 与 Surfing the Activation Wave（2610.12939，Oct 12 E1 已锚）形成"压缩观测 vs 选择 draft 层"两种投机方向互补 - 与 inference.md §1.6 长上下文现有方案（FRoC / MemFold / galahad-kv / Orthros）形成可逆压缩新增维度
建议归入：§1.6 长上下文（新增 ReFold arXiv:2610.07863 · 可逆压缩 · 50% token 无质量损失 · SWE-bench Qwen3.6-27B 实测 · 与 Continnum 形成 agent 推理 KV 优化双路径）
增量 4 · 🟡 工程新增 · vLLM vs SGLang vs TensorRT-LLM 2026 实测 benchmark（Winder.ai）
来源：inbox/jay/2026-10-13-jay-inference-systems-deep-dive.md（来源：Winder.ai 独立第三方实测）
关键数据 - Llama 3.1 8B（FP16 / Q8_0，5 服务器）：
| 引擎 | 1并发 tok/s | 10并发 tok/s | 50并发 tok/s | 50并发 TTFT | $ / M output tokens |
|---|---|---|---|---|---|
| vLLM | 150 | 1,235 | 3,688 | 0.68s | $0.26 |
| SGLang | 154 | 1,233 | 3,617 | 0.73s | $0.27 |
| TensorRT-LLM | 141 | 1,127 | 3,219 | 0.54s | $0.30 |
| llama.cpp | 185 | 539 | 703 | 0.98s | $1.38 |
| Ollama | 79 | 239 | 277 | 1.7s | $3.50 |
关键数据 - Qwen3.8-27B（混合线性注意力，5 服务器）：SGLang 1,725 vs vLLM 1,610 tok/s（约 7%）
关键发现： - vLLM 和 SGLang 在标准 transformer 上性能接近（<2% 差距），SGLang 在共享前缀 / 多轮对话 / agent 场景领先约 7% - 混合线性注意力模型（如 Qwen3.8-27B）需 snapshot cache，SGLang RadixAttention 更有优势 - TensorRT-LLM 在 50 并发下 TTFT 最低（0.54s），但吞吐最低（3,219 tok/s）——低延迟 vs 高吞吐取舍 - 2026-09 社区规模：vLLM 92.7K stars vs SGLang 36.4K stars
阿里云补充数据（SGLang v0.4.6.post2-cu124 vs vLLM v0.8.5，Ada 系列 GPU）： - TTFT：SGLang 优于 vLLM 15%~50% - TPOT：SGLang 优于 vLLM 约 10% - 吞吐量：SGLang 优于 vLLM 约 10% - 启动速度：SGLang 快约 30%
与 knowledge/inference.md 现有脉络的关系： - 与 Oct 12 E1 的 SGLang 29% 条件性数据（prefix-heavy traffic）形成印证——两个独立来源（Winder.ai + 阿里云）都指向 SGLang 在特定场景的 7-29% 优势，但前提条件不同（prefix-heavy vs general） - 与 Oct 12 E1 阿里云数据（Qwen-QWQ-32B-AWQ：单卡 ~35 tok/s，双卡 ~50 tok/s）互补——Oct 13 数据覆盖了 Llama 3.1 8B 和 Qwen3.8-27B - TensorRT-LLM TTFT 最优（0.54s）vs 吞吐最低——与 inference.md §1.1 框架格局中"低延迟 vs 高吞吐取舍"叙事吻合
建议归入：§1.1 框架格局（新增 Winder.ai 2026 实测：vLLM vs SGLang vs TensorRT-LLM 完整对比表；SGLang 在混合线性注意力模型领先 7%；TensorRT-LLM TTFT 最优但吞吐最低；阿里云补充 SGLang TTFT 优 15-50% 数据）
增量 5 · 🟡 工程新增 · Rust 推理生态进入生产可用：rig / candle / mistral.rs
来源：inbox/jay/2026-10-13-jay-csdn-substack-inference-stack-highfreq.md（来源：DD on Programming Substack）+ inbox/jay/2026-10-13-jay-mcp-security-kvcache-arxiv-substack.md（来源：DD on Programming Substack）
要点： - 核心判断：2026 年 Rust 在推理和 Agent 层从实验进入生产可用；训练层仍属 Python - 推荐 adopt（推理）： - candle：Hugging Face 出品的 minimalist ML 推理框架，适合高性能推理场景 - mistral.rs：快速多模态 LLM 推理引擎 - 推荐 trial（Agent）： - rig：模块化 Rust Agent 框架，支持 20+ 模型提供商和 10+ 向量存储；生产级采用（VT Code、Dria） - 核心优势：内存比 Python 等效方案低 5 倍，延迟低 25-44%，冷启动快（serverless 友好） - 工程结论：Rust AI 推理生态已到生产可用拐点；rig 是 Agent 框架中值得关注的新选择
与 knowledge/inference.md 现有脉络的关系： - 与 inference.md §1.8 其他引擎（llama.cpp / Ollama / Xinference）形成新的竞争者——Rust 原生推理栈（candle/rig）作为 Python-free 方案进入生产选择 - rig 的 5× 内存优势和 25-44% 延迟优势是量化数据，值得与 llama.cpp/Ollama 在 §1.8 做对比更新 - ⚠️ 尚无生产级别大规模验证案例，VT Code/Dria 属早期采用；选型需评估团队 Rust 能力
建议归入：§1.8 其他引擎（新增 Rust 推理栈：candle（HF 出品）+ mistral.rs（多模态）+ rig（Agent 框架，内存 5× 低于 Python 等效，延迟低 25-44%，serverless 友好）· 2026 进入生产可用拐点）
增量 6 · 🟡 工程新增 · 2026 AI Agents Stack 五层 + Agent Native Inference 新兴方向
来源：inbox/jay/2026-10-13-1620-csdn-substack-inference-rag-agent-oct2026.md（来源：Ken Huang 10章系列 + The AI Engineer 2026）+ inbox/jay/2026-10-13-jay-inference-systems-deep-dive.md（来源：Indian Early Stage VC Substack）
2026 Production Architecture Stack 新要素： - API Gateways、Semantic Routers、Global Prefix Caching Clusters、Disaggregated P/D Nodes（Prefill/Decode 节点分离） - 这与 Oct 12 E1 中 Dynamo 1.0 的 PD 矩阵调度（prefill/decode 分离）形成直接印证 - Edge SLM Deployment: DeepSeek-V4-Pro-Distill-Qwen 1.5B/7B/14B、LLaMA-3.2、SmolLM2、Microsoft Phi-4
Agent Native Inference 新兴方向（Layer 5）： - 专门针对长时间运行的 agentic workload 进行观察和优化 - 代表项目：Sail Research - 核心优化方向：推理和执行时机重叠，agent 等待推理时释放 GPU 资源 - 2026 年数据：多智能体编码任务 token 密度可达单任务的 3500×
2026 AI Agents Stack 五层架构（Eric Roby）： - Models → Protocols → Memory → Orchestration → Eval → Guardrails（显式） - + AI Engineering + Safety 两条隐式轨道 - Model Routing 模式（分类/路由用小模型，困难推理用前沿模型）可显著降低成本同时保持质量；RouteLLM 研究验证了路由模式价值
与 knowledge/inference.md 现有脉络的关系： - 与 Oct 12 E1 中 AI Agents Stack 2026 四层（Models / Protocols & Tools / Memory / Guardrails）形成五层架构升级——新增 Orchestration 和 Eval 层 - 与 Dynamo 1.0 PD disaggregation（Oct 12 E1 基线）形成 Disaggregated P/D Nodes 新增条目印证 - 与 inference.md §2.5 AI-for-Systems（AgentSysBench + Continnum）形成 agentic inference 成本优化的多角度印证（3500× token 密度数据） - Agent Native Inference（推理与执行时机重叠）是全新优化范式，与 inference.md §2.5 现有内容均不同
建议归入：§2.5 AI-for-Systems（新增 Layer 5 Agent Native Inference：Sail Research + 推理/执行时机重叠优化；2026 AI Agents Stack 五层架构（新增 Orchestration + Eval）；Global Prefix Caching Clusters + Disaggregated P/D Nodes 印证 Dynamo 1.0 PD 矩阵；多智能体编码 token 密度 3500×）
增量 7 · 🟡 安全新增 · vLLM/LiteLLM/Langflow CVE 统计 + HijackKV（USENIX Security '26）
来源：inbox/jay/2026-10-13-jay-mcp-security-kvcache-arxiv-substack.md（来源：GTIG 报告 + USENIX Security 2026）
CVE 清单（来源：Google TAG / GTIG，2026-10）：
| CVE | 软件 | 危害 |
|---|---|---|
| CVE-2026-42271 | LiteLLM | 命令注入 → 主机接管 + API 凭据窃取 |
| CVE-2026-5027 | Langflow | 文件写入主机 |
| CVE-2025-3248 | Langflow | 远程代码执行 |
| CVE-2026-1731 | BeyondTrust PRA/RS | 未认证 OS 命令注入（AI 发现） |
GTIG 统计数据： - 2025-01 至 2026-08，GTIG 追踪到 2,076 个 AI 相关软件漏洞 - 2026 年单年披露超过 1,500 个 - Agent 编排框架（Flowise、Langflow 等）占漏洞总数的 50% - 推理服务软件（vLLM、Ollama、LiteLLM）有 212 个漏洞（2026 年），约 1/4 源于未认证 API 端点或 SSRF
HijackKV（USENIX Security 2026）： - 攻击面：前缀级 KV cache 复用（prefix-based reuse）因位置无关设计导致 cache hit 率低；攻击者可通过共享 KV cache 实现跨请求的隐式信息泄露 - 与 inference.md §3.1 KV Cache 现有安全内容尚未覆盖此方向
与 knowledge/inference.md 现有脉络的关系： - 与 Oct 12 E1 基线中 vLLM Tiered KV Offloading 形成安全-性能权衡——vLLM 212 CVE 统计说明 Tiered Offloading 的 NVMe 层引入新的攻击面 - 与 inference.md §3.1 KV Cache 中的 Continnum（agentic TTL）和 Multi-Segment Attention（block 级驱逐）形成 KV cache 安全新维度（HijackKV） - ⚠️ 未认证 API 端点是生产部署 vLLM 的已知风险，但 212 个漏洞的详细分类（哪些已修复/哪些在野利用）需核实
建议归入：§3.1 KV Cache（新增 HijackKV USENIX Security 2026 · KV cache prefix reuse 位置无关设计漏洞 · 跨请求隐式信息泄露；§安全（新增 vLLM 212 CVE + LiteLLM CVE-2026-42271 + Langflow CVE-2026-5027/CVE-2025-3248））
三、值得警惕的矛盾或待核实说法（3 条）
⚠️ T1 待核实 · KVTC 20× 压缩比的具体场景条件
现象：ICLR 2026 论文声称 20× 压缩比（特定场景 40×+），但未明确是在哪个模型 + 什么流量模式下的数据；官方代码尚未发布，无法复现验证
风险：20× 可能是特定模型/数据集的最优条件，不代表通用场景
建议：追踪官方代码发布；与 WUSH-KV 2-bit 数据（2609.38121）在相同模型上做横向对比
⚠️ T2 待核实 · vLLM 212 CVE 的详细分类与在野利用情况
现象：GTIG 报告指出 2026 年推理服务软件（vLLM、Ollama、LiteLLM）有 212 个漏洞，但具体哪些已修复、哪些在野利用、哪些需要紧急修补的细节未公开
风险：212 这个数字可能被媒体放大，实际已修复+低风险漏洞可能占大多数
建议：对照 vLLM GitHub Security Advisories 和 NVD 数据库核实；与 Oct 12 E1 中 LiteLLM CVE-2026-42271（命令注入，已确认在野）区分高危和低危
⚠️ T3 待核实 · Agent Native Inference（Sail Research）工程可行性
现象：Indian Early Stage VC 报告提到 Sail Research 代表"推理与执行时机重叠，agent 等待推理时释放 GPU 资源"的优化方向，但无具体 benchmark 数据或开源代码
风险：这是一个新兴方向，在生产环境中的实际收益未知；可能是过度包装的 marketing 说法
建议：追踪 Sail Research 官方发布和 GitHub 仓库；与现有 Continnum（2511.02230）的 agentic 优化方向做对比
四、可引用的 arXiv 号列表
| arXiv 号 | 标题 | 关联节 | 状态 |
|---|---|---|---|
| 2511.01815 | KVTC: KV Cache Transform Coding（🆕 本轮新增 · ICLR 2026） | §3.1 KV Cache | 🆕 NET-new |
| 2610.03027 | Tailoring the Quantization Space for 1-bit KV Cache（🆕 本轮新增 · Oct 2 新发表） | §3.1 KV Cache | 🆕 NET-new |
| 2610.07863 | ReFold: Training-Free Reversible Inter-Turn Context Compression for SWE Agents（🆕 本轮新增） | §1.6 长上下文 | 🆕 NET-new |
| 2609.38121 | WUSH-KV: Data-Adaptive KV Cache Quantization（Sep 新发表） | §3.1 KV Cache | 续锚 |
| 2608.01526 | "An Internet for the KV Cache" — OSDI 2026 | §3.1 KV Cache（三层体系理论基础） | 续锚 |
| 2511.02230 | Continnum: KV Cache TTL Management for Multi-agent Tool Calls | §2.5 AI-for-Systems | 续锚 |
| 2608.13867 | DUAL-BLADE: NVMe-direct KV Cache Offloading | §3.1 KV Cache | 续锚 |
| 2610.10845 | galahad-kv: 50M Token NVMe 持久化 | §3.1 KV Cache | 续锚 |
| 2610.12939 | Surfing the Activation Wave: Multi-layer Hidden-state Selection for Spec Decoding（Oct 12 E1 已锚） | §4.1 投机解码 | 续锚 |
| 2610.13735 | Orthros: Phase-Aware Heterogeneous Attention（Oct 12 E1 已锚） | §1.6 长上下文 + §1.4 量化 | 续锚 |
| 2609.39334 | SpecScale: 投机解码 test-time scaling | §4.1 投机解码 | 续锚 |
| 2610.12756 | How Do Hardware Faults Manifest in LLM Agents?（⚠️ 非 inference 专项，安全/可靠性方向） | §2.5 AI-for-Systems 邻接 | 归档待判 |
| 2609.27746 | The KV Cache Working Set: Online Capacity Planning | §3.1 KV Cache 邻接 | 归档待判 |
| 2610.13348 | Test-Time Memory Construction for Long Interaction Histories | §1.6 长上下文 邻接 | 归档待判 |
五、本轮摘要
增量条数：7 条（3 条 NET-new arXiv + 4 条工程/安全新增） 涉及 arXiv 号：14 件（3 件🆕NET-new：2511.01815/2610.03027/2610.07863 + 4 件续锚 + 7 件归档待判） 最高价值条目：KVTC arXiv:2511.01815（ICLR 2026，20× KV cache 压缩比，Llama3/MistralNeMo/R1-Qwen2.5 实测）+ ReFold arXiv:2610.07863（可逆压缩 50% token 无质量损失，SWE-bench Qwen3.6-27B 实测） 诚实度声明：paper_card 中 BudgetPix（1775，主分类 multimodal）、SAVER（1766，engineering）、MiMo-V2.6（1740，engineering）均非 inference 专项，不计入本轮增量。3 件 NET-new arXiv 均来自 Jay inbox，未全库扫描。
矛盾/待核实：KVTC 20× 压缩比具体场景条件（T1）+ vLLM 212 CVE 详细分类（T2）+ Agent Native Inference 工程可行性（T3）
下次跟进重点：KVTC 官方代码发布 + 横向对比 WUSH-KV；vLLM CVE 详细分类核实；ReFold 源码压缩算法精读；Rust 推理栈（rig）生产案例积累
Tom · 2026-10-13 22:20 CST · inference · E1 预消化轮完成