2️⃣ Cats · 边缘推理的自投机级联验证 — arXiv:2605.11186（⭐⭐⭐⭐ 边缘推理重点）

• 类型：arxiv
• 标识：2605.11186
• 链接：https://arxiv.org/abs/2605.11186
• 主题：agent, engineering, evaluation, llm-infra, multimodal, rag
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：CATS, a self-speculative decoding framework that conducts cascaded verification and correction based on the memory budget and parameter offloading patterns on memory-limited devices, is proposed, which maximizes token acceptance rate and end-to-end speedup while keeping the peak memory footprint on the device equal to that of the target model alone.
• OpenAlex ID：W7161066542
• OpenAlex DOI：10.48550/arxiv.2605.11186
• DOI：10.48550/arxiv.2605.11186
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2605.11186
• OpenAlex更新：2026-07-19
• TLDR中文：本文提出 CATS，一种 self-speculative decoding 框架，在内存受限设备上结合 memory budget 与 parameter offloading pattern 进行级联式 verify 与 correction，在设备峰值显存与单独运行 target model 相当的前提下，最大化 token acceptance rate 与端到端加速比。
• 待LLM分类：否
• 成熟度：research
• 场景：边缘推理、投机解码
• 来源文件：
• /inbox/jay/2026-06-10-inference-kv-serve-supplement.md
• [S2 enrich]
• [OpenAlex backfill]

可复用信息

• • TTFT P95 延迟：35–37% 降低
• • 工程价值：生产级规模数据，非 toy benchmark；Disaggregation 架构是 2026 推理系统核心方向
• • 是否含真实命令/代码：⭐⭐⭐⭐ 有架构图 + 系统设计描述
• • 标签：arXiv 推理引擎 Disaggregation KVCache 投机解码 阿里巴巴 生产级
• • 建议动作：精读；建议纳入「LLM推理架构」主题页核心参考

• • 链接：https://arxiv.org/html/2605.11186v1
• • 核心问题：现有投机解码假设 HBM 能同时容纳 target model + draft model，边缘设备（DRAM 有限）不成立

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
• 可用于系统实现、实验平台或工程约束说明。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集