3️⃣ Speculative Decoding 延迟可解释模型 — arXiv:2605.15051（⭐⭐⭐⭐ 调优必读）

• 类型：arxiv
• 标识：2605.15051
• 链接：https://arxiv.org/abs/2605.15051
• 主题：agent, engineering, evaluation, llm-infra, multimodal, rag
• 来源文件：
• /inbox/jay/2026-06-10-inference-kv-serve-supplement.md

可复用信息

• • 墙钟加速：最高 5.08×，零质量损失
• • vs SOTA 方法：1.45×（边缘显存约束下）
• • 工程价值：对 AGENTIC LLM 场景（依赖设备本地推理）有直接参考价值；与同期 DeepMind/Adobe 的 Looped Transformer 形成技术路线互补
• • 标签：arXiv 边缘推理 自投机解码 显存优化 AgenticLLM
• • 建议动作：精读；建议纳入「端侧LLM部署」主题页

---

• • 链接：https://arxiv.org/html/2605.15051v1
• • 核心贡献：解释为什么投机解码的加速效果随服务器负载增加而衰减

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
• 可用于系统实现、实验平台或工程约束说明。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集