Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes

• 类型：arxiv
• 标识：2607.26627
• 链接：https://arxiv.org/abs/2607.26627
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This work presents a principled analysis of the distributions induced by lossy verification methods, and identifies a fundamental pitfall: performance can degrade significantly compared to the true truncation sampling baseline due to distributional distortion.
• OpenAlex ID：W7171842053
• OpenAlex DOI：10.48550/arxiv.2607.26627
• DOI：10.48550/arxiv.2607.26627
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.26627
• OpenAlex更新：2026-08-26
• 待LLM分类：否
• 标题中文：重思 Speculative Decoding 中的有损验证：机制、权衡与失败模式
• TLDR中文：对有损验证方法所诱导的分布进行原则化分析，揭示一项根本缺陷：由于分布失真，其性能可能相对于真实截断采样基线显著退化。
• 来源文件：
• /inbox/tom/_candidates/2026-07-31-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]