How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus

• 类型：arxiv
• 标识：2609.15504
• 链接：https://arxiv.org/abs/2609.15504
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：A gap between algorithmic losslessness and its implementation under finite-precision arithmetic is demonstrated and motivated, to motivate evaluating lossless speculative decoding at the level of exact generation trajectories as well as downstream task performance.
• OpenAlex ID：W7214750978
• OpenAlex DOI：10.48550/arxiv.2609.15504
• DOI：10.48550/arxiv.2609.15504
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.15504
• OpenAlex更新：2026-10-03
• 待LLM分类：否
• 标题中文：无损推测解码真的无损吗？数值精度在 Orthrus 中的作用
• TLDR中文：展示并论证了算法无损性与其在有限精度算术下实现之间存在差距，主张应从精确生成轨迹与下游任务性能两个层面评估无损投机解码
• 来源文件：
• /inbox/tom/_candidates/2026-09-15-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-09-16-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]