When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings

• 类型：arxiv
• 标识：2608.03994
• 链接：https://arxiv.org/abs/2608.03994
• 主分类：engineering
• 形态：position
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：It is found that ALiBi's failure mode can substantially impair token retrieval while having only a minor effect on standard decoder benchmarks, and proposes four training-time mitigation strategies that yield the most consistent improvements in passkey retrieval.
• 待LLM分类：否
• 标题中文：当注意力"失明"：ALiBi 位置编码中的数值失效
• TLDR中文：发现 ALiBi 的失效模式会显著损害 token 检索，而对标准 decoder 基准影响较小；提出四种训练时缓解策略，在 passkey 检索上获得最一致的提升。
• 来源文件：
• /inbox/tom/_candidates/2026-08-05-agent-rag-longcontext-candidates.json
• [S2 enrich]