Sliding-window beats linear attention

• 类型：arxiv
• 标识：2608.28444
• 链接：https://arxiv.org/abs/2608.28444
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This work shows that SWA with sinks performs as well or better than most retrofitted Linear Attention models across multiple LLMs and downstream tasks, with the largest gains on long-context and generative tasks.
• OpenAlex ID：W7204843739
• OpenAlex DOI：10.48550/arxiv.2608.28444
• DOI：10.48550/arxiv.2608.28444
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2608.28444
• OpenAlex更新：2026-09-02
• 待LLM分类：否
• 标题中文：滑动窗口优于线性注意力
• TLDR中文：本文表明，引入 sinks 的 SWA 在多个 LLM 与下游任务上表现优于或持平于多数改造后的 Linear Attention 模型，在长上下文与生成任务上提升最大。
• 成熟度：research
• 场景：attention、LLM、efficiency
• 来源文件：
• /inbox/tom/_candidates/2026-09-01-rag-retrieval-reranking-candidates.json
• /inbox/tom/_candidates/2026-09-01-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]