SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

• 类型：arxiv
• 标识：2609.13141
• 链接：https://arxiv.org/abs/2609.13141
• 主分类：engineering
• 形态：method
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Across reasoning, long-context understanding, and agentic tasks, SAS consistently outperforms trainable sparse attention baselines across attention budgets, with especially large gains under tight budgets, demonstrating more effective context ranking for downstream tasks.
• OpenAlex ID：W7212998642
• OpenAlex DOI：10.48550/arxiv.2609.13141
• DOI：10.48550/arxiv.2609.13141
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.13141
• OpenAlex更新：2026-09-16
• 待LLM分类：否
• 标题中文：SAS：通过端到端上下文排序优化实现简单注意力稀疏化
• TLDR中文：在推理、长上下文理解和 Agent 任务中，SAS 在不同注意力预算下均优于可训练的稀疏注意力基线，在紧预算下增益尤为显著，表明其上下文排序对下游任务更有效。
• 来源文件：
• /inbox/tom/_candidates/2026-09-14-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]