Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

• 类型：arxiv
• 标识：2607.07386
• 链接：https://arxiv.org/abs/2607.07386
• 主分类：llm-infra
• 形态：method
• 被引：2
• 被引来源：Semantic Scholar
• S2被引：2
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Sparse Delta Memory is introduced, an architecture that scales the hidden state of gated linear RNNs to orders of magnitude higher capacity using a sparse addressing scheme and significantly improves performance on in-context learning and long-context retrieval tasks.
• OpenAlex ID：W7167845829
• OpenAlex DOI：10.48550/arxiv.2607.07386
• DOI：10.48550/arxiv.2607.07386
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.07386
• OpenAlex更新：2026-07-19
• 待LLM分类：否
• 标题中文：Sparse Delta Memory：通过稀疏性扩展线性 RNN 的状态容量
• TLDR中文：提出 Sparse Delta Memory，一种通过稀疏寻址方案将门控线性 RNN 隐状态容量扩展数个数量级的架构，在上下文学习与长上下文检索任务上显著提升性能。
• 成熟度：research
• 场景：long-context、in-context learning、RNN architecture
• 来源文件：
• /inbox/tom/_candidates/2026-07-10-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]