Fast Weight Attention for Continual Learning

• 类型：arxiv
• 标识：2608.27763
• 链接：https://arxiv.org/abs/2608.27763
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This framework separates temporal alignment, plasticity, forgetting, and bounded rehearsal in recurrent sequence models, together with numerically stable positive-decay renormalization, to remain competitive in language modeling and improve length extrapolation on variable-digit addition.
• OpenAlex ID：W7204828645
• OpenAlex DOI：10.48550/arxiv.2608.27763
• DOI：10.48550/arxiv.2608.27763
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2608.27763
• OpenAlex更新：2026-09-02
• 待LLM分类：否
• 标题中文：用于持续学习的快速权重注意力
• TLDR中文：该框架将循环序列模型中的 temporal alignment、plasticity、forgetting 与 bounded rehearsal 分离，并结合数值稳定的 positive-decay renormalization，使其在语言建模上保持竞争力，同时提升在可变位数加法任务上的长度外推能力。
• 成熟度：research
• 场景：continual learning、attention
• 来源文件：
• /inbox/tom/_candidates/2026-08-31-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]