SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization

• 类型：arxiv
• 标识：2609.14320
• 链接：https://arxiv.org/abs/2609.14320
• 主分类：rag
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：SpectralShift is proposed, a spectral reparameterization approach for long-context continual pretraining of GDNs that reparameterizes the alpha projections initialization to reshape the decay spectrum by enhancing slow propagation capacity, and further introduces a learning-rate scaling for alpha projections to facilitate long-context training.
• OpenAlex ID：W7213291119
• OpenAlex DOI：10.48550/arxiv.2609.14320
• DOI：10.48550/arxiv.2609.14320
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.14320
• OpenAlex更新：2026-09-18
• 待LLM分类：否
• 标题中文：SpectralShift：通过谱重参数化实现 Gated DeltaNet 高效的上下文窗口扩展
• TLDR中文：本文提出 SpectralShift，一种用于 GDN 长上下文持续预训练的谱重参数化方法，通过重参数化 alpha 投影的初始化以重塑衰减谱，增强慢传播能力，并进一步引入 alpha 投影的学习率缩放以促进长上下文训练。
• 来源文件：
• /inbox/tom/_candidates/2026-09-17-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]