DeepLoop: Depth Scaling for Looped Transformers

• 类型：arxiv
• 标识：2607.13491
• 链接：https://arxiv.org/abs/2607.13491
• 主分类：risk
• 形态：method
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• OpenAlex被引：0
• 影响力被引：0
• TLDR：The results show that stable recurrent depth requires residual scaling rules that account for parameter visits, not only nominal layer count, and DeepLoop is neutral when no physical block is revisited and improves validation loss and downstream accuracy once recurrent depth is activated.
• OpenAlex ID：W7168809821
• OpenAlex DOI：10.48550/arxiv.2607.13491
• DOI：10.48550/arxiv.2607.13491
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.13491
• OpenAlex更新：2026-07-19
• 待LLM分类：否
• 标题中文：DeepLoop：循环 Transformer 的深度扩展
• TLDR中文：结果表明稳定的循环深度需要计入参数访问次数（而非仅名义层数）的残差缩放规则；DeepLoop 在不存在物理块被重复访问时表现为中性，一旦启用循环深度则改善验证损失与下游准确率。
• 来源文件：
• /inbox/tom/_candidates/2026-07-17-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]