SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

• 类型：arxiv
• 标识：2609.01343
• 链接：https://arxiv.org/abs/2609.01343
• 主分类：rag
• 形态：method
• 被引：19
• 被引来源：Semantic Scholar
• S2被引：19
• OpenAlex被引：0
• 影响力被引：1
• TLDR：Results show that looping can improve Transformers even under budget matching, offering a practical recipe that turns depth reuse into measurable gains.
• OpenAlex ID：W7206177337
• OpenAlex DOI：10.48550/arxiv.2609.01343
• DOI：10.48550/arxiv.2609.01343
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.01343
• OpenAlex更新：2026-09-05
• 待LLM分类：否
• 标题中文：SMELT：面向计算匹配的 MoE 循环 Transformer 的扩展定律
• TLDR中文：结果表明，即便在算力预算匹配的前提下，循环（looping）仍可提升 Transformer，提供了一种将深度复用转化为可衡量增益的实用方案。
• 来源文件：
• /inbox/tom/_candidates/2026-09-02-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]