Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

• 类型：arxiv
• 标识：2609.14306
• 链接：https://arxiv.org/abs/2609.14306
• 主分类：engineering
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Four parallelism plans are left unbounded by the parallelism plans in common use, and each grows differently: expert dispatch with the routing matrix, the vocabulary projection with tokens times vocabulary, gradient checkpoint boundaries with depth times sequence length, and optimizer state with parameter count.
• OpenAlex ID：W7213292366
• OpenAlex DOI：10.48550/arxiv.2609.14306
• DOI：10.48550/arxiv.2609.14306
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.14306
• OpenAlex更新：2026-09-19
• 待LLM分类：否
• 标题中文：长上下文 Mixture-of-Experts 训练中每个内存峰值的平整化
• TLDR中文：常用的并行方案留下了四种未被约束的并行维度，各自增长方式不同：随路由矩阵增长的专家调度、随 token 数乘词表规模增长的词表投影、随深度乘序列长度增长的梯度检查点边界，以及随参数量增长的优化器状态。
• 来源文件：
• /inbox/tom/_candidates/2026-09-17-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]