The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

• 类型：arxiv
• 标识：2609.18063
• 链接：https://arxiv.org/abs/2609.18063
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Edge0 is presented, a streaming MoE inference engine that closes the gap with a prerouter: a per-layer head predicts the next layer's routing one token ahead, and the prediction is consumed as the routing itself, so the staged expert set equals the routed set and nothing is dropped.
• OpenAlex ID：W7213509140
• OpenAlex DOI：10.48550/arxiv.2609.18063
• DOI：10.48550/arxiv.2609.18063
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.18063
• OpenAlex更新：2026-09-19
• 待LLM分类：否
• 标题中文：内存墙的另一半：通过训练路由预测从 SSD 服务 35B MoE
• TLDR中文：本文提出 Edge0，一个流式 MoE 推理引擎，通过 prerouter 缩小差距：每层 head 提前一个 token 预测下一层的 routing，并将该预测直接作为 routing 使用，使分阶段 expert 集合等于路由集合，无任何丢弃。
• 来源文件：
• /inbox/tom/_candidates/2026-09-17-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-09-18-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]