FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution

  • 类型:arxiv
  • 标识:2608.16157
  • 链接:http://arxiv.org/abs/2608.16157v1
  • 主分类:llm-infra
  • 形态:method
  • 被引:0
  • 被引来源:Semantic Scholar
  • S2被引:0
  • 影响力被引:0
  • TLDR:FreeToken is an edge-native MoE serving system that treats a personal machine not as a small GPU, but as a unified, elastic inference platform, turning open weights into deployable local software, making the machines users already own a practical platform for frontier-scale intelligence.
  • 副分类:agent
  • 待LLM分类:否
  • 标题中文:FreeToken:带宽自适应执行的边缘原生 MoE 高效服务
  • TLDR中文:FreeToken 是一个 edge-native 的 MoE serving 系统,将个人机器视为一个统一、弹性的推理平台而非小型 GPU,把开放权重转化为可部署的本地软件,使用户已有的机器成为运行前沿规模智能的实用平台。
  • 来源文件
  • /inbox/tom/_candidates/2026-08-18-agent-rag-longcontext-candidates.json
  • /inbox/tom/_candidates/2026-08-19-agent-rag-longcontext-candidates.json
  • [S2 enrich]