carloslfu/slotstream

• 类型：github
• 标识：carloslfu/slotstream
• 链接：https://github.com/carloslfu/slotstream
• 主题：llm-infra
• 主分类：llm-infra
• 形态：tool
• 分类：trending
• Stars：232
• 周增：+560
• 语言：Swift
• 许可：MIT
• 最近提交：2026-09-02
• 简介：Run Qwen3.8-Flash-Next (125B MoE, 104 GB at 4-bit) on Macs with a fraction of that RAM by streaming experts from SSD. MLX + Swift, Ollama-compatible API.
• 上次采集：2026-09-03
• 首次采集：2026-09-02
• 待LLM分类：否
• 成熟度：experimental
• 简介中文：在 Mac 上以远低于 104 GB 的内存运行 Qwen3.8-Flash-Next（125B MoE，4-bit 下约 104 GB），通过 SSD 流式加载专家。MLX + Swift，兼容 Ollama 的 API。
• 场景：模型推理、专家卸载、本地部署
• 来源文件：
• [GitHub Search]