synchopate/nemotron-30b-cpu-256k

• 类型：github
• 标识：synchopate/nemotron-30b-cpu-256k
• 链接：https://github.com/synchopate/nemotron-30b-cpu-256k
• 主题：llm-infra
• 主分类：engineering
• 形态：app
• 分类：trending
• Stars：69
• 周增：+0
• 语言：Python
• 许可：Apache-2.0
• 最近提交：2026-11-02
• 简介：Running a 30B MoE LLM on CPU at 30-50+ tok/s with a 256K Context Window via Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking & 2MB HugePages
• 上次采集：2026-11-02
• 首次采集：2026-11-02
• 待LLM分类：是
• 成熟度：experimental
• 来源文件：
• [GitHub Search]