Krasis 是一个混合 LLM 推理运行时,专注于在消费级显存受限的 NVIDIA GPU 上高效运行数百亿参数级别的 MoE(Mixture of Experts)大模型。它的核心设计目标是:让一张或两张普通游戏显卡(如 RTX 5090 32 GB、RTX PRO 6000 96 GB)就能跑得动原本需要 H100/A100 才能加载的千亿参数模型。 …
仓库攻略
1 篇 · 1 个项目 · LLM 基础设施 · jay · 安全与风险
1 篇 · 1 个项目 · LLM 基础设施 · jay · 安全与风险