Repositories · organized/repo_cards

仓库/Skill 库

8 个 · LLM 基础设施 · 应用 · 快速增长

排序 Stars 周增

Python · 2026-08-11 LLM 基础设施应用生产可用 Stars 148436 周增 +294

友好的 AI 交互界面（支持 Ollama、OpenAI API 等）。User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

Python · 2026-08-11 LLM 基础设施应用生产可用 Stars 88728 周增 +259

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎。A high-throughput and memory-efficient inference and serving engine for LLMs

Jupyter Notebook · 2026-08-10 LLM 基础设施应用生产可用 Stars 30619 周增 +574

使用单卡 4GB GPU 推理 AirLLM 70BAirLLM 70B inference with single 4GB GPU

Python · 2026-08-04 LLM 基础设施应用生产可用 Stars 29364 周增 +259

通过 API 访问的免费 LLM 推理资源列表。A list of free LLM inference resources accessible via API.

C · 2026-07-03 LLM 基础设施应用生产可用 Stars 17465 周增 +315

面向 Metal、CUDA 和 ROCm 的 DeepSeek 4 Flash 与 PRO 本地推理引擎。DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Swift · 2026-08-10 LLM 基础设施应用研究原型 Stars 5668 周增 +448

Gemma 4 26B-A4B 在任意 M 系列 MacBook 上以约 2 GB 内存进行推理。Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

C · 2026-08-11 LLM 基础设施应用研究原型 Stars 980 周增 +0

MiniMax H3 Mac 推理引擎。MiniMax H3 inference engine for Mac computers

Python · 2026-08-19 LLM 基础设施应用实验 Stars 168 周增 +0

Qwen3.8 27B 在 SGLang 上运行于 DGX SparkQwen3.8 27B on SGLang for DGX Spark