仓库/Skill 库

友好的 AI 交互界面（支持 Ollama、OpenAI API 等）。User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎。A high-throughput and memory-efficient inference and serving engine for LLMs

使用单卡 4GB GPU 推理 AirLLM 70BAirLLM 70B inference with single 4GB GPU

通过 API 访问的免费 LLM 推理资源列表。A list of free LLM inference resources accessible via API.

面向 Metal、CUDA 和 ROCm 的 DeepSeek 4 Flash 与 PRO 本地推理引擎。DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Gemma 4 26B-A4B 在任意 M 系列 MacBook 上以约 2 GB 内存进行推理。Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

在任意消费级硬件上运行 Qwen3.8-Flash-Next：Windows / Linux 一键安装。Strata 推理引擎，本地 localhost 提供 OpenAI / Anthropic API，支持可选图像输入。Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

MiniMax H3 Mac 推理引擎。MiniMax H3 inference engine for Mac computers

聊天悬浮窗助手（macOS）：屏幕感知 + 本地小模型判断意图与风险，按话术生成回复候选。纯只读。

Qwen3.8 27B 在 SGLang 上运行于 DGX SparkQwen3.8 27B on SGLang for DGX Spark

OmniStudio 是一个本地大模型一体化桌面工作台，集模型市集下载、llama.cpp/vLLM/SGLang 三引擎推理管理，以及对话、语音合成、ASR语音识别、图片生成、视频生成、OCR 等多种大模型应用于一体，全程本地优先。

2× NVIDIA DGX Spark 上的 GLM-5.3-Flash (NVFP4)——vLLM TP2，262K 上下文，MTP。全球首发部署方案：发现并修复 7 个 day-0 bug，附 sm121 镜像补丁、探针与完整报告。GLM-5.3-Flash (NVFP4) on 2x NVIDIA DGX Spark - vLLM TP2, 262K context, MTP. World-first deploy recipe: 7 day-0 bugs found and fixed, patched sm121 image, probes and full report.

基于开源模型的 Jev 兼容 API 端点（仅 prefill）Jev-compatible API endpoint based on open models (prefill-only)

面向 Qwen3.8（含支持专家卸载的 Qwen3.8-Flash-Next）的 C++/CUDA 单 GPU 推理引擎，运行于 RTX 5090；源自 NInfer。C++/CUDA single-GPU inference engine for Qwen3.8 (incl. Qwen3.8-Flash-Next with offloaded experts) on the RTX 5090; grew from NInfer