仓库/Skill 库

友好的 AI 交互界面（支持 Ollama、OpenAI API 等）。User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

21 节课程，开启生成式 AI 应用开发之旅21 Lessons, Get Started Building with Generative AI

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎。A high-throughput and memory-efficient inference and serving engine for LLMs

Python SDK、代理服务器（AI Gateway），以 OpenAI（或原生）格式调用 100+ LLM API，支持成本追踪、guardrails、负载均衡和日志记录。[Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

Sub2API 是一款开源中继平台，将 Claude、OpenAI、Gemini 与 Antigravity 订阅统一为单一端点，支持账号共享与费用分摊，兼容原生工具调用。Sub2API 一站式开源中转服务，让 Claude、Openai 、Gemini、Grok订阅统一接入，支持拼车共享，更高效分摊成本，原生工具无缝使用。

SGLang 是一个面向大语言模型和多模态模型的高性能 serving 框架。SGLang is a high-performance serving framework for large language models and multimodal models.

使用单卡 4GB GPU 推理 AirLLM 70BAirLLM 70B inference with single 4GB GPU

通过 API 访问的免费 LLM 推理资源列表。A list of free LLM inference resources accessible via API.

在现有硬件上运行前沿 MoE 模型——纯 C 实现、零依赖、专家权重从磁盘流式加载。轻量引擎，海量模型。🐦Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

面向 Metal、CUDA 和 ROCm 的 DeepSeek 4 Flash 与 PRO 本地推理引擎。DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

OpenAI Codex 与 Claude Code 的通用 provider 代理 —— 可在 Codex CLI、App、SDK 及 Claude Code 中使用任意 LLM（Claude、Gemini、Grok、DeepSeek、Ollama…）。Universal provider proxy for OpenAI Codex & Claude Code — use any LLM (Claude, Gemini, Grok, DeepSeek, Ollama…) with Codex CLI, App, SDK, and Claude Code

开放式前沿智能Open Frontier Intelligence

Gemma 4 26B-A4B 在任意 M 系列 MacBook 上以约 2 GB 内存进行推理。Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

一个 2.78 万亿参数的 Kimi K3，在仅 8.24 GB 内存的单颗 CPU 上运行推理。可移植的 C99：无需 BLAS，无需框架，无需 GPU。A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

AgentENV (AENV) 是一个用于大规模运行 Agent 环境的分布式平台。AgentENV (AENV) is a distributed platform for running agent environments at scale.

dsh-routing-suite——注入器 + 路由标准套件：先安装运行时注入器，再安装任务感知的推理模式路由预设（已实测 P1-P23）。dsh-routing-suite — injector + router-standard kit: install the runtime injector first, then the task-aware reasoning-mode router preset (measured P1-P23).

MiniMax H3 Mac 推理引擎。MiniMax H3 inference engine for Mac computers

Qwen3.8-27B 在单卡 RTX 3090 上使用 vLLM 部署：64 并发下约 1,000 tok/s（int8 张量核心 GEMM、fp16 DeltaNet 状态），默认采样下单用户约 114 tok/s/贪心约 124 tok/s（MTP 草稿、自输出草稿词表、校准 int4 lm_head、split-KV 校验注意力），150k–262k 上下文；附带补丁、重新量化脚本与基准测试Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

DeepSeek v4 Flash EXL3 运行于单台 DGX SparkDeepSeek v4 Flash EXL3 on one DGX Spark

在两台 dgx-spark 上从零部署 deepseek-flash-0731 的设置指南。setup guide for deepseek-flash-0731 on two dgx-spark from scratch

Qwen3.8 27B 在 SGLang 上运行于 DGX SparkQwen3.8 27B on SGLang for DGX Spark

FreeBuff 编码模型的 OpenAI 兼容网关。Token 池、会话生命周期、TLS stealth、嵌入式管理后台。无广告、无 CLI，只有 /v1/chat/completions。OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle, TLS stealth, embedded admin dashboard. No ads, no CLI, just /v1/chat/completions.

Meta Inc. 所有 oss 模型的相关 recipes。All recipes for oss models from Meta Inc.

纯 Go 编写的轻量神经网络框架，使用 AVX2 SIMD 内核（GOEXPERIMENT=simd）。A tiny neural-network framework in pure Go with AVX2 SIMD kernels (GOEXPERIMENT=simd)