9Router 是一个本地智能路由器，串联在你常用的 AI 编码 CLI 工具（如 Claude Code、Codex、Cursor、Cline、Copilot、OpenClaw 等）与各路 LLM API 提供商之间。它解决的核心问题是：订阅浪费、速率限制、格式不兼容、手动切换。 架构上，它是一个跑在本地的 HTTP 代理服务（默认 localhost:2…
仓库攻略
58 篇 · 58 个项目 · LLM 基础设施 · Agent 智能体
Ollama 是最流行的本地大模型推理运行时，让你在本地机器上运行开源 LLM（Llama 系列、Qwen、DeepSeek、GLM、Gemma 等数百个模型），无需云服务、无需 API Key、一条命令启动服务。2026年7月 v0.32.0 起，Ollama CLI 本身升级为交互式 Agent，支持 Chat、Code 和 Work 委托任务——CLI…
envoyproxy/aigateway 是 Envoy 生态下的 AI 网关项目，基于 Envoy Gateway 扩展，专门处理应用客户端到生成式 AI（GenAI）服务的流量。它的本质是一个 Kubernetes 原生的 LLM 流量管理平面，提供路由、认证、限流、弹性Failover等企业级能力。 Envoy 是 CNCF 旗下久经生产验证的代理，M…
anyllm 是 Mozilla AI 团队推出的 Python 库，目标是让你用同一套代码调用任何 LLM 提供商，无需改业务逻辑。 它的核心理念很清晰：LLM 提供商的 API 接口碎片化严重——OpenAI、Anthropic、Azure、Mistral、Ollama……各家参数名、响应格式、错误处理各有差异。anyllm 不重新造轮子，而是封装官方 …
版本说明：仓库 README 中没有写死顶层版本号，文档站 inference.roboflow.com/using_inference/about 自称 "Inference 1.0"，PyPI 上 inferencesdk 的最新轮转版本为 1.3.x（如 1.3.7）——下面的命令以当前 README 与 PyPI 通用写法为准，不写死小版本号，使用 …
Kimi K3 是 Moonshot AI（MiniMax）推出的开源权重多模态 Agent 大模型，总参数量 2.8T（激活 104B），是全球首个开放的 3T 级开源模型。K3 基于两项自研架构：Kimi Delta Attention（KDA） 和 Attention Residuals（AttnRes），采用 MoE（MixtureofExperts…
huggingface.js 是 Hugging Face 官方维护的 JavaScript / TypeScript 工具套件，本身是个 monorepo，里面按职责拆分成了若干独立发布的 npm 包： @huggingface/hub：与 huggingface.co 交互——创建/删除仓库、上传/下载/列出文件、提交 commit。覆盖 Model /…
Bionic GPT 是一个自托管（onpremise）的 ChatGPT 替代品，定位企业内部的私有生成式 AI 平台。它用 Rust 写了一个高性能 Web Server，把 RAG、文档解析、模型路由、鉴权、审计、可观测性这些通常要自己拼装的"内部 ChatGPT 必备件"打包成一个可直接落到 Kubernetes 上的完整栈。 它不是单一服务，而是按…
RapidMLX 是目前 Apple Silicon 上速度最快的本地 AI 推理引擎，专为 M 系列芯片优化，基于 Apple MLX 框架重写所有核心 kernel，纯 Metal GPU 加速，无任何 llama.cpp 回退或 Python 桥接层。相比同场景的 Ollama，吞吐量提升约 4.2 倍，首 token 时间（TTFT）可低至 0.08…
MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…
DataJuicer（简称 DJ）是一个为 foundation model 时代打造的数据操作系统，专注于将混乱的原始数据转化为 AI 可用的精炼数据。它把数据处理看成是可组合的基础设施，提供模块化的构建块来完成清洗、合成和分析，覆盖 AI 全生命周期的数据处理需求。 用大白话说：它是一个超大型数据处理工具箱，内置 200+ 算子（Operator），可以…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
Dyad 是一个本地运行、开源免费的 AI 应用构建工具（v0 / Lovable / Replit / Bolt 的开源替代）。用户通过自然语言描述需求，Dyad 自动生成完整的全栈应用代码，全程在本地机器运行，不依赖云端平台，不锁死生态，代码完全属于你自己。 支持 macOS 和 Windows，下载即可使用，无需注册。 1. 前往官网下载页面： 2. …
chatanywhere/GPT_API_free 是一个免费中转 API 服务，让国内用户无需科学上网即可调用 OpenAI GPT 系列、DeepSeek、Claude（Anthropic 官方协议）、Gemini、Qwen、Kimi、GLM、Minimax 等主流大模型的 API 接口。项目提供免费 API Key（每日限额），也支持付费 Key 获取…
HappyLLM 是 Datawhale 团队推出的系统性大模型学习教程，定位介于"科普"和"科研"之间，目标是授之以鱼，更授之以渔。它从 NLP 基本研究方法讲起，沿着 LLM 的思路和原理逐层深入，最终带领读者用 PyTorch 从零实现一个 LLaMA2 模型，并完成预训练、有监督微调（SFT）和 LoRA/QLoRA 高效微调的全流程。 与其姐妹项目…
LMCache 是一个KV Cache 管理中间件层，专为 LLM 推理场景设计。它的核心思路是把 GPU VRAM 中转瞬即逝的 KV Cache 变成可持久化、可复用、可监控的 AI 原生存储，从而显著降低 TTFT（Time To First Token，首 token 延迟），提升多轮对话和 Agentic Workload 的吞吐量。 典型工作场景…
FinGPT 是由 AI4Finance Foundation 维护的开源金融大语言模型（Financial LLM）项目，目标是把大模型能力下沉到金融领域，覆盖数据采集 → 数据清洗 → 模型微调 → 应用部署的全链路。它不是单一模型，而是一整套生态： FinGPTForecaster：基于新闻 + 价格的个股走势预测机器人，对标道琼斯 30 成分股，附带…
vLLMOmni 是 vLLM 社区推出的全模式（omnimodality）推理框架，将 vLLM 的高性能 LLM 推理能力扩展到任意到任意的多模态模型——不只是理解图像/视频/音频，而是能同时生成多种模态的输出（文本+图像+视频+音频）。 支持的输出类型： 一句话概括：vLLM 在多模态生成领域的扩展，让研究者和企业能用生产级性能跑 OmniModali…
Onyx 是 LLM 的应用层——一个功能丰富的开源 AI 平台，支持自托管。它让团队通过 RAG（检索增强生成）、深度研究、自定义 Agent、代码执行、Web 搜索、MCP 等高级能力，把 LLM 接入真实工作流。 核心定位：企业级 AI 平台（类 ChatGPT + RAG + Deep Research + Agents），可一键部署，适合需要数据隐…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
LLaMA Factory（LlamaFactory）是一个统一的大模型微调平台，能对超过 100 种预训练 LLM 和 VLM（视觉语言模型）进行高效微调，且无需编写代码。项目发表面向 ACL 2024论文，并被广泛用于学术和工业场景。 其核心定位是：让微调大模型变得像"运行一个命令"一样简单。 从零预训练大模型成本极高，普通开发者无法承受。而直接使用通用…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
f/prompts.chat 原名 Awesome ChatGPT Prompts，是 GitHub 上最早（2022 年 12 月）也是规模最大的开源提示词（Prompt）集合库。官方自称「世界最大的开源提示词库」，已获 143k+ GitHub Stars，曾被 GitHub 官方精选（Staff Pick），被哈佛、哥伦比亚等高校引用，学术引用超 40…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …
ds4（DwarfStar）是意大利程序员 Salvatore Sanfilippo（网名 antirez，Redis 作者）用纯 C 语言手写的本地推理引擎，专门针对 DeepSeek V4 Flash 和 V4 PRO 两个权重模型优化。与一般 GGUF 通用加载器不同，它是专为这两款模型定制的闭着眼睛优化路径——不是万金油，而是专精选手。 项目有三大目…
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 AI 交互界面。它的核心目标是让你完全离线运行自己的 AI 界面，同时支持连接任意 OpenAI API 兼容的模型（包括本地 Ollama、私有化部署的 vLLM、LM Studio 等）。 用一张图来理解它的位置： 用户浏览器 ←→ Open WebUI ←→ Ollama / OpenAI…