uzu 是 Mirai Labs 用 Rust 从头编写的高性能 AI 推理引擎（v0.5.12 · 20260608），目标是让 AI 模型直接运行在你的应用中——零延迟、完整数据隐私、无推理费用。 它不是又一个 REST API 封装，而是一个真正把模型跑在本地的推理运行时。核心用 Rust 编写保证了性能和安全性，同时提供 Python / TypeS…
仓库攻略
259 篇 · 257 个项目 · tom · LLM 基础设施
envoyproxy/aigateway 是 Envoy 生态下的 AI 网关项目，基于 Envoy Gateway 扩展，专门处理应用客户端到生成式 AI（GenAI）服务的流量。它的本质是一个 Kubernetes 原生的 LLM 流量管理平面，提供路由、认证、限流、弹性Failover等企业级能力。 Envoy 是 CNCF 旗下久经生产验证的代理，M…
anyllm 是 Mozilla AI 团队推出的 Python 库，目标是让你用同一套代码调用任何 LLM 提供商，无需改业务逻辑。 它的核心理念很清晰：LLM 提供商的 API 接口碎片化严重——OpenAI、Anthropic、Azure、Mistral、Ollama……各家参数名、响应格式、错误处理各有差异。anyllm 不重新造轮子，而是封装官方 …
Open Model Zoo 是 Intel 维护的预训练深度学习模型仓库，为 OpenVINO™ Toolkit 提供大量已优化模型和演示程序。包含 200+ 模型，覆盖目标检测、图像分类、图像分割、姿态估计、语音识别、文本转语音等主流 CV 任务，并配有可直接运行的 C++ / Python Demo 示例。 模型分为两大类： Intel 预训练模型（m…
CTranslate2 是 OpenNMT 团队开源的 C++ / Python 高性能推理引擎，专门针对 Transformer 模型做极致优化。它通过权重量化、层融合、批处理重排序、动态内存管理等技术，在 CPU 和 GPU 上实现比原生 PyTorch / TensorFlow 快数倍、内存省几倍的推理性能。 支持三种模型架构： DecoderOnly…
Better Agents 是由 LangWatch 团队开源的 CLI 工具 + 一套工程规范，旨在让 AI 编码助手（Claude Code、Cursor、Kilocode 等）成为真正的"Agent 专家"，能按照行业最佳实践构建、测试和评估 AI Agent 项目。 它不替换已有的 Agent 框架（Agno、Mastra、LangGraph 等），…
UnityMCP（Unity Model Context Protocol）是一个将 Unity Editor 和 Runtime 接入 AI Agent（MCP 协议）的插件生态。装好后，AI Agent（如 Claude Code、Cursor、Copilot）能直接操作 Unity 场景、创建 GameObject、读写脚本、运行测试、截屏返回画面，实…
PocketFlow 是一个仅用 100 行 Python 代码实现的轻量级 LLM 框架，核心思想是将 LLM 应用建模为有向图（Graph）。框架本身零依赖（仅需 asyncio），安装包仅 56KB，却能表达 Agent、Workflow、RAG、MultiAgent 等常见设计模式。 作者的核心论点是：市面上的主流 LLM 框架（LangChain、…
jCodeMunch 是一个基于 treesitter AST 解析的 MCP 服务器，专门解决 AI Agent 在代码库探索时「读整个文件找一句话」的 token 浪费问题。它对仓库做一次索引，之后每次检索只返回精确的函数、类、方法、常量符号——实测平均减少 95%+ 的 token 消耗（官方 live benchmark 20260723：15 项任…
NitroStack 是一个用 TypeScript 构建的生产级 MCP（Model Context Protocol）服务器全栈框架。它包含核心 SDK（@nitrostack/core）、脚手架 CLI（@nitrostack/cli）、React UI 组件库（@nitrostack/widgets）以及配套桌面 IDE（NitroStudio），覆…
OmniRoute 是一个自托管 AI 网关，用单一端点聚合 278+ 提供商（含 90+ 免费层）的 500+ 模型，替开发者省去逐一对接每个 AI 提供商的麻烦。它支持自动 fallback 组合、Token 压缩、多策略路由、MCP 服务器、A2A 代理协议、内存持久化、Guardrails 安全过滤、TLS 指纹伪装等企业级特性，同时提供 Web 界…
VibeTrading 是香港大学数据智能实验室（HKUDS）开源的个人量化交易智能体框架，定位为"让任何 AI Agent 都具备完整交易研究能力"的一条命令式工具链。装好后，你的 Agent 可以做市场研究、策略编写、回测、因子分析、Shadow Account 行为诊断、券商账户审计，最终生成可交付的研究报告——覆盖 A 股、港股、美股、加密货币、期货…
opencodex 是一个轻量级本地代理服务，它的核心职责是把 OpenAI Codex 的 Responses API 请求"翻译"成任意 LLM 提供商能理解的协议，并在请求路径上支持 ChatGPT 账户池化管理。装好之后，你在 Codex CLI/App/SDK 或 Claude Code 里选什么模型，实际上都在走 opencodex 转发到 An…
RapidMLX 是目前 Apple Silicon 上速度最快的本地 AI 推理引擎，专为 M 系列芯片优化，基于 Apple MLX 框架重写所有核心 kernel，纯 Metal GPU 加速，无任何 llama.cpp 回退或 Python 桥接层。相比同场景的 Ollama，吞吐量提升约 4.2 倍，首 token 时间（TTFT）可低至 0.08…
Ultralytics YOLOv5 是 YOLO（You Only Look Once）目标检测算法的第五代官方 PyTorch 实现，由 Ultralytics 公司维护。它在原始 YOLOv4 的基础上完全重写，以「极致简洁」为设计核心，集目标检测、实例分割、图像分类三大任务于一体，并在 v7.0（2022年）引入了实时实例分割模型，成为当时全球最快最…
ultralytics/yolov3 是 YOLOv3（You Only Look Once version 3）目标检测模型的 Ultralytics 官方 PyTorch 实现。原始 YOLOv3 由 Joseph Redmon 和 Ali Farhadi 在 2018 年提出（arXiv:1804.02767），Ultralytics 在此基础上添加了…
codereviewgraph（简称 CRG）是一个本地优先的代码智能图谱工具，为 MCP（Model Context Protocol）兼容的 AI 编程助手和 CLI 环境设计。它的核心思路是：先把你的代码库解析成一张结构化的知识图谱（节点 = 函数/类/导入，边 = 调用/继承/测试覆盖），然后在 AI 做代码审查时只喂给它真正相关的文件，而不是把整个…
iPolloWork 是 Codex 和 Claude Code 的下一代源码开放替代品，定位是"不只是帮你写代码，而是真正完成工作"。 核心特点： 源码可用（SourceAvailable，非 OSI 认可的开源）：允许个人免费使用，3 人及以上使用需书面授权 Claude Code 和 Github Copilot workspace 这类产品，本质上还…
《深入理解 AI Agent：设计原理与工程实践》（作者李博杰）是一本系统性阐述 AI Agent 的技术书籍，全书围绕核心公式展开： Agent = LLM + 上下文 + 工具 这个公式是全书的骨架，意思是：一个能用的 Agent，离不开大语言模型（LLM）、对上下文的精细管理、以及可调用的外部工具。三者缺一不可。 十章内容覆盖： | 章节 | 主题 |…
Zvec 是阿里巴巴通义实验室开源的进程内（inprocess）向量数据库，定位为"向量数据库领域的 SQLite"——直接以内嵌库的方式运行在你的应用程序中，无需部署独立的数据库服务进程。它基于阿里生产级 Proxima 向量检索引擎，支持稠密向量 + 稀疏向量 + 全文检索（FTS）混合检索，并内置 WAL 持久化、多进程并发读取等企业级特性。 当前版本…
pentestai（CLI 入口 ptai）是一个 AI 驱动的渗透测试框架。核心创新不是"发现更多漏洞"，而是每个漏洞都必须被机器 Oracle 重复验证才能进入最终报告。思路借鉴 TruffleHog：TruffleHog 发现泄露密钥后实际登录验证，ptai 发现 Web 漏洞后实际重新触发一遍。一个 finding 停留在"候选"状态，直到 Orac…
OpenKnowledge（内部包名 @inkeep/openknowledge）是一个 AI 原生的 Markdown 编辑器，同时也是一个 LLM Wiki 工具。它的定位是"Notion meets VS Code"——既有 Notion 般的 WYSIWYG（所见即所得）编辑体验，又保留 VS Code 式的本地文件夹操作和 Markdown 文件本…
Odysseus 是一个自托管的 AI 工作空间，用 Docker 一键部署后，在本地获得一个类似 Notion + ChatGPT + Perplexity + 邮件客户端 + 日历的集合体，但全部支持本地模型和私有数据。 核心功能模块包括： Notes / Tasks / Calendar：笔记、任务、提醒、定时 Agent 任务、CalDAV 日历同步…
ChineseLLaMAAlpaca2 是基于 Meta 开源可商用模型 Llama2 开发的中文 LLaMA2 与 Alpaca2 大模型二期项目，由 ymcui 团队维护。它在原版 Llama2 基础上重新设计了中文词表（55,296 个 token），并使用大规模中文语料进行增量预训练和指令精调，显著提升了模型的中文能力。 | 系列 | 模型 | 参数…
sdkjs 是 Astrid（一个分布式 AI capsule 运行时）的官方 JavaScript / TypeScript SDK，用于将 TypeScript 代码编译为 WASM 组件（.capsule 格式）并被 Astrid 内核加载执行。 Astrid 是一个新兴的开放协议项目，核心设计思想是「kernelisdumb」：内核只负责加载、安全隔…
5ire（读作 "fireer"）是一个跨平台桌面 AI 助手，同时也是一个功能完整的 MCP（Model Context Protocol）客户端。它内置对 OpenAI、Azure OpenAI、Anthropic、Google、Mistral、豆包、Grok、DeepSeek、Ollama 等主流 AI 提供商的支持，并允许用户通过 MCP 协议接入各…
RunAnywhere 是一个端侧 AI 推理 SDK 套件，让你在 iOS、Android、Flutter、React Native 和浏览器里直接跑 LLM、VLM、语音识别（TTS/STT）和语音合成，无需联网、数据不离设备。它用同一套 API 屏蔽了各平台的底层差异：Apple 设备走 Core ML / Metal，安卓走 llama.cpp 或高…
awesomepretrainedchinesenlpmodels 是一个由个人开发者（lonePatient）维护的 GitHub 精选列表，收录高质量中文预训练模型、大语言模型、多模态模型及其相关资源。截至 2026 年 7 月 Stars 5574，是中文 NLP 领域最全面的开源模型索引之一。 仓库按模型类型和任务类型双重维度分类，涵盖从 2020 …
sdkjs 是 Astrid OS 的官方 JavaScript / TypeScript SDK，用于构建可在 Astrid 操作系统中运行的 Capsule（胶囊）。Capsule 是 Astrid 的核心应用格式——一种基于 WebAssembly（wasip2 Component Model）的可移植二进制包，既可以用 Rust 编写，也可以用 Ty…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…