Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
仓库攻略
540 篇 · 535 个项目 · LLM 基础设施
FastMCP 是构建 MCP（Model Context Protocol）服务器和客户端的 Python 框架，由 Prefect（知名工作流编排平台）维护。它让你用几行 Python 代码就能把任意函数暴露为 MCP 工具，并支持通过 STDIO 或 HTTP 两种传输方式连接 LLM。 解决什么问题： 手写 MCP 服务器要处理协议细节、JSONRP…
Oumi 是一个开源的 LLM 全生命周期管理平台，覆盖从数据准备、微调训练、评估评测到部署上线的完整流程。它用统一 CLI（oumi）串联起 Transformers、TRL、vLLM、veRL 等主流训练推理库，让你用同一套配置在不同硬件规模（单卡 135M 到千卡 405B）下无缝切换。 支持 Gemma 4、Qwen3.5、Qwen3.6、GPTos…
HexStrike AI 是一个基于 MCP（Model Context Protocol） 的高级网络安全自动化平台。它让 Claude、GPT、Copilot 等 AI 助手通过统一协议直接调用 150+ 网络安全工具，完成自动化渗透测试、漏洞挖掘、漏洞赏金自动化和安全研究——全程用自然语言驱动，无需在终端、扫描器和 AI 客户端之间来回切换。 v6.0…
FAROS（Foundation AutoResearch Operating System）是一个蓝图驱动的自动化科研工作流运行时。它的核心理念是：科研自动化不是"一个固定prompt的AI agent"，而是一个可配置的运行时——你定义工作流蓝图（Blueprint），绑定执行策略（Profile），然后让系统自动执行从"想法→实验→论文→审稿"的全链路…
vllmascend 是华为昇腾（Ascend）NPU 的官方 vLLM 硬件插件，让 vLLM 高性能推理框架能跑在昇腾芯片上。它由 vLLM 社区维护，遵循 vLLM 的硬件可插拔接口（Hardware Pluggable RFC），是昇腾后端在 vLLM 生态的推荐方案。 通俗理解：vLLM 是 LLM 推理的"操作系统"，vllmascend 就是让…
MemPalace 是一个本地优先的 AI 记忆系统，核心卖点是：原文逐字存储（不摘要、不压缩）、可插拔向量后端、96.6% R@5（LongMemEval 基准）以及完全零 API 调用。数据永远留存在本机，通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻： 官方文档： | PyPI：mempalace ⚠️ 防骗警告：MemP…
rasbt/LLMsfromscratch 是 Sebastian Raschka 的著作《Build a Large Language Model (From Scratch)》（Manning 出版，ISBN 9781633437166）的官方配套代码库。该仓库从零实现了一个类 GPT 的 LLM，涵盖数据预处理、注意力机制、模型架构、预训练、精调（SF…
LocalAI 是一个开源的本地 AI 推理引擎，2026 年 7 月 Stars 约 4.7 万，周增约 +126。核心理念是「小核心 + 按需加载后端」：每个后端（llama.cpp、vLLM、whisper.cpp、stablediffusion、MLX 等）都是独立的 OCI 镜像，只在你需要某类模型时才拉取安装。最新稳定版为 v4.3.0（2026…
AutoGPT 是一个创建、部署和管理持续运行 AI Agent 的平台，目标是让 AI 自动化每个人都能用、都能搭建。它包含三大核心组件： Forge（经典版）：快速构建自定义 Agent 的开发工具包，配有基准测试框架 项目采用双 License：平台核心代码（autogpt_platform/ 文件夹）使用 Polyform Shield Licens…
MediaPipe 是 Google 开源的端侧机器学习框架，专注于在手机（Android/iOS）、Web、桌面、边缘设备和 IoT 上实时运行 ML 模型。它不是训练框架，而是推理框架——帮你把 Google 训练好的模型快速部署到各类设备上，以低延迟处理图像、视频、音频和文本。 Google 于 2023 年将 MediaPipe 主开发文档迁移至 d…
一个从零开始训练完整大语言模型（LLM）的全链路教程仓库。手写 PyTorch 实现，不依赖 transformers、trl、peft 等高层库，从文本语料处理讲起，一路走到 SFT（监督微调）→ 奖励模型 → RLHF（PPO、DPO、GRPO），覆盖一个小型 LLM 从诞生到"会聊天"的全过程。 项目作者 FareedKhandev 目前在寻找 AI …
BentoML 是一个 Python 库，用于构建和部署 AI 模型推理服务。它将任意 AI/ML 模型的推理代码，通过几行装饰器注解，自动变成可扩展的 HTTP API，并支持 Docker 镜像打包、模型版本管理、动态批处理、多模型编排等生产级特性。 核心理念："Build Model Inference APIs, Job queues, LLM ap…
OpenRLHF 是一个基于 Ray + vLLM 分布式架构的高性能 RLHF（从人类反馈中强化学习）训练框架，同时首创了统一的 Agent 执行范式。它能将 PPO、REINFORCE++、GRPO、RLOO 等 RL 算法，与单轮/多轮 Agent 执行模式自由组合，支持 70B+ 参数模型的分布式训练，并可通过 vLLM 加速生成阶段（RLHF 中耗…
xLLM 是由京东零售团队开发、现托管于 OpenAtom 基金会的高性能 LLM 推理引擎。它不是面向普通用户的 AI 产品，而是给企业级部署场景用的底层 Infra 工具——目标是让大模型的推理在特定 AI 加速器上跑得更快、更划算。 支持的模型类型不只有 LLM，还包括： LLM（大语言模型） VLM（视觉语言模型） DiT（扩散Transformer…
stas00/mlengineering 是一本机器学习工程开放手册，由 Meta（参与 BLOOM176B 训练）、HuggingFace（参与 BLOOM176B、IDEFICS80B 训练）、Contextual.AI 等一线团队的 ML 工程师 Stas Bekman 多年实战经验沉淀而成。 与一般教程不同，它不是教你怎么用 transformers…
GPT Researcher 是一个开源的自主深度研究 Agent，设计用于对任意主题进行系统性网络调研或本地文档分析。它受 PlanandSolve 和 RAG 论文启发，通过「规划 Agent + 执行 Agent」的并行架构解决传统 LLM 调研的几大痛点：信息陈旧、幻觉、Token 限制、来源单一、结论偏颇。 核心思路是：Planner 生成一组研究…
JeecgBoot 是一款企业级 AI 低代码平台，基于 Java（Spring Boot 2/3）和 Vue3，核心理念是"低代码 + AI"双轮驱动——用低代码提升 CRUD 开发效率，用 AI 降低使用门槛。 核心定位： 面向企业内部的 MIS/OA/ERP 系统快速构建； 最新稳定版：3.8.3（20251009），基于 SpringBoot 2；S…
Milvus 是一款高性能、云原生的向量数据库，专为大规模向量 ANN（近似最近邻）搜索场景设计。它能够存储十亿级向量，支持实时插入与查询，广泛用于 AI 应用中的语义搜索、图像检索、RAG（检索增强生成）等场景。 核心特点： 官方提供完全托管云服务 Zilliz Cloud。 1. 向量数据量大时搜索慢 — 传统数据库无法高效做向量相似度搜索，Milvus…
Loop Engineering 是一个面向 AI 编码 Agent 的循环设计系统与工具集。核心理念来自 Addy Osmani 和 Boris Cherny（Anthropic Claude Code 负责人）的一个观察： "你不应该再自己去 Prompt 编码 Agent 了。你应该设计循环系统，让系统来 Prompt 你的 Agent。" 换句话说：…
这是《Machine Learning for Trading, 3rd Edition》（机器学习与量化交易·第三版）的配套代码库，由量化投资顾问 Stefan Jansen 编写。与前两版不同，第三版从一本技术书彻底重构成了端到端研究生产工作流：从数据获取、因子研究、模型训练、回测评估，到实盘接入经纪商，全流程跑通。 全书配套 6 个生产级 Python…
⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
Ray 是一个统一分布式 AI 计算框架，用于将 Python 和 AI 应用从单机扩展到集群。核心由两部分组成： 一句话定位：让你用同一套 Python 代码，从笔记本无缝扩展到数千节点集群，不需要懂分布式系统。 ML 和 LLM 工作流的三大挑战： 1. 单机算力不够：大模型训练/推理、微调、SFT 需要多机多卡，单机环境无法承载 2. 分布式门槛高：手…
Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…
Dify 是一个开源的 LLM 应用开发平台，将 AI 应用的全生命周期管理浓缩到一个直观的界面中。它同时支持"零代码"可视化编排和后端 API 调用，定位介于 LangChain 的灵活度和 Dify 的开箱即用之间——你不需要写 Python 就能跑起一个完整的 AI 应用，但一旦需要深度定制，Dify 也提供了足够的扩展性。 官方给它的定义是：Prod…
One API 是一个开源的 LLM API 管理与分发系统，用统一的 OpenAI API 格式暴露所有主流大模型接口，支持 API Key 管理、负载均衡、令牌配额控制、用户权限管理和二次分发。 通俗来说：你在 One API 后台配置好各渠道（OpenAI、Claude、Gemini、DeepSeek 等）的 API Key，对外只暴露一个 API 地…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
LangBot 是一个生产级的开源 IM 机器人平台，专门用于将大语言模型（LLM）和 Agent 平台连接到主流即时通讯（IM）渠道。用一个统一的代码库，同时把 AI 对话机器人部署到 Discord、Telegram、Slack、QQ、微信、企业微信、飞书、钉钉、LINE、KOOK 等十余个平台，并通过 Web 管理面板进行配置、监控和扩展。 核心特点：…
LLMEngineersHandbook 是 Packt 出版社配套 GitHub 仓库，支撑一本同名实战书籍（Amazon/ Packt 有售）。与其说是"仓库"，不如说是一套完整的 LLM 工程最佳实践参考实现：覆盖数据采集、LLM 训练、RAG 搭建、AWS 生产部署、监控和评测全链路，配有可直接运行的 Python 代码和 ZenML 流水线。 解决…
SkillOpt 是微软研究院发布的文本空间优化器，用训练神经网络的方式为"冻结"的 LLM 智能体（即不修改模型权重）自动迭代优化自然语言技能文档（Markdown 格式的 best_skill.md），让 AI Agent 在执行特定任务时表现越来越好。 核心思路：把技能文档当作"可训练的权重"，配合专门的优化器模型（GPT5.5 等）分析轨迹、打分、生…