一个精选的现代生成式人工智能（Generative AI）项目与服务导航列表，由 steven2358 维护。列表覆盖文本、编程、Agent、图像、视频、音频六大方向，精选收录各领域有代表性的开源模型、商业 API、研究论文和应用项目。 截至目前已收录数百个条目，按主题分类组织，涵盖从 GPT4、DALL·E 3、Sora 等商业巨头的产品，到 Llama、…
仓库攻略
259 篇 · 257 个项目 · tom · LLM 基础设施
GPUStack 是一个开源的 GPU 集群管理器，专门面向 AI 模型服务（Model Serving）和 GPU 资源调度场景。它的核心职责是：把多个 GPU 节点组织成一个集群，自动配置 vLLM、SGLang、TensorRTLLM 等推理引擎，然后暴露一个统一的 OpenAI 兼容 API 供上层应用调用。 从定位上看，它介于底层 GPU 运维工具…
Helicone 是一个开源的 LLM 可观测性（Observability）与 AI 网关（AI Gateway）平台，定位是帮助 AI 工程师一站式完成模型调用监控、成本分析、流量路由、Prompt 版本管理和微调数据准备。它诞生于 Y Combinator W23 批次，GitHub Stars 已超过 5,900（数据截至 202607），是 LLM…
LitGPT 是 Lightning AI 出品的开源 LLM 训练与推理框架，定位是「一站式解决从零预训练、微调到上线部署的全部流程」。核心设计理念是无抽象层、全部从零实现、代码可直接调试，不依赖 Transformers 库内部的复杂封装。它支持 20+ 主流大模型（MegaSauna 3、Qwen2.5、Phi4、Llama 3/3.1/3.2/3.3…
HandsOn Large Language Models（O'Reilly，2024）是 Jay Alammar（《The Illustrated GPT2》作者）和 Maarten Grootendorst（Hugging Face 社区明星博主）合著的技术书籍，其官方配套代码仓库。仓库以 Jupyter Notebook 形式覆盖了从语言模型基础、To…
DBGPT 是一个开源的 Agentic AI 数据助手，服务于"AI + Data"下一代产品。它的核心理念是：用自然语言与你的数据库、文件、数据仓库对话——AI 自动写 SQL、自动执行分析、自动生成图表和报告。 它不只是问答，而是一个能真正执行任务的 Agent：连接数据源 → 理解业务问题 → 规划执行步骤 → 写 SQL/代码 → 沙箱执行 → 产…
Haystack 是由 deepset（一家专注于 NLP 和 LLM 的德国公司）维护的开源 AI 编排框架，用于构建生产就绪的 LLM 应用。它的核心理念是"透明编排"——对检索（Retrieval）、路由（Routing）、记忆（Memory）和生成（Generation）每一步都有显式控制，开发者清楚知道数据在管道中如何流转。 简单说：Haystac…
MindsHub（GitHub 仓库名 mindsdb/minds，原 MindsDB 主仓库）是 MindsHub Cowork 的开源超级项目——一个"委派任务，结果自动交付"的 AI Agent 工作空间。它的核心定位是：把一个需要多步协作的完整项目（应用、网站、研究报告、自动化流程、数据分析）交给 AI Agent，Agent 在沙箱中逐步执行，最后…
AI Engineering Hub 是一个收录了 93+ 个生产就绪 AI 项目的开源教程库，涵盖 LLM、RAG、AI Agent 的完整实战项目，每个项目都附带可运行的代码和详细说明。 它不是一个大模型或框架本身，而是一个学习路径 + 项目索引：从最基础的 OCR 识别、聊天机器人，到高级的 Agent 编排、模型微调、生产部署，全部都有按难度分类的实…
Letta 是一个面向有状态 Agent 的开发平台，核心特点是让 AI Agent 具备持久记忆——不只是处理当前对话，还能记住之前讨论的内容、积累用户偏好、持续自我进化。 传统 LLM 对话是「失忆」的：每次新建对话，模型不知道你是谁、上次讨论了什么。Letta 的解法是给 Agent 挂上一层结构化的记忆系统（Memory Block），让 Agent…
Phoenix 是 Arize 开源的可观测性平台，专为 LLM 应用设计，提供追踪（Tracing）、评估（Evaluation）、数据集管理和实验对比四大核心能力。 在 LLM 应用开发中，最大的痛点之一是「看不见内部」——你不知道 RAG 检索到了什么文档、Token 消耗了多少、哪次调用拖慢了整体响应。Phoenix 用 OpenTelemetry …
Sim 是 Sim Studio 团队打造的一个AI Agent 编排与管理工作流平台，定位是"AI Agent 的中央智能层"（central intelligence layer）。它让用户可以可视化地构建、部署和编排 AI Agent 与多步骤工作流，支持 1000+ 第三方集成（Slack、Notion、HubSpot、Salesforce、各类数据…
Firecrawl 官方 MCP Server，将 Firecrawl 网页抓取和搜索能力接入所有兼容 MCP 的 AI Agent。支持 AI 通过自然语言搜索网页、提取内容、发现站点结构、自动重试和限流，还有云端和自托管两种部署方式。对于需要让 AI 实时获取网页信息的场景，这是目前最完整的开源方案之一。 支持无 Key 免密访问（限速），或带 API …
Langflow 是一款可视化 AI Workflow 构建平台，通过拖拽节点编排 LLM 应用流程，无需（或只需少量）代码即可完成 RAG、Agent、多步推理等复杂 AI 系统的搭建与测试。它既是低代码/无代码工具，也是 Python 开发框架——你可以用可视化界面快速原型，也可以直接修改任意组件的 Python 源码做深度定制。 核心特性：可视化 Fl…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
Pathway llmapp 是一套开箱即用的 RAG（检索增强生成）与 AI 流水线云模板集合。它基于 Pathway Live Data Framework，核心解决"数据源实时变化 → RAG 系统如何及时感知并更新索引"这个问题。与传统 VectorDB（如 Pinecone、Milvus）需要独立 ETL 管道不同，Pathway 在内存中直接处理…
Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
FastMCP 是构建 MCP（Model Context Protocol）服务器和客户端的 Python 框架，由 Prefect（知名工作流编排平台）维护。它让你用几行 Python 代码就能把任意函数暴露为 MCP 工具，并支持通过 STDIO 或 HTTP 两种传输方式连接 LLM。 解决什么问题： 手写 MCP 服务器要处理协议细节、JSONRP…
FAROS（Foundation AutoResearch Operating System）是一个蓝图驱动的自动化科研工作流运行时。它的核心理念是：科研自动化不是"一个固定prompt的AI agent"，而是一个可配置的运行时——你定义工作流蓝图（Blueprint），绑定执行策略（Profile），然后让系统自动执行从"想法→实验→论文→审稿"的全链路…
vllmascend 是华为昇腾（Ascend）NPU 的官方 vLLM 硬件插件，让 vLLM 高性能推理框架能跑在昇腾芯片上。它由 vLLM 社区维护，遵循 vLLM 的硬件可插拔接口（Hardware Pluggable RFC），是昇腾后端在 vLLM 生态的推荐方案。 通俗理解：vLLM 是 LLM 推理的"操作系统"，vllmascend 就是让…
LocalAI 是一个开源的本地 AI 推理引擎，2026 年 7 月 Stars 约 4.7 万，周增约 +126。核心理念是「小核心 + 按需加载后端」：每个后端（llama.cpp、vLLM、whisper.cpp、stablediffusion、MLX 等）都是独立的 OCI 镜像，只在你需要某类模型时才拉取安装。最新稳定版为 v4.3.0（2026…
MediaPipe 是 Google 开源的端侧机器学习框架，专注于在手机（Android/iOS）、Web、桌面、边缘设备和 IoT 上实时运行 ML 模型。它不是训练框架，而是推理框架——帮你把 Google 训练好的模型快速部署到各类设备上，以低延迟处理图像、视频、音频和文本。 Google 于 2023 年将 MediaPipe 主开发文档迁移至 d…
一个从零开始训练完整大语言模型（LLM）的全链路教程仓库。手写 PyTorch 实现，不依赖 transformers、trl、peft 等高层库，从文本语料处理讲起，一路走到 SFT（监督微调）→ 奖励模型 → RLHF（PPO、DPO、GRPO），覆盖一个小型 LLM 从诞生到"会聊天"的全过程。 项目作者 FareedKhandev 目前在寻找 AI …
stas00/mlengineering 是一本机器学习工程开放手册，由 Meta（参与 BLOOM176B 训练）、HuggingFace（参与 BLOOM176B、IDEFICS80B 训练）、Contextual.AI 等一线团队的 ML 工程师 Stas Bekman 多年实战经验沉淀而成。 与一般教程不同，它不是教你怎么用 transformers…
GPT Researcher 是一个开源的自主深度研究 Agent，设计用于对任意主题进行系统性网络调研或本地文档分析。它受 PlanandSolve 和 RAG 论文启发，通过「规划 Agent + 执行 Agent」的并行架构解决传统 LLM 调研的几大痛点：信息陈旧、幻觉、Token 限制、来源单一、结论偏颇。 核心思路是：Planner 生成一组研究…
Loop Engineering 是一个面向 AI 编码 Agent 的循环设计系统与工具集。核心理念来自 Addy Osmani 和 Boris Cherny（Anthropic Claude Code 负责人）的一个观察： "你不应该再自己去 Prompt 编码 Agent 了。你应该设计循环系统，让系统来 Prompt 你的 Agent。" 换句话说：…
这是《Machine Learning for Trading, 3rd Edition》（机器学习与量化交易·第三版）的配套代码库，由量化投资顾问 Stefan Jansen 编写。与前两版不同，第三版从一本技术书彻底重构成了端到端研究生产工作流：从数据获取、因子研究、模型训练、回测评估，到实盘接入经纪商，全流程跑通。 全书配套 6 个生产级 Python…
Dify 是一个开源的 LLM 应用开发平台，将 AI 应用的全生命周期管理浓缩到一个直观的界面中。它同时支持"零代码"可视化编排和后端 API 调用，定位介于 LangChain 的灵活度和 Dify 的开箱即用之间——你不需要写 Python 就能跑起一个完整的 AI 应用，但一旦需要深度定制，Dify 也提供了足够的扩展性。 官方给它的定义是：Prod…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
LLMEngineersHandbook 是 Packt 出版社配套 GitHub 仓库，支撑一本同名实战书籍（Amazon/ Packt 有售）。与其说是"仓库"，不如说是一套完整的 LLM 工程最佳实践参考实现：覆盖数据采集、LLM 训练、RAG 搭建、AWS 生产部署、监控和评测全链路，配有可直接运行的 Python 代码和 ZenML 流水线。 解决…