⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
仓库攻略
550 篇 · 544 个项目 · LLM 基础设施
Ray 是一个统一分布式 AI 计算框架，用于将 Python 和 AI 应用从单机扩展到集群。核心由两部分组成： 一句话定位：让你用同一套 Python 代码，从笔记本无缝扩展到数千节点集群，不需要懂分布式系统。 ML 和 LLM 工作流的三大挑战： 1. 单机算力不够：大模型训练/推理、微调、SFT 需要多机多卡，单机环境无法承载 2. 分布式门槛高：手…
Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…
Dify 是一个开源的 LLM 应用开发平台，将 AI 应用的全生命周期管理浓缩到一个直观的界面中。它同时支持"零代码"可视化编排和后端 API 调用，定位介于 LangChain 的灵活度和 Dify 的开箱即用之间——你不需要写 Python 就能跑起一个完整的 AI 应用，但一旦需要深度定制，Dify 也提供了足够的扩展性。 官方给它的定义是：Prod…
One API 是一个开源的 LLM API 管理与分发系统，用统一的 OpenAI API 格式暴露所有主流大模型接口，支持 API Key 管理、负载均衡、令牌配额控制、用户权限管理和二次分发。 通俗来说：你在 One API 后台配置好各渠道（OpenAI、Claude、Gemini、DeepSeek 等）的 API Key，对外只暴露一个 API 地…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
LangBot 是一个生产级的开源 IM 机器人平台，专门用于将大语言模型（LLM）和 Agent 平台连接到主流即时通讯（IM）渠道。用一个统一的代码库，同时把 AI 对话机器人部署到 Discord、Telegram、Slack、QQ、微信、企业微信、飞书、钉钉、LINE、KOOK 等十余个平台，并通过 Web 管理面板进行配置、监控和扩展。 核心特点：…
LLMEngineersHandbook 是 Packt 出版社配套 GitHub 仓库，支撑一本同名实战书籍（Amazon/ Packt 有售）。与其说是"仓库"，不如说是一套完整的 LLM 工程最佳实践参考实现：覆盖数据采集、LLM 训练、RAG 搭建、AWS 生产部署、监控和评测全链路，配有可直接运行的 Python 代码和 ZenML 流水线。 解决…
SkillOpt 是微软研究院发布的文本空间优化器，用训练神经网络的方式为"冻结"的 LLM 智能体（即不修改模型权重）自动迭代优化自然语言技能文档（Markdown 格式的 best_skill.md），让 AI Agent 在执行特定任务时表现越来越好。 核心思路：把技能文档当作"可训练的权重"，配合专门的优化器模型（GPT5.5 等）分析轨迹、打分、生…
nanobot 是香港大学研究团队开源的轻量级个人 AI Agent 运行时，定位是"你可以真正拥有的个人 AI 助手"。v0.2.2（Durability Release），MIT 许可证，Python 实现，当前 Stars 超过 45k，是近期增长最快的开源 Agent 项目之一。 核心理念：保持 Agent 核心代码小而可读，将重量级的编排层（如复杂…
GraphRAG 是微软研究院开源的模块化图结构 RAG 系统，旨在解决传统向量 RAG 无法处理的"全数据集级别的推理问题"。 传统 RAG 靠向量相似度检索，擅长"找相似片段"，但对"这本小说里最核心的主题是什么"这类需要全局理解的问题力不从心——因为答案分散在大量段落中，向量召回永远只能覆盖局部。 GraphRAG 的核心思路：先用 LLM 将文档内容…
LangWatch 是一个开源 LLMOps 平台，专注于 LLM 应用的全链路可观测性、评估测试与 Agent 仿真。官方定位是"AI 应用的 ops missing piece"——帮助团队在不自己造轮子的情况下，实现追踪（Trace）→ 数据集（Dataset）→ 评测（Evaluate）→ 优化（Optimize）的完整闭环。 核心能力分为四大模块：…
LangExtract 是 Google 推出的基于 LLM 的结构化信息抽取 Python 库。你给定一段自然语言文本 + 抽取规则（用 prompt 描述）+ 少量示例，LangExtract 就能按 schema 抽取出结构化结果，并精确定位每条抽取结果在原文中的位置，生成交互式 HTML 可视化。 核心定位：把非结构化文档变成带位置溯源的干净结构化数…
AgentScope 是一个面向生产环境、易用且高度可扩展的多 Agent 框架，由阿里巴巴达摩院开发维护，2026 年 5 月发布了 2.0 大版本。核心理念是："Build and run agents you can see, understand and trust"——让开发者能够可视化、可理解、可信赖地运行 Agent 系统。 AgentScop…
VoltAgent/awesomeclaudecodesubagents 是 154+ 个 Claude Code 专业化子代理（Subagent）的精选合集，按 10 个类别组织，涵盖从前端开发到基础设施、从语言专家到合规审查的完整开发场景。 Subagent 是 Claude Code 的核心扩展机制：一个子代理本质上是一个带有特定角色指令（system…
内容待复核
WenyuChiou/awesome-agentic-ai-zh · 上手攻略
这是一个三语（繁中 / English / 简中）AI Agent 学习路线图，核心定位是"学习路径 + 资源精选 + 入门练习"三合一，帮助想学 AI Agent 的人从「不知道从哪开始」到「能设计 multiagent 系统」。 具体规模： 8 个 Stage + 2 条学习路线 + 5 条延伸路径 240+ 精选项目（每个附 Stars、适合人群、关键…
Opik 是由 Comet 出品的开源 LLM 应用全生命周期管理平台，覆盖从原型开发到生产监控的完整流程。它的核心功能分三大块：可观测性（Observability）、自动化评估（Evaluation）、生产监控（Production Monitoring）。 Opik 脱胎于 Comet 十年在 ML 领域积累的实验管理经验，专门面向 LLM 应用、RA…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
Chroma（GitHub: chromacore/chroma）是一个面向 AI 应用的开源向量数据库，用 Rust 编写，提供 Apache 2.0 许可证。它既是自托管可部署的开源版本，也有付费托管服务 Chroma Cloud。 Chroma 的核心理念是：让 AI 应用的向量存储和检索变得极简。官方口号是 "the opensource data …
Promptfoo 是一个用于评估（Evaluation）和红队（Red Teaming）LLM 应用的 CLI + 库工具。它解决的核心问题是：在 Prompt 工程和 AI 应用迭代过程中，你怎么知道你的改动真的变好了？靠"感觉不错"是不够的。 核心功能三件事： 1. 自动化评估（Eval）：用声明式 YAML 配置，自动跑测试用例、对比多个模型的输出，…
Mastra 是一个面向 AI 驱动应用与 Agents 的现代 TypeScript 框架，定位类似 Next.js之于 Web 开发——让 AI 应用的构建从草稿到生产都有一套统一、类型安全、可扩展的基础设施。 核心定位是一站式 AI 应用框架：不只是一个 Agent 库，而是一套包含 Agent、Workflow、Memory、RAG、MCP Serv…
LibreChat 是一个开源自托管 AI 聊天平台，核心定位是"统一所有主流 AI provider 的 ChatGPT 增强克隆"。它支持 Anthropic Claude、OpenAI（含 GPT4o / o1 / GPT5）、Azure OpenAI、Google Gemini、AWS Bedrock、DeepSeek、Mistral、OpenRou…
Hermes Agent 是 Nous Research（著名开源模型实验室，代表作 Hermes 系列大模型）推出的自改进型 AI Agent 运行时。它的核心理念是：一个越用越强、能跨会话记住你和你的项目的 Agent。 与单纯调用 API 的聊天机器人不同，Hermes Agent 有以下本质特点： Stars 21.1 万（ trending，周增 …
ZML（Z Machine Learning）是一个生产级 AI 推理技术栈，旨在将任意模型部署到任意硬件加速器上，零妥协。 它基于 Zig 语言、MLIR 编译框架和 Bazel 构建系统实现，支持 NVIDIA CUDA、AMD RoCM、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 等多种加速器后端…
AstrBot 是一个开源的 AI Agent 助手与开发框架，核心特点是将主流即时通讯平台（IM）与大语言模型深度集成。它的定位是「AllinOne Agent 聊天平台」+ OpenClaw 替代方案。 换句话说：你有 QQ、微信、Telegram 同时在线，AstrBot 可以让你的 AI Agent 同时在所有这些平台上跟你对话，还能接插件、加知识库…
LLaMA Factory 是一个统一的大模型微调框架，支持对 100+ 开源 LLM 与 VLM（视觉语言模型）进行高效微调。项目源自学术论文（ACL 2024），定位为工程级生产工具，在 GitHub 已积累超过 7.3 万 Stars，是目前最活跃的 LLM 微调开源项目之一。 其核心定位是：让微调大模型变得像"跑训练命令"一样简单——即便是 7B 参…
Firecrawl 是一个面向 AI 的网页数据 API：给定 URL，爬取并转换为 LLM 可直接使用的干净 Markdown、JSON 或截图。它能处理 JavaScript 渲染的动态页面、反爬虫机制、代理轮换等"脏活"，开发者只需调用 API 或装好 SDK 即可。开源，也可以直接用其托管服务（firecrawl.dev）。Stars 147k，周增…
Flowise 是一款开源可视化 AI Agent 构建平台（Apache 2.0 许可证，TypeScript + React + Node.js），Stars 54410，周增+189。它的核心理念是：把 AI 工作流的编排从代码层面搬到画布上，通过拖拽节点的方式构建 AI Agent、RAG 流水线、聊天机器人等复杂 AI 应用，无需写代码也能玩转 L…
Repomix 是一款将整个代码仓库打包为单个 AI 友好文件的工具（MIT 协议，TypeScript），Stars 26956，周增+140。它解决的核心问题是：当你需要把一个完整项目喂给 LLM（如 Claude、ChatGPT、DeepSeek）时，如何高效、结构化地传递所有代码，同时控制 token 用量、规避敏感信息泄露。 输出格式支持 XML（…
TrendRadar 是一款开源 AI 舆情监控与热点聚合工具（v6.10.0，MCP v4.1.0），用 Python 开发，遵循 GPL3.0 协议。它能自动抓取多平台热搜、整合 RSS 订阅源，通过 AI 智能筛选新闻、翻译内容、生成分析简报，并推送至微信/飞书/钉钉/Telegram/邮件等渠道。简单说：它帮你把"信息过载"变成"精准推送"。 核心解…