AutoGPT 是一个创建、部署和管理持续运行 AI Agent 的平台，目标是让 AI 自动化每个人都能用、都能搭建。它包含三大核心组件： Forge（经典版）：快速构建自定义 Agent 的开发工具包，配有基准测试框架 项目采用双 License：平台核心代码（autogpt_platform/ 文件夹）使用 Polyform Shield Licens…
仓库攻略
201 篇 · 199 个项目 · jay · LLM 基础设施
BentoML 是一个 Python 库，用于构建和部署 AI 模型推理服务。它将任意 AI/ML 模型的推理代码，通过几行装饰器注解，自动变成可扩展的 HTTP API，并支持 Docker 镜像打包、模型版本管理、动态批处理、多模型编排等生产级特性。 核心理念："Build Model Inference APIs, Job queues, LLM ap…
OpenRLHF 是一个基于 Ray + vLLM 分布式架构的高性能 RLHF（从人类反馈中强化学习）训练框架，同时首创了统一的 Agent 执行范式。它能将 PPO、REINFORCE++、GRPO、RLOO 等 RL 算法，与单轮/多轮 Agent 执行模式自由组合，支持 70B+ 参数模型的分布式训练，并可通过 vLLM 加速生成阶段（RLHF 中耗…
xLLM 是由京东零售团队开发、现托管于 OpenAtom 基金会的高性能 LLM 推理引擎。它不是面向普通用户的 AI 产品，而是给企业级部署场景用的底层 Infra 工具——目标是让大模型的推理在特定 AI 加速器上跑得更快、更划算。 支持的模型类型不只有 LLM，还包括： LLM（大语言模型） VLM（视觉语言模型） DiT（扩散Transformer…
JeecgBoot 是一款企业级 AI 低代码平台，基于 Java（Spring Boot 2/3）和 Vue3，核心理念是"低代码 + AI"双轮驱动——用低代码提升 CRUD 开发效率，用 AI 降低使用门槛。 核心定位： 面向企业内部的 MIS/OA/ERP 系统快速构建； 最新稳定版：3.8.3（20251009），基于 SpringBoot 2；S…
Milvus 是一款高性能、云原生的向量数据库，专为大规模向量 ANN（近似最近邻）搜索场景设计。它能够存储十亿级向量，支持实时插入与查询，广泛用于 AI 应用中的语义搜索、图像检索、RAG（检索增强生成）等场景。 核心特点： 官方提供完全托管云服务 Zilliz Cloud。 1. 向量数据量大时搜索慢 — 传统数据库无法高效做向量相似度搜索，Milvus…
⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
Ray 是一个统一分布式 AI 计算框架，用于将 Python 和 AI 应用从单机扩展到集群。核心由两部分组成： 一句话定位：让你用同一套 Python 代码，从笔记本无缝扩展到数千节点集群，不需要懂分布式系统。 ML 和 LLM 工作流的三大挑战： 1. 单机算力不够：大模型训练/推理、微调、SFT 需要多机多卡，单机环境无法承载 2. 分布式门槛高：手…
Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…
One API 是一个开源的 LLM API 管理与分发系统，用统一的 OpenAI API 格式暴露所有主流大模型接口，支持 API Key 管理、负载均衡、令牌配额控制、用户权限管理和二次分发。 通俗来说：你在 One API 后台配置好各渠道（OpenAI、Claude、Gemini、DeepSeek 等）的 API Key，对外只暴露一个 API 地…
LangBot 是一个生产级的开源 IM 机器人平台，专门用于将大语言模型（LLM）和 Agent 平台连接到主流即时通讯（IM）渠道。用一个统一的代码库，同时把 AI 对话机器人部署到 Discord、Telegram、Slack、QQ、微信、企业微信、飞书、钉钉、LINE、KOOK 等十余个平台，并通过 Web 管理面板进行配置、监控和扩展。 核心特点：…
SkillOpt 是微软研究院发布的文本空间优化器，用训练神经网络的方式为"冻结"的 LLM 智能体（即不修改模型权重）自动迭代优化自然语言技能文档（Markdown 格式的 best_skill.md），让 AI Agent 在执行特定任务时表现越来越好。 核心思路：把技能文档当作"可训练的权重"，配合专门的优化器模型（GPT5.5 等）分析轨迹、打分、生…
LangExtract 是 Google 推出的基于 LLM 的结构化信息抽取 Python 库。你给定一段自然语言文本 + 抽取规则（用 prompt 描述）+ 少量示例，LangExtract 就能按 schema 抽取出结构化结果，并精确定位每条抽取结果在原文中的位置，生成交互式 HTML 可视化。 核心定位：把非结构化文档变成带位置溯源的干净结构化数…
AgentScope 是一个面向生产环境、易用且高度可扩展的多 Agent 框架，由阿里巴巴达摩院开发维护，2026 年 5 月发布了 2.0 大版本。核心理念是："Build and run agents you can see, understand and trust"——让开发者能够可视化、可理解、可信赖地运行 Agent 系统。 AgentScop…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
Chroma（GitHub: chromacore/chroma）是一个面向 AI 应用的开源向量数据库，用 Rust 编写，提供 Apache 2.0 许可证。它既是自托管可部署的开源版本，也有付费托管服务 Chroma Cloud。 Chroma 的核心理念是：让 AI 应用的向量存储和检索变得极简。官方口号是 "the opensource data …
LibreChat 是一个开源自托管 AI 聊天平台，核心定位是"统一所有主流 AI provider 的 ChatGPT 增强克隆"。它支持 Anthropic Claude、OpenAI（含 GPT4o / o1 / GPT5）、Azure OpenAI、Google Gemini、AWS Bedrock、DeepSeek、Mistral、OpenRou…
Hermes Agent 是 Nous Research（著名开源模型实验室，代表作 Hermes 系列大模型）推出的自改进型 AI Agent 运行时。它的核心理念是：一个越用越强、能跨会话记住你和你的项目的 Agent。 与单纯调用 API 的聊天机器人不同，Hermes Agent 有以下本质特点： Stars 21.1 万（ trending，周增 …
AstrBot 是一个开源的 AI Agent 助手与开发框架，核心特点是将主流即时通讯平台（IM）与大语言模型深度集成。它的定位是「AllinOne Agent 聊天平台」+ OpenClaw 替代方案。 换句话说：你有 QQ、微信、Telegram 同时在线，AstrBot 可以让你的 AI Agent 同时在所有这些平台上跟你对话，还能接插件、加知识库…
Firecrawl 是一个面向 AI 的网页数据 API：给定 URL，爬取并转换为 LLM 可直接使用的干净 Markdown、JSON 或截图。它能处理 JavaScript 渲染的动态页面、反爬虫机制、代理轮换等"脏活"，开发者只需调用 API 或装好 SDK 即可。开源，也可以直接用其托管服务（firecrawl.dev）。Stars 147k，周增…
Flowise 是一款开源可视化 AI Agent 构建平台（Apache 2.0 许可证，TypeScript + React + Node.js），Stars 54410，周增+189。它的核心理念是：把 AI 工作流的编排从代码层面搬到画布上，通过拖拽节点的方式构建 AI Agent、RAG 流水线、聊天机器人等复杂 AI 应用，无需写代码也能玩转 L…
Repomix 是一款将整个代码仓库打包为单个 AI 友好文件的工具（MIT 协议，TypeScript），Stars 26956，周增+140。它解决的核心问题是：当你需要把一个完整项目喂给 LLM（如 Claude、ChatGPT、DeepSeek）时，如何高效、结构化地传递所有代码，同时控制 token 用量、规避敏感信息泄露。 输出格式支持 XML（…
TrendRadar 是一款开源 AI 舆情监控与热点聚合工具（v6.10.0，MCP v4.1.0），用 Python 开发，遵循 GPL3.0 协议。它能自动抓取多平台热搜、整合 RSS 订阅源，通过 AI 智能筛选新闻、翻译内容、生成分析简报，并推送至微信/飞书/钉钉/Telegram/邮件等渠道。简单说：它帮你把"信息过载"变成"精准推送"。 核心解…
CowAgent 是一个开源超级 AI 助手框架，原名 chatgptonwechat，定位于「Agent Harness」（AI Agent 编排框架）。它将 AI 助手从简单的对话机器人提升为一个能主动规划任务、操作电脑与外部服务、构建个人知识库与长期记忆、并通过自演化不断成长的智能体。 核心设计哲学：消息通过 Channels 流入，由 Agent C…
Bifrost 是一个高性能企业级 AI Gateway（AI 网关），用 Go 语言编写，核心卖点是通过单一 OpenAI 兼容 API 统一接入 23+ 家 AI 提供商，并自带自适应负载均衡、自动故障转移、语义缓存、Guardrails、MCP Gateway 等企业级功能。 官方宣称在 5,000 RPS 持续压测下，网关额外延迟仅 ~11 µs（t…
AccumulateMore/CV 是一个中文深度学习全栈笔记库，覆盖 PyTorch 基础、李沐《动手学深度学习》、吴恩达 Deep Learning 系列，以及大模型 Agent 方向（土堆/李沐/吴恩达/大飞四位主讲人的视频对应笔记）。以 Jupyter Notebook（.ipynb）格式为主，已声明"已完结"状态（400+ 笔记区间）。Stars …
vinta/awesomepython 是 GitHub 上最知名、最全面的 Python 生态资源精选列表，由 Vinta Software 维护。该列表对标 Python 领域的各类框架、库、工具和资源，以「精选 + 有观点」为标准进行 curation，而非简单罗列。 截至 2026 年 7 月，该仓库拥有 306,828 Stars（GitHub 全…
Toonflow（动画流）是一款开源一站式 AI 短剧创作工具，将小说或剧本快速转化为动画短剧。集成 AI 编剧（ScriptAgent）、智能分镜（ProductionAgent）、角色管理和视频生成，覆盖"策划 → 编剧 → 分镜 → 出片"全流程，官方称创作效率提升 10 倍以上。 官网： 文档： 内置详细说明） 传统短剧制作流程需要：编剧改编 → 分…
wshobson/agents 是一个面向 AI 编程 Agent 的插件式市场（Plugin Marketplace），特点是从一份 Markdown 源码同时生成五套主流 Agent 平台的原生插件包：一套源码，Claude Code / Codex CLI / Cursor / OpenCode / Gemini CLI / GitHub Copilo…
WeKnora（维娜拉） 是腾讯开源的企业级 LLM 知识管理框架，定位是"让文档活起来"：把散落在各处的 PDF、Word、飞书文档、Notion 页面变成可查询、可推理、可持续更新的知识资产。 核心三大能力： | 能力 | 说明 | ||| | RAG 快速问答 | 基于文档知识库的精准问答，适合日常知识查询 | | ReAct Agent | 自主编排…