nanobot 是香港大学研究团队开源的轻量级个人 AI Agent 运行时，定位是"你可以真正拥有的个人 AI 助手"。v0.2.2（Durability Release），MIT 许可证，Python 实现，当前 Stars 超过 45k，是近期增长最快的开源 Agent 项目之一。 核心理念：保持 Agent 核心代码小而可读，将重量级的编排层（如复杂…
仓库攻略
259 篇 · 257 个项目 · tom · LLM 基础设施
GraphRAG 是微软研究院开源的模块化图结构 RAG 系统，旨在解决传统向量 RAG 无法处理的"全数据集级别的推理问题"。 传统 RAG 靠向量相似度检索，擅长"找相似片段"，但对"这本小说里最核心的主题是什么"这类需要全局理解的问题力不从心——因为答案分散在大量段落中，向量召回永远只能覆盖局部。 GraphRAG 的核心思路：先用 LLM 将文档内容…
LangWatch 是一个开源 LLMOps 平台，专注于 LLM 应用的全链路可观测性、评估测试与 Agent 仿真。官方定位是"AI 应用的 ops missing piece"——帮助团队在不自己造轮子的情况下，实现追踪（Trace）→ 数据集（Dataset）→ 评测（Evaluate）→ 优化（Optimize）的完整闭环。 核心能力分为四大模块：…
VoltAgent/awesomeclaudecodesubagents 是 154+ 个 Claude Code 专业化子代理（Subagent）的精选合集，按 10 个类别组织，涵盖从前端开发到基础设施、从语言专家到合规审查的完整开发场景。 Subagent 是 Claude Code 的核心扩展机制：一个子代理本质上是一个带有特定角色指令（system…
内容待复核
WenyuChiou/awesome-agentic-ai-zh · 上手攻略
这是一个三语（繁中 / English / 简中）AI Agent 学习路线图，核心定位是"学习路径 + 资源精选 + 入门练习"三合一，帮助想学 AI Agent 的人从「不知道从哪开始」到「能设计 multiagent 系统」。 具体规模： 8 个 Stage + 2 条学习路线 + 5 条延伸路径 240+ 精选项目（每个附 Stars、适合人群、关键…
Opik 是由 Comet 出品的开源 LLM 应用全生命周期管理平台，覆盖从原型开发到生产监控的完整流程。它的核心功能分三大块：可观测性（Observability）、自动化评估（Evaluation）、生产监控（Production Monitoring）。 Opik 脱胎于 Comet 十年在 ML 领域积累的实验管理经验，专门面向 LLM 应用、RA…
Promptfoo 是一个用于评估（Evaluation）和红队（Red Teaming）LLM 应用的 CLI + 库工具。它解决的核心问题是：在 Prompt 工程和 AI 应用迭代过程中，你怎么知道你的改动真的变好了？靠"感觉不错"是不够的。 核心功能三件事： 1. 自动化评估（Eval）：用声明式 YAML 配置，自动跑测试用例、对比多个模型的输出，…
Mastra 是一个面向 AI 驱动应用与 Agents 的现代 TypeScript 框架，定位类似 Next.js之于 Web 开发——让 AI 应用的构建从草稿到生产都有一套统一、类型安全、可扩展的基础设施。 核心定位是一站式 AI 应用框架：不只是一个 Agent 库，而是一套包含 Agent、Workflow、Memory、RAG、MCP Serv…
ZML（Z Machine Learning）是一个生产级 AI 推理技术栈，旨在将任意模型部署到任意硬件加速器上，零妥协。 它基于 Zig 语言、MLIR 编译框架和 Bazel 构建系统实现，支持 NVIDIA CUDA、AMD RoCM、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 等多种加速器后端…
LLaMA Factory 是一个统一的大模型微调框架，支持对 100+ 开源 LLM 与 VLM（视觉语言模型）进行高效微调。项目源自学术论文（ACL 2024），定位为工程级生产工具，在 GitHub 已积累超过 7.3 万 Stars，是目前最活跃的 LLM 微调开源项目之一。 其核心定位是：让微调大模型变得像"跑训练命令"一样简单——即便是 7B 参…
AirLLM 是一个开源 Python 库，实现了一种层间加载（layerwise）推理技术，让超大语言模型在显存极小的 GPU（甚至只有 4GB VRAM 的卡）上运行推理，无需量化、无需蒸馏、无需剪枝。 核心技术原理：用单层加载替代全量加载。传统推理需要把 130GB 的 70B 模型一股脑塞进显存；AirLLM 把模型按 transformer 层拆开…
Rowboat 是一个开源 AI 同事桌面应用，其核心卖点是"真正的记忆"——它把你的邮件、会议、Slack、笔记持续索引到一个本地知识图谱（Obsidian 风格的背链图），然后基于这份长期积累的上下文帮你完成工作。它不是每次对话从零构建上下文的 AI，而是一个会把你的工作记忆下来、越用越懂你的数字同事。 Rowboat Y Combinator S24 …
T3MP3ST（念作 "tempest"）是一个自主红队平台，用多 Agent 协作把 AI 编程助手（Claude Code、Codex、Hermes）变成漏洞猎人。它的核心理念是：你已经在用的 AI 编程 Agent 就是大脑，T3MP3ST 围绕它构建一套攻击性武器库——侦察（Recon）→ 利用（Exploit）→ 报告（Report），一条龙的杀伤…
PageIndex 是一个无向量、基于推理的 RAG（检索增强生成）引擎，由 Vectify AI 开发。其核心理念是：传统向量 RAG 依赖"语义相似度"做检索，但这不等于"真正相关"——尤其在金融报告、法律文书、医疗文献等高度专业化的长文档场景，"相似"和"相关"的差距尤为明显。 PageIndex 模拟人类阅读长文档的方式——先看目录，再顺着结构找答案…
PowerInfer 是由上海交大 IPADS 实验室开源的高速 LLM 推理引擎，专为单张消费级 GPU（RTX 4090 等）本地部署设计。其核心技术是利用 LLM 推理中神经元激活的幂律分布特性——少数"热神经元"（hot neurons）在几乎所有输入中都被激活，而大多数"冷神经元"（cold neurons）则随输入变化。 基于这一洞察，Power…
Deep Lake 是 AI 数据运行时（AI Data Runtime），由 Activeloop 提供。其核心定位是：专为 AI 应用设计的多模态数据库，同时支持向量检索、数据版本控制和多模态原始数据存储。 与只存 embedding 的向量数据库不同，Deep Lake 可以存任意类型的原始数据——图片、视频、音频、PDF、文本、embedding 向…
txtai 是由 NeuML 维护的一个一体化 AI 框架，核心理念是把语义搜索、LLM 编排和工作流三大能力整合在同一个 Python 包里。 其核心组件是 Embeddings 数据库——本质上是一个融合了稀疏向量索引、密集向量索引、图网络和关系数据库的统一检索层。这使得 txtai 既能做传统向量检索，也能做 SQL 查询、主题建模、图分析。 架构图：…
DeepTutor 是一个Agent 原生的个性化辅导系统，由香港大学数字智能系统实验室（HKUDS）开发，定位是让 AI tutor 真正介入学习过程、而非仅仅回答问题。它在 2025 年初的 arXiv 论文（arXiv:2604.26962）中被提出，当前最新版本为 v1.5.0（2026.7.4），处于活跃开发状态。 核心设计哲学：学习不是问答，而是…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
AnythingLLM 是一个本地优先的 AllinOne AI 应用平台，用 MIT 许可证开源（JavaScript），Stars 62,686，周增 +322，已达生产就绪级别。它让用户无需重复"租用 AI 智能"——在自己的服务器或电脑上，连接任意 LLM（本地或云端），管理知识库、操作 AI Agent、构建自动化工作流。 核心定位：私有化部署的 …
RAGFlow 是 InfiniFlow 出品的开源 RAG（检索增强生成）引擎，主打"深度文档理解 + 融合上下文引擎"，将 RAG 与 Agent 能力结合，让大模型拥有可解释、可控的私有知识库。 核心理念：高质量输入才有高质量输出——RAGFlow 花大量精力在文档解析和切片质量上，而不是简单地把文档切成固定块塞进向量数据库。它支持可视化切片、智能重排…
ScrapeGraphAI 是一个基于 LLM 的 Python 爬虫库，用自然语言描述你想提取什么，它就能自动搞定——无需写 CSS 选择器、XPath，也无需分析网页结构。它背后的设计逻辑是把网页 scraping 当作一个有向图（Graph）来执行：LLM 作为图节点之间的"路由器"，决定如何遍历页面、提取什么数据。 简单说：你告诉它要什么，它用 LL…
Mem0（发音 "memzero"）是为大语言模型应用设计的通用记忆层，让 AI 记住用户偏好、对话历史和个人习惯，从而实现真正的个性化交互。与直接把历史对话塞进上下文不同，Mem0 会用 LLM 提取、理解和组织记忆，实现自我改进的长期记忆。 核心理念：Addonly（只新增，不覆盖）——记忆不断累积，Mem0 在检索时自动融合时间感知、实体链接和混合信号…
vLLM 是一个高吞吐量、内存高效的 LLM 推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，现已成长为全球最活跃的开源 AI 基础设施项目之一，拥有来自 2000+ 贡献者的社区支持。 核心突破是 PagedAttention 技术——受操作系统虚拟内存分页启发，将 KV Cache 切分成小块动态管理，显著减少显…
pxpipe 是一个本地请求代理，专门用来降低 Claude Code（以及其他基于 Anthropic API 的 Agent）的 token 消耗。它通过将大量文本内容（系统提示词、工具文档、历史记录）渲染为图片，再通过视觉通道传输，从而大幅压缩输入 token 数量。 核心逻辑：一张图片的 token 成本由像素尺寸决定，而不是内容长度。实测 dens…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …
aiengineeringfromscratch 是一个从数学基础到多 Agent 生产部署的系统性 AI 工程课程，包含 503 节课程、20 个阶段，覆盖 Python / TypeScript / Rust / Julia 四种语言，MIT 许可证，完全免费。 它的核心理念是 Build It Before You Use It——在学习任何框架或工具…
awesomellmapps 是一个可运行的 AI Agent 与 RAG 应用模板集合，目前收录 100+ 完整可跑的应用示例，涵盖 AI Agent、多 Agent 协作、Alwayson 代理、语音 Agent、MCP 协议、RAG、生成式 UI 等现代 AI 栈的主流方向。 它的定位介于「awesome 榜单」和「完整课程」之间：每一个模板都是独立可…
LangChain 是目前最主流的 Agent 工程框架，为构建 LLM 应用提供标准化的组件抽象——模型接口、工具（Tools）、向量存储（Vector Store）、检索器（Retriever）等。2024–2025 年 LangChain 团队将产品线拆分为多个专注子库：主库 LangChain（底层组件）、LangGraph（复杂流程编排）、Deep…
DeerFlow（Deep Exploration and Efficient Research Flow）是字节跳动开源的 Super Agent Harness，于 2026 年 2 月 28 日凭借 2.0 重写版本登上 GitHub Trending 第 1 名。它将 SubAgent、Memory（记忆）、Sandbox（沙盒）和可扩展 Skill…