Phoenix 是 Arize 开源的可观测性平台，专为 LLM 应用设计，提供追踪（Tracing）、评估（Evaluation）、数据集管理和实验对比四大核心能力。 在 LLM 应用开发中，最大的痛点之一是「看不见内部」——你不知道 RAG 检索到了什么文档、Token 消耗了多少、哪次调用拖慢了整体响应。Phoenix 用 OpenTelemetry …
仓库攻略
122 篇 · 122 个项目 · tom · 评测基准
Agno 是一个生产级的 Agent 平台框架（用 Python 编写），包含两层核心组件： 它的定位比"写一个 Agent 脚本"更高，直接帮你搭建一个多租户、多 Agent、可观测、支持 100+ 工具集成的生产平台。官方口号是"Build, run, and manage your own agent platform"。 当前版本为 Producti…
stas00/mlengineering 是一本机器学习工程开放手册，由 Meta（参与 BLOOM176B 训练）、HuggingFace（参与 BLOOM176B、IDEFICS80B 训练）、Contextual.AI 等一线团队的 ML 工程师 Stas Bekman 多年实战经验沉淀而成。 与一般教程不同，它不是教你怎么用 transformers…
Cognee（发音接近"cogknee"）是一个开源的 AI 记忆平台，专门为 AI Agent 设计持久化长期记忆能力。它的核心理念是：让 AI 不再是"每次对话都是一张白纸"，而是可以跨会话记住关键信息、实体关系和上下文。 Cognee 的记忆架构结合了向量检索（语义搜索）+ 知识图谱（关系推理）+ 认知科学启发的本体生成，文档不仅能被"按意思找到"，还…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
LLMEngineersHandbook 是 Packt 出版社配套 GitHub 仓库，支撑一本同名实战书籍（Amazon/ Packt 有售）。与其说是"仓库"，不如说是一套完整的 LLM 工程最佳实践参考实现：覆盖数据采集、LLM 训练、RAG 搭建、AWS 生产部署、监控和评测全链路，配有可直接运行的 Python 代码和 ZenML 流水线。 解决…
LangWatch 是一个开源 LLMOps 平台，专注于 LLM 应用的全链路可观测性、评估测试与 Agent 仿真。官方定位是"AI 应用的 ops missing piece"——帮助团队在不自己造轮子的情况下，实现追踪（Trace）→ 数据集（Dataset）→ 评测（Evaluate）→ 优化（Optimize）的完整闭环。 核心能力分为四大模块：…
Opik 是由 Comet 出品的开源 LLM 应用全生命周期管理平台，覆盖从原型开发到生产监控的完整流程。它的核心功能分三大块：可观测性（Observability）、自动化评估（Evaluation）、生产监控（Production Monitoring）。 Opik 脱胎于 Comet 十年在 ML 领域积累的实验管理经验，专门面向 LLM 应用、RA…
Promptfoo 是一个用于评估（Evaluation）和红队（Red Teaming）LLM 应用的 CLI + 库工具。它解决的核心问题是：在 Prompt 工程和 AI 应用迭代过程中，你怎么知道你的改动真的变好了？靠"感觉不错"是不够的。 核心功能三件事： 1. 自动化评估（Eval）：用声明式 YAML 配置，自动跑测试用例、对比多个模型的输出，…
Mastra 是一个面向 AI 驱动应用与 Agents 的现代 TypeScript 框架，定位类似 Next.js之于 Web 开发——让 AI 应用的构建从草稿到生产都有一套统一、类型安全、可扩展的基础设施。 核心定位是一站式 AI 应用框架：不只是一个 Agent 库，而是一套包含 Agent、Workflow、Memory、RAG、MCP Serv…
ZML（Z Machine Learning）是一个生产级 AI 推理技术栈，旨在将任意模型部署到任意硬件加速器上，零妥协。 它基于 Zig 语言、MLIR 编译框架和 Bazel 构建系统实现，支持 NVIDIA CUDA、AMD RoCM、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 等多种加速器后端…
MiMo Code 是小米 MiMo AI 团队开源的终端原生 AI 编程智能体，基于开源项目 OpenCode 进行二次开发，2026 年 6 月 10 日以 MIT 许可证发布。 它的核心定位是一个"住在你电脑里的 AI 编程搭档"——能读写代码、执行命令、管理 Git，并且通过持久化记忆系统，在多次会话中持续理解项目上下文、自动进化。 MiMo Cod…
T3MP3ST（念作 "tempest"）是一个自主红队平台，用多 Agent 协作把 AI 编程助手（Claude Code、Codex、Hermes）变成漏洞猎人。它的核心理念是：你已经在用的 AI 编程 Agent 就是大脑，T3MP3ST 围绕它构建一套攻击性武器库——侦察（Recon）→ 利用（Exploit）→ 报告（Report），一条龙的杀伤…
PageIndex 是一个无向量、基于推理的 RAG（检索增强生成）引擎，由 Vectify AI 开发。其核心理念是：传统向量 RAG 依赖"语义相似度"做检索，但这不等于"真正相关"——尤其在金融报告、法律文书、医疗文献等高度专业化的长文档场景，"相似"和"相关"的差距尤为明显。 PageIndex 模拟人类阅读长文档的方式——先看目录，再顺着结构找答案…
ResearchPaperWritingSkills 是一个面向 AI 编程助手（Codex、Claude Code、Gemini）的论文写作 Skill 包，将 ML/CV/NLP 学术论文的写作方法论封装为可复用指令集。 它的核心知识来源是彭思达（Prof. Peng Sida）公开的研究笔记仓库 learning_research，本仓库在此基础上做了…
AgentLearningHub 是 Datawhale 社区维护的一份AI Agent 系统化学习路线，目标是把社区里的优秀分享、官方博客、论文、开源项目和真实工程经验，整理成一份可以照着执行的 AI Agent 学习 todo list。 这不是一个代码工具仓库，而是一个学习导航仓库——README 即全部内容，作者是 Datawhale 成员陈思州（j…
PixelRAG 是一个基于视觉渲染的 RAG（检索增强生成）系统，核心思想：把文档（网页、PDF）渲染成截图切片（screenshot tiles），再对图片做向量检索，而不是解析 HTML 提取文本。传统 RAG 丢掉的表格、图表、排版信息，在 PixelRAG 里完整保留，读者模型可以直接"看"到原始视觉布局。 源自 Berkeley SkyLab、B…
PowerInfer 是由上海交大 IPADS 实验室开源的高速 LLM 推理引擎，专为单张消费级 GPU（RTX 4090 等）本地部署设计。其核心技术是利用 LLM 推理中神经元激活的幂律分布特性——少数"热神经元"（hot neurons）在几乎所有输入中都被激活，而大多数"冷神经元"（cold neurons）则随输入变化。 基于这一洞察，Power…
txtai 是由 NeuML 维护的一个一体化 AI 框架，核心理念是把语义搜索、LLM 编排和工作流三大能力整合在同一个 Python 包里。 其核心组件是 Embeddings 数据库——本质上是一个融合了稀疏向量索引、密集向量索引、图网络和关系数据库的统一检索层。这使得 txtai 既能做传统向量检索，也能做 SQL 查询、主题建模、图分析。 架构图：…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
Antigravity Awesome Skills 是一个可安装的 AI Agent Skill 仓库，收录了 1,901+ 个面向主流 AI 编码助手（Claude Code、Cursor、Codex CLI、Autohand Code、Gemini CLI、Kiro、OpenCode、GitHub Copilot 等）的结构化操作手册（SKILL.md…
vLLM 是一个高吞吐量、内存高效的 LLM 推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，现已成长为全球最活跃的开源 AI 基础设施项目之一，拥有来自 2000+ 贡献者的社区支持。 核心突破是 PagedAttention 技术——受操作系统虚拟内存分页启发，将 KV Cache 切分成小块动态管理，显著减少显…
pxpipe 是一个本地请求代理，专门用来降低 Claude Code（以及其他基于 Anthropic API 的 Agent）的 token 消耗。它通过将大量文本内容（系统提示词、工具文档、历史记录）渲染为图片，再通过视觉通道传输，从而大幅压缩输入 token 数量。 核心逻辑：一张图片的 token 成本由像素尺寸决定，而不是内容长度。实测 dens…
wloc 是一个修改 iOS 网络定位服务（WiFi/基站定位，Apple 内部称为 WLOC）的工具。它能让你在 iPhone 上"虚拟定位"——不是伪造 GPS，而是让 Apple 的网络定位服务返回你指定的坐标，从而影响依赖网络定位的 App（如地图、外卖、社交 App）。 支持 Surge、Quantumult X、Loon、Stash、Shadow…
agentmemory 是给 AI 编码代理用的持久化记忆系统。简单说：让你的 Claude Code、Codex CLI、Cursor 等代理在多次会话之间"记住"项目背景、决策历史、代码规范，不再每次从头解释。 底层基于 iii engine，不需要任何外部数据库，记忆存储在本地文件。代理每次完成任务后，agentmemory 自动把关键信息写入记忆；下…
UnlimitedOCR 是百度开源的多模态文档解析模型，定位是「一键长文档解析」——单张图片、PDF 多页、整本手册均可一次性处理，输出结构化文本。发布于 2026 年 6 月，arXiv 论文编号 2606.23050。 官方将其定位为对 DeepSeekOCR 的进一步推进，核心能力： 传统 OCR + NLP 管道有三个常见痛点： 1. 多步骤串联：…
DeepSpec 是 DeepSeek 于 2026 年 6 月 26 日 开源的全栈代码库，用于训练和评估推测解码（Speculative Decoding）的 Draft 模型。MIT 许可证，Stars 6k+。 推测解码的核心逻辑：用一个小而快的 Draft 模型批量生成候选 token，再由目标大模型并行验证——被接受的 token 直接采纳，被拒…
Headroom 是一个上下文压缩层（context compression layer），运行在 AI 编码助手和 LLM 提供商之间，把 tool 输出、日志、文件内容、RAG 检索结果、对话历史等压缩后再发给 LLM，Token 减少 60–95%，答案质量基本不变。 它的核心定位是：在你不动代码的前提下，给任何 AI 编码助手省 Token。支持三种…
把整个仓库索引成一张"函数/类/调用链/HTTP 路由/跨服务调用"的知识图谱，让 Claude Code、Codex、Cursor、Zed 等 AI 编码 Agent 用 MCP 工具直接查图，而不是反复 grep 整库。单文件静态二进制、零依赖、零 API key、158 种语言、亚毫秒查询、token 用量减少 99%。 codebasememorym…
把"求职"这个长期、碎片、靠自驱力的过程，做成 Claude Code / OpenCode / Codex 等任意 AI CLI 都能直接跑起来的 Skill 流水线。不是一个自动投递器，而是一个带评分的漏斗 + ATS 简历工厂 + 跟踪仪表盘。 careerops（也写作 careerops，项目站 careerops.org）是一个"以 AI CLI…