Evidently 是一个开源的 ML 和 LLM 可观测性（Observability）框架，用 Python 编写，用于评估、测试和监控 AI 系统——从传统机器学习模型到生成式 LLM 应用均可覆盖。 核心能力： 离线评测（Reports）：一次性评估模型或数据质量，输出交互式 HTML 报告或 JSON。 测试套件（Test Suites）：在 CI…
仓库攻略
45 篇 · 43 个项目 · 评测基准
这是 Anthropic 官方开源的参考实现（Reference Implementation），用于展示如何用 Claude 实现自动化漏洞发现和修复。仓库基于 Anthropic 与多家企业安全团队合作（代号 Glasswing 项目）的实战经验总结而成，提供了从威胁建模到漏洞扫描、分诊、补丁生成的完整流水线原型。 ⚠️ 重要说明：仓库 README 明…
funNLP 是一个中文 NLP 工具与资源的大集合，由 NLP 从业者「fighting41love」整理维护。GitHub Stars 超过 81k，周增 +77（数据截至 20260713），最后提交 20240510。仓库并非一个独立的 Python 包，而是按主题分类的资源索引：每个条目都是一个真实的开源项目、数据集或工具，包含名称、描述和 Git…
Helicone 是一个开源的 LLM 可观测性（Observability）与 AI 网关（AI Gateway）平台，定位是帮助 AI 工程师一站式完成模型调用监控、成本分析、流量路由、Prompt 版本管理和微调数据准备。它诞生于 Y Combinator W23 批次，GitHub Stars 已超过 5,900（数据截至 202607），是 LLM…
aijobsearch 是一个本地运行的 AI 求职框架，以 Claude Code 为核心引擎，把求职的全套流程自动化：搜索职位 → 评估匹配度 → 定制 CV → 写求职信 → 面试准备，全部在你自己机器上跑，数据不经过任何第三方服务器。 核心思路是"drafterreviewer"双 Agent 流水线：drafter 生成内容，reviewer 批判…
Phoenix 是 Arize 开源的可观测性平台，专为 LLM 应用设计，提供追踪（Tracing）、评估（Evaluation）、数据集管理和实验对比四大核心能力。 在 LLM 应用开发中，最大的痛点之一是「看不见内部」——你不知道 RAG 检索到了什么文档、Token 消耗了多少、哪次调用拖慢了整体响应。Phoenix 用 OpenTelemetry …
MemPalace 是一个本地优先的 AI 记忆系统，核心卖点是：原文逐字存储（不摘要、不压缩）、可插拔向量后端、96.6% R@5（LongMemEval 基准）以及完全零 API 调用。数据永远留存在本机，通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻： 官方文档： | PyPI：mempalace ⚠️ 防骗警告：MemP…
⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
Archon 是一个面向 AI 编程智能体的工作流引擎——用 YAML 定义开发流程（计划→实现→验证→审查→PR），让 AI 编程行为从"随机发挥"变成可复现的确定性过程。 它的类比是：Dockerfile 解决了基础设施的可复现，GitHub Actions 解决了 CI/CD 的可复现，而 Archon 解决的是 AI 编程工作流的可复现。 核心思想：…
DeerFlow（Deep Exploration and Efficient Research Flow）是字节跳动开源的 Super Agent Harness，于 2026 年 2 月 28 日凭借 2.0 重写版本登上 GitHub Trending 第 1 名。它将 SubAgent、Memory（记忆）、Sandbox（沙盒）和可扩展 Skill…
DeepSpec 是 DeepSeek 于 2026 年 6 月 26 日 开源的全栈代码库，用于训练和评估推测解码（Speculative Decoding）的 Draft 模型。MIT 许可证，Stars 6k+。 推测解码的核心逻辑：用一个小而快的 Draft 模型批量生成候选 token，再由目标大模型并行验证——被接受的 token 直接采纳，被拒…