研究库 实战攻略
Guides · organized/guides

仓库攻略

47 篇 · 45 个项目 · 评测基准 · Agent 智能体

tractorjuice/arc-kit · 上手攻略
ArcKit(Enterprise Architecture Governance Harness)是一套面向企业架构师和 AI 编程助手用户的开源工具包,将企业架构治理从散落的文档、Word、表格、邮件中抽离出来,变成系统性、AI 辅助的工作流。 它以 Claude Code 插件形式发布,提供 75 条官方命令,覆盖战略规划、利益相关者分析、风险评估(H…
评测基准 tractorjuice/arc-kit Stars 2,133 Tom 2026-08-09
smevals 轻量评测框架:目录即评测 · 干货攻略
smevals(全称 "small evals")是 Prime Radiant 实验室推出的开源 Python CLI 评测框架,主打轻量、可复制、以目录为评测单元的设计理念。MIT 许可证,由 Simon Willison 主导开发,定位是帮助开发者在小模型与高性价比方案中做出选择——而不必总是跑最贵的 frontier 模型。 核心理念来自官方博客原文…
评测基准 prime-radiant-inc/smevals Jay 2026-08-02
yb2460/harness-anything · 上手攻略
Harness Anything 是一个开源的 AI Agent 控制中枢,通过 CLI 封装,将一系列闭源商业软件(WPS Office、Microsoft Office、Adobe 全家桶、Zotero)变成 AI Agent 可编程操控的目标。核心思路借鉴 CLIAnything 的 Harness 方法论,但后者只支持 GIMP、Blender 等开…
评测基准 yb2460/harness-anything Stars 1,419 Tom 2026-07-28
ParseBench 文档解析评测基准 · 干货攻略
ParseBench 是 LlamaIndex 在 CVPR 2026 上发布的首个面向 AI Agent 的文档解析评测基准(arXiv:2604.08538,cs.CV)。 它的核心命题是:文档 OCR 不是"把 PDF 转成文字",而是必须保留足够的结构和语义,让 Agent 能可靠地自主决策。一旦表格列对齐错位、小数点丢失、删除线被静默丢弃,Agen…
评测基准 run-llama/ParseBench Jay 2026-07-22
Agenta-AI/agenta · 上手攻略
Agenta 是一个开源的 LLMOps 平台,把 LLM 应用从原型到生产所需的四件事压在一个工作流里:Prompt Playground(交互式调试)、Prompt/Cofig 管理(带版本和分支)、LLM 评估(人评 + 自动评估 + LLMasjudge)、可观测性(Tracing、成本、延迟)。代码以 TypeScript 为主、许可 NOASSE…
评测基准 Agenta-AI/agenta Stars 4,303 spark 2026-07-17
anthropics/defending-code-reference-harness · 上手攻略
这是 Anthropic 官方开源的参考实现(Reference Implementation),用于展示如何用 Claude 实现自动化漏洞发现和修复。仓库基于 Anthropic 与多家企业安全团队合作(代号 Glasswing 项目)的实战经验总结而成,提供了从威胁建模到漏洞扫描、分诊、补丁生成的完整流水线原型。 ⚠️ 重要说明:仓库 README 明…
评测基准 anthropics/defending-code-reference-harness Stars 6,618 Tom 2026-07-13
Helicone/helicone · 上手攻略
Helicone 是一个开源的 LLM 可观测性(Observability)与 AI 网关(AI Gateway)平台,定位是帮助 AI 工程师一站式完成模型调用监控、成本分析、流量路由、Prompt 版本管理和微调数据准备。它诞生于 Y Combinator W23 批次,GitHub Stars 已超过 5,900(数据截至 202607),是 LLM…
评测基准 Helicone/helicone Stars 6,116 Tom 2026-07-12
MadsLorentzen/ai-job-search · 上手攻略
aijobsearch 是一个本地运行的 AI 求职框架,以 Claude Code 为核心引擎,把求职的全套流程自动化:搜索职位 → 评估匹配度 → 定制 CV → 写求职信 → 面试准备,全部在你自己机器上跑,数据不经过任何第三方服务器。 核心思路是"drafterreviewer"双 Agent 流水线:drafter 生成内容,reviewer 批判…
评测基准 MadsLorentzen/ai-job-search Stars 45,021 Jay 2026-07-12
Arize-ai/phoenix · 上手攻略
Phoenix 是 Arize 开源的可观测性平台,专为 LLM 应用设计,提供追踪(Tracing)、评估(Evaluation)、数据集管理和实验对比四大核心能力。 在 LLM 应用开发中,最大的痛点之一是「看不见内部」——你不知道 RAG 检索到了什么文档、Token 消耗了多少、哪次调用拖慢了整体响应。Phoenix 用 OpenTelemetry …
评测基准 Arize-ai/phoenix Stars 10,982 Tom 2026-07-11
MemPalace/mempalace · 上手攻略
MemPalace 是一个本地优先的 AI 记忆系统,核心卖点是:原文逐字存储(不摘要、不压缩)、可插拔向量后端、96.6% R@5(LongMemEval 基准)以及完全零 API 调用。数据永远留存在本机,通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻: 官方文档: | PyPI:mempalace ⚠️ 防骗警告:MemP…
评测基准 MemPalace/mempalace Stars 58,289 Jay 2026-07-10
tensorzero/tensorzero · 上手攻略
⚠️ 重要注意:该仓库已于 2026 年 6 月 12 日被官方归档(readonly)。本文档如实记录其功能与用法;后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案(如 Langfuse、vLLM Gateway 等)。 TensorZero 是一个开源 LLMOps 平台,用 Rust 编写,以单一 Docker 容器交…
评测基准 tensorzero/tensorzero Stars 11,724 Jay 2026-07-09
langfuse/langfuse · 上手攻略
Langfuse 是一个开源 LLM 工程平台,帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月,Langfuse 团队加入 ClickHouse,继续深耕开源可观测性领域。它同时提供 Langfuse Cloud(托管版,有慷慨的免费额度)和私有化部署(Docker Compose,一键起立)。 核心功能覆盖 LLM 应用全生命周期:…
评测基准 langfuse/langfuse Stars 35,576 Jay 2026-07-09
coleam00/Archon · 上手攻略
Archon 是一个面向 AI 编程智能体的工作流引擎——用 YAML 定义开发流程(计划→实现→验证→审查→PR),让 AI 编程行为从"随机发挥"变成可复现的确定性过程。 它的类比是:Dockerfile 解决了基础设施的可复现,GitHub Actions 解决了 CI/CD 的可复现,而 Archon 解决的是 AI 编程工作流的可复现。 核心思想:…
评测基准 coleam00/Archon Stars 22,832 Tom 2026-07-08
bytedance/deer-flow · 上手攻略
DeerFlow(Deep Exploration and Efficient Research Flow)是字节跳动开源的 Super Agent Harness,于 2026 年 2 月 28 日凭借 2.0 重写版本登上 GitHub Trending 第 1 名。它将 SubAgent、Memory(记忆)、Sandbox(沙盒)和可扩展 Skill…
评测基准 bytedance/deer-flow Stars 79,697 Tom 2026-07-06