这是面向 Claude Code CLI 的一套 GRC（Governance, Risk, and Compliance）领域 Skill 合集，共覆盖 30+ 部法规框架，包括 ISO 27001、SOC 2、FedRAMP、GDPR、HIPAA、NIST CSF、PCI DSS、EU AI Act、ISO 42001、ISO 27701、DORA、CS…
仓库攻略
61 篇 · 59 个项目 · 评测基准
dshtianshutui（npm 包名 @huiliyi37/dshtianshutui）是 DeepSeek Harness（官方 CLI @deepseekai/dsh）的交互式终端极简风格 UI 插件。它以自研 ANSI 渲染为核心，在官方 Web UI 之外提供类 Claude Code 风格的纯终端对话界面，并叠加了 TDD 工作流、证据门、视觉…
dshwebui 是给 DeepSeek Harness（以下简称 DSH）Web GUI 的一站式插件与皮肤全家桶，通过官方 profile 机制挂载，不改 DSH 源码。所有插件以 npm 包发布（@linxin666/ scope），可逐个安装也可一次性装齐。 仓库包含 11 个子包，核心能力如下： | 能力 | 说明 | ||| | 梁神模式 | 面…
DSH Desktop 是 DeepSeek Harness 的跨平台桌面包装器（Electron），把本地运行的 DeepSeek Harness Web UI 封装为 macOS / Windows 原生桌面应用，让用户无需手动启动 CLI、无需管理本地端口，在桌面窗口中直接使用完整的 Harness Agent Runtime 体验。 本质上是一个 E…
ExtractBench 是由 LlamaIndex 团队发布的企业文档结构化提取基准评测（GitHub: runllama/ExtractBench，论文: arXiv:2607.29677，数据集: HuggingFace）。 它的评测任务是：给定一份企业文档（PDF/图片）和一个用户定义的 JSON Schema，提取出符合 Schema 的结构化数据…
awesomedshplugin 是 DeepSeek Harness（DSH）社区插件精选列表，目前收录 204 个插件，全部可通过 dsh plugin add 一键安装。 DeepSeek Harness（dsh）是 DeepSeek 开源的 Coding Agent 框架，同时提供 Web UI 和 headless 两种运行形态。它的核心设计哲学是…
2026 年 2 月，SWEbench 官方团队对主流大模型做了一次非自报告的独立评测（官方 leaderboard 批量运行），Simon Willison 对此做了详细分析笔记。 这次的核心数据是 Bash Only 赛道的榜单——所有模型在相同系统提示词下、用相同的 minisweagent（约 9,000 行 Python）跑 SWEbench Ve…
EvalScope 是魔搭社区（ModelScope）打造的一站式大模型评测框架，用一行命令即可对 LLM、VLM、Embedding、Reranker、AIGC 等多类型模型进行能力评估、推理性能压测和结果可视化。 核心场景：评测模型效果（能力基准）、压测推理性能（TTFT/TPOT 等指标）、Agent 轨迹回放、多模型对战（Arena）。 ⚠️ Eva…
ArcKit（Enterprise Architecture Governance Harness）是一套面向企业架构师和 AI 编程助手用户的开源工具包，将企业架构治理从散落的文档、Word、表格、邮件中抽离出来，变成系统性、AI 辅助的工作流。 它以 Claude Code 插件形式发布，提供 75 条官方命令，覆盖战略规划、利益相关者分析、风险评估（H…
PostTrainBench 是一个衡量 AI Agent 能否自主完成 LLM 后训练（posttraining）的评测基准，由 aisagroup（马克斯·普朗克研究所 & ELLIS）发布，arXiv:2603.08640。 其核心设计：给 AI Agent 一块 H100 GPU、10 小时、一个小基座模型，让它自主做完整的 posttraining…
smevals（全称 "small evals"）是 Prime Radiant 实验室推出的开源 Python CLI 评测框架，主打轻量、可复制、以目录为评测单元的设计理念。MIT 许可证，由 Simon Willison 主导开发，定位是帮助开发者在小模型与高性价比方案中做出选择——而不必总是跑最贵的 frontier 模型。 核心理念来自官方博客原文…
Harness Anything 是一个开源的 AI Agent 控制中枢，通过 CLI 封装，将一系列闭源商业软件（WPS Office、Microsoft Office、Adobe 全家桶、Zotero）变成 AI Agent 可编程操控的目标。核心思路借鉴 CLIAnything 的 Harness 方法论，但后者只支持 GIMP、Blender 等开…
ParseBench 是 LlamaIndex 在 CVPR 2026 上发布的首个面向 AI Agent 的文档解析评测基准（arXiv:2604.08538，cs.CV）。 它的核心命题是：文档 OCR 不是"把 PDF 转成文字"，而是必须保留足够的结构和语义，让 Agent 能可靠地自主决策。一旦表格列对齐错位、小数点丢失、删除线被静默丢弃，Agen…
ChainForge 是一个给 LLM prompt 做对抗测试的开源可视化编程环境（visual programming environment），学术出身 —— 作者 Ian Arawjo 在 Harvard HCI 组做博后期间发表（CHI 2024 论文 "ChainForge: A Visual Toolkit for Prompt Enginee…
Agenta 是一个开源的 LLMOps 平台，把 LLM 应用从原型到生产所需的四件事压在一个工作流里：Prompt Playground（交互式调试）、Prompt/Cofig 管理（带版本和分支）、LLM 评估（人评 + 自动评估 + LLMasjudge）、可观测性（Tracing、成本、延迟）。代码以 TypeScript 为主、许可 NOASSE…
VLMEvalKit（Python 包名 vlmeval）由上海人工智能实验室 OpenCompass 团队开源，是大型视觉语言模型（LVLM / VLM）的事实标准评估工具包。它的口号是 "一命令评测 220+ LVLM、80+ benchmark" —— 用户只写一个 generate_inner()，剩下的数据下载、预处理、推理、metric 全部由框…
Evidently 是一个开源的 ML 和 LLM 可观测性（Observability）框架，用 Python 编写，用于评估、测试和监控 AI 系统——从传统机器学习模型到生成式 LLM 应用均可覆盖。 核心能力： 离线评测（Reports）：一次性评估模型或数据质量，输出交互式 HTML 报告或 JSON。 测试套件（Test Suites）：在 CI…
这是 Anthropic 官方开源的参考实现（Reference Implementation），用于展示如何用 Claude 实现自动化漏洞发现和修复。仓库基于 Anthropic 与多家企业安全团队合作（代号 Glasswing 项目）的实战经验总结而成，提供了从威胁建模到漏洞扫描、分诊、补丁生成的完整流水线原型。 ⚠️ 重要说明：仓库 README 明…
funNLP 是一个中文 NLP 工具与资源的大集合，由 NLP 从业者「fighting41love」整理维护。GitHub Stars 超过 81k，周增 +77（数据截至 20260713），最后提交 20240510。仓库并非一个独立的 Python 包，而是按主题分类的资源索引：每个条目都是一个真实的开源项目、数据集或工具，包含名称、描述和 Git…
Helicone 是一个开源的 LLM 可观测性（Observability）与 AI 网关（AI Gateway）平台，定位是帮助 AI 工程师一站式完成模型调用监控、成本分析、流量路由、Prompt 版本管理和微调数据准备。它诞生于 Y Combinator W23 批次，GitHub Stars 已超过 5,900（数据截至 202607），是 LLM…
aijobsearch 是一个本地运行的 AI 求职框架，以 Claude Code 为核心引擎，把求职的全套流程自动化：搜索职位 → 评估匹配度 → 定制 CV → 写求职信 → 面试准备，全部在你自己机器上跑，数据不经过任何第三方服务器。 核心思路是"drafterreviewer"双 Agent 流水线：drafter 生成内容，reviewer 批判…
Phoenix 是 Arize 开源的可观测性平台，专为 LLM 应用设计，提供追踪（Tracing）、评估（Evaluation）、数据集管理和实验对比四大核心能力。 在 LLM 应用开发中，最大的痛点之一是「看不见内部」——你不知道 RAG 检索到了什么文档、Token 消耗了多少、哪次调用拖慢了整体响应。Phoenix 用 OpenTelemetry …
MemPalace 是一个本地优先的 AI 记忆系统，核心卖点是：原文逐字存储（不摘要、不压缩）、可插拔向量后端、96.6% R@5（LongMemEval 基准）以及完全零 API 调用。数据永远留存在本机，通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻： 官方文档： | PyPI：mempalace ⚠️ 防骗警告：MemP…
⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
Archon 是一个面向 AI 编程智能体的工作流引擎——用 YAML 定义开发流程（计划→实现→验证→审查→PR），让 AI 编程行为从"随机发挥"变成可复现的确定性过程。 它的类比是：Dockerfile 解决了基础设施的可复现，GitHub Actions 解决了 CI/CD 的可复现，而 Archon 解决的是 AI 编程工作流的可复现。 核心思想：…
DeerFlow（Deep Exploration and Efficient Research Flow）是字节跳动开源的 Super Agent Harness，于 2026 年 2 月 28 日凭借 2.0 重写版本登上 GitHub Trending 第 1 名。它将 SubAgent、Memory（记忆）、Sandbox（沙盒）和可扩展 Skill…
DeepSpec 是 DeepSeek 于 2026 年 6 月 26 日 开源的全栈代码库，用于训练和评估推测解码（Speculative Decoding）的 Draft 模型。MIT 许可证，Stars 6k+。 推测解码的核心逻辑：用一个小而快的 Draft 模型批量生成候选 token，再由目标大模型并行验证——被接受的 token 直接采纳，被拒…