LongHorizonHarness 是一个长周期计算机使用（Computer Use）Agent 执行框架。它不训练新模型，而是围绕已有的 Agent（如 Claude Code、OpenCode、DeepSeek Harness）构建一个可靠的"执行验证恢复"循环，让 AI Agent 能在桌面应用和 CLI 环境中连续工作数十小时、可靠地完成复杂工作流…
仓库攻略
24 篇 · 23 个项目 · 评测基准 · LLM 基础设施
dshmarket 是 DeepSeek Harness（DSH）协议的可视化插件市场。简单说：你在 DeepSeek Harness 里装插件、换主题、管更新，以前要敲命令行、改配置文件，现在全部在浏览器界面里点一点搞定。 DSH 是一个本地 AI Agent 运行时（类似提前跑好的 agent loop），核心用 MIT 协议开源（deepseekai …
DeepSeek Harness Handbook 是一个独立维护的权威实战手册，面向在生产环境或日常工作中使用 DeepSeek Harness（DSH）的开发者、运维和 AI 爱好者。它不是命令列表，而是一部覆盖完整 Agent 边界的操作指南——从模型路由、工具调用、权限审批、沙盒隔离、持久化 Session、插件体系、MCP（Model Contex…
代表攻略
0xsline/awesome-deepseek-harness · 上手攻略
DeepSeek Harness（DSH）是 DeepSeek 官方推出的 AI Agent 运行时，而 0xsline/awesomedeepseekharness 是一个精选生态导航库——它汇总了来自官方 dshexternal/hub 目录和 GitHub dshplugin 公开话题的所有插件、工具与基础设施，按功能分成 20 个分类，方便使用者快速…
同类项目 2展开比较
同名 Awesome 仓库已合并展示，原攻略与详情链接均保留。
0xsline/awesome-deepseek-harness
Stars 778
代表
Dominic789654/awesome-deepseek-harness
Stars 133
DiGbench（Discovery in Games）是 2026 年 8 月 12 日由 James C.R. Whittington（牛津大学）联合多位学者发布的新型 AI 评测基准，全称 Discovery in Games。 核心设计：70 个纯文本互动游戏，每个游戏内部有隐藏的「变换规则」，AI 智能体必须通过主动交互和实验来发现这些规则，然后将…
内容待复核
Zhiyuan-Fan/Awesome-DeepSeek-Harness-Plugins · 上手攻略
DeepSeek Harness（DSH）是 DeepSeek 官方开源的 Agent 执行框架，其核心理念是"一切皆插件"——每个能力（模型供应商、工具、记忆、调度、UI 客户端）都是可插拔的组件。AwesomeDeepSeekHarnessPlugins 是由 ZhiyuanFan 维护的每日精选目录，收录 DSH 生态中公开可用的插件、扩展、技能、工具…
DSH 插件市场（DSH Plugin Marketplace）是一个为 DeepSeek Harness（DSH） 打造的插件市场插件，通过在 DSH Web GUI 的设置页面中嵌入一个卡片列表界面，让用户无需命令行即可浏览、安装、更新 GitHub 上全部打有 dshplugin topic 的插件，以及 14000+ 通用 Skills（来自 age…
2026 年 2 月，SWEbench 官方团队对主流大模型做了一次非自报告的独立评测（官方 leaderboard 批量运行），Simon Willison 对此做了详细分析笔记。 这次的核心数据是 Bash Only 赛道的榜单——所有模型在相同系统提示词下、用相同的 minisweagent（约 9,000 行 Python）跑 SWEbench Ve…
EvalScope 是魔搭社区（ModelScope）打造的一站式大模型评测框架，用一行命令即可对 LLM、VLM、Embedding、Reranker、AIGC 等多类型模型进行能力评估、推理性能压测和结果可视化。 核心场景：评测模型效果（能力基准）、压测推理性能（TTFT/TPOT 等指标）、Agent 轨迹回放、多模型对战（Arena）。 ⚠️ Eva…
PostTrainBench 是一个衡量 AI Agent 能否自主完成 LLM 后训练（posttraining）的评测基准，由 aisagroup（马克斯·普朗克研究所 & ELLIS）发布，arXiv:2603.08640。 其核心设计：给 AI Agent 一块 H100 GPU、10 小时、一个小基座模型，让它自主做完整的 posttraining…
ParseBench 是 LlamaIndex 在 CVPR 2026 上发布的首个面向 AI Agent 的文档解析评测基准（arXiv:2604.08538，cs.CV）。 它的核心命题是：文档 OCR 不是"把 PDF 转成文字"，而是必须保留足够的结构和语义，让 Agent 能可靠地自主决策。一旦表格列对齐错位、小数点丢失、删除线被静默丢弃，Agen…
ChainForge 是一个给 LLM prompt 做对抗测试的开源可视化编程环境（visual programming environment），学术出身 —— 作者 Ian Arawjo 在 Harvard HCI 组做博后期间发表（CHI 2024 论文 "ChainForge: A Visual Toolkit for Prompt Enginee…
Agenta 是一个开源的 LLMOps 平台，把 LLM 应用从原型到生产所需的四件事压在一个工作流里：Prompt Playground（交互式调试）、Prompt/Cofig 管理（带版本和分支）、LLM 评估（人评 + 自动评估 + LLMasjudge）、可观测性（Tracing、成本、延迟）。代码以 TypeScript 为主、许可 NOASSE…
VLMEvalKit（Python 包名 vlmeval）由上海人工智能实验室 OpenCompass 团队开源，是大型视觉语言模型（LVLM / VLM）的事实标准评估工具包。它的口号是 "一命令评测 220+ LVLM、80+ benchmark" —— 用户只写一个 generate_inner()，剩下的数据下载、预处理、推理、metric 全部由框…
Evidently 是一个开源的 ML 和 LLM 可观测性（Observability）框架，用 Python 编写，用于评估、测试和监控 AI 系统——从传统机器学习模型到生成式 LLM 应用均可覆盖。 核心能力： 离线评测（Reports）：一次性评估模型或数据质量，输出交互式 HTML 报告或 JSON。 测试套件（Test Suites）：在 CI…
Helicone 是一个开源的 LLM 可观测性（Observability）与 AI 网关（AI Gateway）平台，定位是帮助 AI 工程师一站式完成模型调用监控、成本分析、流量路由、Prompt 版本管理和微调数据准备。它诞生于 Y Combinator W23 批次，GitHub Stars 已超过 5,900（数据截至 202607），是 LLM…
Phoenix 是 Arize 开源的可观测性平台，专为 LLM 应用设计，提供追踪（Tracing）、评估（Evaluation）、数据集管理和实验对比四大核心能力。 在 LLM 应用开发中，最大的痛点之一是「看不见内部」——你不知道 RAG 检索到了什么文档、Token 消耗了多少、哪次调用拖慢了整体响应。Phoenix 用 OpenTelemetry …
MemPalace 是一个本地优先的 AI 记忆系统，核心卖点是：原文逐字存储（不摘要、不压缩）、可插拔向量后端、96.6% R@5（LongMemEval 基准）以及完全零 API 调用。数据永远留存在本机，通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻： 官方文档： | PyPI：mempalace ⚠️ 防骗警告：MemP…
⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…
whichllm 是一个本地大模型硬件适配工具，一条命令帮你找出"在你的电脑上真正能跑且表现最好"的本地 LLM。它不是模型本身，而是一个智能选型引擎：读取你机器的 GPU/CPU/RAM 配置，去 HuggingFace 实时拉模型列表和基准测试数据，然后给你一份排名。 核心哲学：参数量不等于性能。一个 27B Q5 量化模型可能比 32B Q2 更快更准…
DeerFlow（Deep Exploration and Efficient Research Flow）是字节跳动开源的 Super Agent Harness，于 2026 年 2 月 28 日凭借 2.0 重写版本登上 GitHub Trending 第 1 名。它将 SubAgent、Memory（记忆）、Sandbox（沙盒）和可扩展 Skill…
DeepSpec 是 DeepSeek 于 2026 年 6 月 26 日 开源的全栈代码库，用于训练和评估推测解码（Speculative Decoding）的 Draft 模型。MIT 许可证，Stars 6k+。 推测解码的核心逻辑：用一个小而快的 Draft 模型批量生成候选 token，再由目标大模型并行验证——被接受的 token 直接采纳，被拒…