仓库攻略

DeepSeek Harness（DSH）是 DeepSeek 官方推出的 AI Agent 运行时，而 0xsline/awesomedeepseekharness 是一个精选生态导航库——它汇总了来自官方 dshexternal/hub 目录和 GitHub dshplugin 公开话题的所有插件、工具与基础设施，按功能分成 20 个分类，方便使用者快速…

DiGbench（Discovery in Games）是 2026 年 8 月 12 日由 James C.R. Whittington（牛津大学）联合多位学者发布的新型 AI 评测基准，全称 Discovery in Games。 核心设计：70 个纯文本互动游戏，每个游戏内部有隐藏的「变换规则」，AI 智能体必须通过主动交互和实验来发现这些规则，然后将…

2026 年 2 月，SWEbench 官方团队对主流大模型做了一次非自报告的独立评测（官方 leaderboard 批量运行），Simon Willison 对此做了详细分析笔记。 这次的核心数据是 Bash Only 赛道的榜单——所有模型在相同系统提示词下、用相同的 minisweagent（约 9,000 行 Python）跑 SWEbench Ve…

EvalScope 是魔搭社区（ModelScope）打造的一站式大模型评测框架，用一行命令即可对 LLM、VLM、Embedding、Reranker、AIGC 等多类型模型进行能力评估、推理性能压测和结果可视化。 核心场景：评测模型效果（能力基准）、压测推理性能（TTFT/TPOT 等指标）、Agent 轨迹回放、多模型对战（Arena）。 ⚠️ Eva…

PostTrainBench 是一个衡量 AI Agent 能否自主完成 LLM 后训练（posttraining）的评测基准，由 aisagroup（马克斯·普朗克研究所 & ELLIS）发布，arXiv:2603.08640。 其核心设计：给 AI Agent 一块 H100 GPU、10 小时、一个小基座模型，让它自主做完整的 posttraining…

ParseBench 是 LlamaIndex 在 CVPR 2026 上发布的首个面向 AI Agent 的文档解析评测基准（arXiv:2604.08538，cs.CV）。 它的核心命题是：文档 OCR 不是"把 PDF 转成文字"，而是必须保留足够的结构和语义，让 Agent 能可靠地自主决策。一旦表格列对齐错位、小数点丢失、删除线被静默丢弃，Agen…

MemPalace 是一个本地优先的 AI 记忆系统，核心卖点是：原文逐字存储（不摘要、不压缩）、可插拔向量后端、96.6% R@5（LongMemEval 基准）以及完全零 API 调用。数据永远留存在本机，通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻： 官方文档： | PyPI：mempalace ⚠️ 防骗警告：MemP…

⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…

Langfuse 是一个开源 LLM 工程平台，帮助团队协作地开发、监控、评测和调试 AI 应用。2026 年 1 月，Langfuse 团队加入 ClickHouse，继续深耕开源可观测性领域。它同时提供 Langfuse Cloud（托管版，有慷慨的免费额度）和私有化部署（Docker Compose，一键起立）。 核心功能覆盖 LLM 应用全生命周期：…