工程筛选草稿 · 2026-08-27
主题
AI Agent 框架生产 Benchmark 深度分析 + 工具调用评估体系
检索范围
- arXiv (tool use agents, agent benchmarks, general agent evaluation)
- GitHub (framework benchmarks, agent-framework-benchmark repo)
- Medium/TowardsAI (production comparisons)
- Substack (AI Engineer, AgentOps, production lessons)
- Redis Blog (production AI agent architecture)
✅ 保留条目
1. GitHub: agent-framework-benchmark
URL: https://github.com/LukaszGrochal/agent-framework-benchmark
来源质量: 高 — 真实代码仓库，含完整源码结构
筛选理由: 有源码、有量化指标、可复现
| 框架 | Quality (1-10) | Latency | Tokens | Consistency (Std) |
|---|---|---|---|---|
| MS Agent Framework | 9.87 | 93s | 7,006 | 0.10 |
| CrewAI | 9.66 | 246s | 27,684 | 0.30 |
| AutoGen | 9.63 | 572s | 10,793 | 0.45 |
| LangGraph | 9.42 | 506s | 8,823 | 0.32 |
| OpenAI Agents SDK | 9.31 | 448s | 8,676 | 0.36 |
关键发现: 所有框架输出质量均 9.0+，真正差异在速度（6x 差距）、token 效率（4x 差距）和一致性。Local-first，Ollama 默认，支持云端备选。
工程价值: Benchmark 代码在 src/ 下分框架实现（crewai_impl/、langgraph_impl/、autogen_impl/ 等），含 benchmark/ 运行器、eval_core/ LLM-as-judge 评估、results/ CSV+JSON 输出。可直接用于评估选型。
标签: benchmark github production code reproducible
2. arXiv: The Evolution of Tool Use in LLM Agents
URL: https://arxiv.org/html/2603.22862v2
来源质量: 高 — 学术平台，系统性调研论文
筛选理由: 全面梳理 40+ 工具调用 Benchmark，含规模、年份、评测类型
核心 Benchmark 清单（按工程价值筛选）:
| Benchmark | # Tools | # Instances | Year | Env |
|---|---|---|---|---|
| ToolGym | 5,571 | 1,170 | 2026 | I |
| τ²-bench | 68 | 279 | 2025 | H |
| OSWorld | Varies | 369 | 2024 | R |
| SWE-bench | - | - | 2024+ | R |
| AgentLongBench | Varies | Varies | 2026 | I |
| DeepPlanning | 24 | 240 | 2026 | I |
| ToolSandbox | 34 | 1,032 | 2024 | I |
| MCP-Atlas | - | 2,413 | 2026 | I |
| ASTRA | Varies | 2,413 | 2026 | I |
Env 类型: S=Simulation, I=Interactive, R=Real
工程价值: 分类清晰，可按场景（模拟/交互/真实）选 Benchmark，避免用错评测基准。含 Benchmark 引用链接，可追溯原始论文。
标签: arxiv benchmark tool-use survey agent
3. arXiv: Benchmark Test-Time Scaling of General LLM Agents
URL: https://arxiv.org/html/2602.18998v1
来源质量: 高 — 学术平台，有具体分数
筛选理由: 跨 7 个任务的模型横向对比，含代码级 benchmark 构成
核心数据:
| Models | BrowseComp | WebVoyager | SWE-Bench | Terminal-Bench | MathHay | Tau2-Bench | MCP-Bench | Avg |
|---|---|---|---|---|---|---|---|---|
| DeepSeek-V3.2 | 19.4 | 46.2 | 31.8 | 22.2 | 33.3 | 54.0 | 66.0 | 39.0 |
| Qwen3-Next | 10.5 | 35.4 | 18.0 | 8.8 | 42.0 | 48.9 | 64.6 | 32.6 |
| Gemini 2.5-Pro | 8.9 | 46.2 | 26.0 | 27.5 | 24.0 | 46.0 | 67.2 | 35.1 |
Benchmark 构成: - Coding: SWE-Bench Verified (500→50 sampled), Terminal-Bench (230→80) - Search: BrowseComp (1266→124), WebVoyager (643→65) - Tool-Calling: Tau2-Bench (278→50), MCP-Bench (104→52) - Reason: MathHay (602→75)
工程价值: General AgentBench 是首个覆盖 coding/search/tool-use/reason 四域的统一评测，对评估通用 agent 能力有直接参考价值。
标签: arxiv benchmark agent test-time-scaling evaluation
4. arXiv: Profile-Then-Reason (PTR) Algorithm
URL: https://arxiv.org/pdf/2604.04131
来源质量: 高 — 有 Algorithm 1 伪代码，2026-04-07
筛选理由: 有可复现的算法流程，含 Phase 分段（LANCE 2026 论文）
算法结构:
Phase 1: PROFILE (LLM call #1) → p = Π(x,m) via L
Phase 1.5: ROUTE (deterministic) → ρ = Q(m,p)
Phase 2: EXECUTE (deterministic loop) → tool execution with branch rules
Phase 2.5: VERIFY (deterministic) → z = V(sf, m, p)
Phase 3: REPAIR (optional, ≤1 LLM call) → workflow re-execution
Final: REASON (LLM call #2 or #3) → y = G(x, m, sf, z) via L
工程价值: 解决 reactive execution 重复推理的 latency 和 error propagation 问题。Phase 1 PROFILE 一次性规划，Phase 2 deterministic 执行，Phase 3 按需 REPAIR。与 LangGraph checkpointing 思路可对比。
标签: arxiv algorithm tool-augmented latency-optimization
5. Production Case Studies (博客综合)
来源: pub.towardsai.net, uvik.net, pickaxe.co
筛选理由: 有具体数字、生产案例、可追溯来源
LangGraph vs CrewAI vs AutoGen 生产对比: - 医疗部署: 18,000 患者摄入，6 个月零事故（LangGraph） - 独立 2000-run benchmark: LangGraph latency 最快；CrewAI token 消耗在简单任务上是其他框架 3x - 版本推荐: AutoGen 1.0.0 + LangGraph 0.3.18 + CrewAI 0.95.x（2026-Q1 安全组合）
成本数据（1000 次/天，3-step 任务，GPT-4o-mini）: | 框架 | 月成本 | |------|--------| | LangGraph | $63 | | CrewAI | $78–$102 | | AutoGen | $84–$171 |
标签: production benchmark cost-analysis enterprise
6. Redis Blog: AI Agent Architecture
URL: https://redis.io/blog/ai-agent-architecture
来源质量: 中高 — 官方技术博客，有具体数字
筛选理由: 真实性能数字 + 生产架构模式
关键数据: - Semantic embedding caching 可减少 LLM API 调用 ~69% - Redis LangCache: 成本降低 70%，缓存命中响应速度提升 15x
生产模式: - ReAct（动态任务） - Plan-and-Execute（可预测工作流） - Multi-agent（复杂领域）
标签: production architecture caching redis RAG
7. GitHub: MAREF Governance Benchmark
URL: https://github.com/maref-org/maref/blob/main/docs/website/blog/2026-07-22-maref-vs-langgraph-governance-benchmark.md
筛选理由: 量化 governance primitives 开销，有对比数据
关键数字: MAREF governance cycle 平均开销 +4.7ms vs LangGraph
标签: github benchmark governance langgraph
8. SWE-bench / Terminal-Bench 最新排名（汇总）
来源: gist.github.com/karozi, awesome-ai-agents-2026
关键数据:
- SWE-bench Verified: Claude Opus 4.7 (87.6%), GPT-5.3 Codex (85.0%)
- Terminal-Bench 2.0: GPT-5.4 领先 (77.3%)
- Agent scaffold 切换带来 ~22% 性能方差，模型切换仅 ~1%（说明框架选型比模型选型更关键）
标签: benchmark SWE-bench coding-agent ranking
❌ 丢弃条目
| 条目 | 丢弃理由 |
|---|---|
| 各厂商 AI Agent Framework 对比博文（Medium 商业类） | 无源码、无命令、无可复现步骤，Marketing 内容为主 |
| 各 Substack 长文（AI Engineer / Rocky Bhatira 等） | 仅有洞察，无代码/命令；建议作为线索但不做工程记录入库 |
| Awesome AI Agents 2026 列表 | 纯列表，无量化数据，仅适合导航不適合工程筛选 |
| 各 SEO-oriented comparison guide | 面向搜索排名，无真实 benchmark 数据 |
📦 Substack 记录（仅作线索）
Substack-1: The AI Engineer — The AI Agents Stack 2026 Edition
- 作者: Paolo Perrone
- 链接: https://theaiengineer.substack.com/p/the-ai-agents-stack-2026-edition
- 发布时间: 2026
- 核心观点: eval 基础设施缺口最大（89% 有 observability，仅 52% 有 evals）；guardrails 从 I/O 过滤演化为工具执行层授权；OWASP MCP Top 10 发布
- 可信度: 高（行业工程师 Newsletter，有具体数据引用）
- 后续行动: 关注 OWASP MCP Top 10 官方发布，需核验完整安全清单
Substack-2: AgentOps — Lessons from 1400+ Production Deployments
- 作者: Hugo Bowne-Anderson
- 链接: https://hugobowne.substack.com/p/agentops-lessons-from-over-1400-production
- 发布时间: Jun 29, 2026
- 核心观点: $50,000 无限循环灾难；DoorDash 三层 agent 架构；Elyos AI <400ms 响应（极端上下文清理模式）；最成功团队每隔几周重建 agent 系统
- 可信度: 高（行业实践数据）
- 后续行动: 适合作为生产故障模式案例补充，不入库纯技术记录
Substack-3: How to Learn Agentic AI in 2026 (Rocky Bhatira)
- 作者: Rocky Bhatira
- 链接: https://rockybhatia.substack.com/p/how-to-learn-agentic-ai-in-2026
- 发布时间: 2026
- 核心观点: 账单 API 429 重试风暴案例；本地理性行为导致全局灾难；多 agent 共享内存后摘要漂移问题
- 可信度: 中（个人经验分享，有案例但无量化）
- 后续行动: 作为生产故障模式参考，不入库
分类标签
agent-framework benchmark production cost-analysis SWE-bench tool-use arxiv github evaluation observability governance
建议写入路径
/shared/research-kb/inbox/jay/2026-08-27-agent-framework-benchmark-production.md
是否需要精读/审稿/主题页更新
| 动作 | 建议 | 理由 |
|---|---|---|
| 精读 | 是 | agent-framework-benchmark GitHub 源码结构值得细看；PTR Algorithm 伪代码需对照实现 |
| 审稿 | 否 | 本次均为二次筛选，无原创内容 |
| 主题页更新 | 建议 | 建议增加 Agent Framework Benchmark 专题页，聚合生产框架对比数据 |
关键工程结论
-
框架选型 > 模型选型: Agent scaffold 切换带来 ~22% 性能差异，模型切换仅 ~1%（MorphLLM 2026-05 数据）。选好框架比选模型更关键。
-
生产版本锁定: 2026-Q1 安全组合 = AutoGen 1.0.0 + LangGraph 0.3.18 + CrewAI 0.95.x，新项目可直接参考。
-
Benchmark 覆盖: 工具调用评测认准 τ²-bench（Google 采用）、MCP-Atlas（真实 MCP 服务器）、ToolGym（大规模 5571 工具）。避免用 ToolBench 2023 等过时基准。
-
成本优先级: LangGraph 在 1000+ 次/天规模下成本最优（$63 vs $78-171）；CrewAI token 消耗在简单任务上是其他框架 3x，需优化。
-
Eval 是最大缺口: 89% 团队有 observability，仅 52% 有 evals。生产质量死于 eval 缺失，建议参考 General AgentBench 四域评测体系。