CoffeeBench 批判性精读（flyP）

  • arXiv: 2606.16613（v1，2026-06-15，23 页 / 8 图）
  • 作者: Daichi Hattori, Kazuo Araragi, Keita Ogawa, Shota Onose, Taro Makino, Teppei Usuki, Takashi Ishida
  • 机构: KPMG AZSA LLC × Sakana AI（产业 + 学术合作）
  • 代码: https://github.com/SakanaAI/CoffeeBench（已开源，仓库活跃）
  • 二级来源: themoonlight.io 文献综述、AIWeekly 报道（仅做交叉印证）
  • 类别: long-horizon agent / multi-agent economic simulation / benchmark
  • 标签: agent, benchmark, multi-agent, long-horizon, economic-sim, tool-use, failure-mode

1. 核心定位

CoffeeBench 把"长程 agent 评估"从"单 agent + 静态环境"推进到"多 agent + 异构经济角色 + 异步事件驱动"。受试模型只接管一家 roaster_A，其余 5 家（farmer×2 / roaster_B / retailer×2）由固定 reference agent（默认 Claude Sonnet 4.6）控制；90 天仿真，每日 09:00–19:00 业务窗口，每 proactive 工具调用推进 30 分钟本地时钟；agent 可被异步事件（消息、报价、成交、到货）唤起。这是 Vending-Bench Arena 的真正延伸：补足"经济角色异构 + 跨层议价"两个缺口。

2. 方法拆解

2.1 环境机制

  • 状态空间： 双产品线（commodity / specialty 咖啡豆），六家企业，三层供应链，2×2 竞争 + 上下层依赖。
  • 时间管理： 每动作 30 分钟上限 + wait_for_next_day() + 夜间系统结算（销售、成本、损耗、应计）；可被外部事件唤醒；支持破产提前终止。
  • 工具： ReAct 框架，工具集（按节选描述）包含下单、议价、库存查询、日终等待等；每局需数百到上千次工具调用。

2.2 受试模型池

GPT-5.5、Claude Opus 4.7、Sonnet 4.6、Haiku 4.5、Gemini 3.1 Pro、GLM-5.1、Kimi K2.6，外加 PassiveRoaster / HeuristicRoaster 两个规则基线。

2.3 关键结果

  • 所有模型均跑赢 Passive 基线，多数取得正净收入。
  • 净收入排名：GPT-5.5 ≈ +\$3,109、Claude Opus 4.7 ≈ +\$2,782；Haiku 4.5 因 idle-drift 显著落后。
  • "idle-drift" failure mode：Haiku 4.5 内部计划与评估保持连贯，却反复选择 wait；是"会想不会动"型失能，与 Vending-Bench 报告的"竞争压力下过度激进"互补。
  • 高分模型（GPT-5.5、Opus 4.7）通信与交易工具调用频次显著更高，"主动沟通 ↔ 利润"相关性是本文最核心的实证发现。

3. 主要问题（flyP 视角）

  1. 采样方差未充分披露。 全文强调"高出 Passive"和排名，但每模型每条件跑几次、置信区间如何未在摘要段说明；90 天 × 千次调用成本极高，需查正文 Table 2/3 确认 N。
  2. 参考 agent 单点。 五家对手固定为 Sonnet 4.6，意味着排名实际上衡量的是"在被 Sonnet 4.6 包围的市场中谁能赢"。这同时是亮点（可控、对比稳定）和限制（对手变化时排名可能洗牌），论文没有做 ablation。
  3. 指标单一。 唯一汇总指标是累计净收入；缺乏动作分布、对话质量、库存周转、议价成功率、破产率等多维度分解，给 idle-drift 这类"行为型失败"的诊断留了空间但没有量化（如"等待次数 / 思考 token 比"）。
  4. reference agent 自身可能赢不过受试。 用 Sonnet 4.6 作 NPC，存在 baseline 强度天花板问题；Haiku idle-drift 究竟是模型缺陷还是 Sonnet 4.6 主导供给导致"无事可做"，需要 ablation 才能区分。
  5. 环境真实性边界。 真实咖啡供应链有天气、物流、合规、信息不对称；本 sim 把这些抽象为简单库存与价格，外部效度有限——论文自己也用 B2B 议价场景作合理性论据，但缺敏感性测试。
  6. 多 agent 一致性脆弱。 ReAct + 自由格式工具调用在 90 天上千次调用下，prompt drift、上下文截断、工具误用都会成为噪声；需查正文是否报告失败 trajectory 比例与重试策略。
  7. 扩展性。 6 个企业 × 90 天的仿真成本不低；新增企业、新增商品类别、新增天气/事件是否仍可控，论文未给出可扩展性实验。
  8. 公平性提示偏差。 Anthropic 自家 Haiku idle-drift 由 KPMG × Sakana 联合发布，存在"对手厂牌被点名"的解读风险；论文没给出跨厂牌的 Haiku/Gemini 等同位置失败率对比作为平衡。

4. 可信度判断

  • 方法： 中—高。设计思路清晰、可复现、ReAct 栈成熟，但 ablation 不足。
  • 结果： 中。数字方向可信（GPT-5.5 / Opus 4.7 领先与近半年其他基准一致），但缺少 N 与方差披露前不宜做硬排名。
  • 可复现性： 高。SakanaAI/CoffeeBench 已公开代码与轨迹，README 风格符合 Sakana 一贯规范（参 ALE-Bench、AI Scientist 系列）。
  • 生态影响： 中—高。它是目前唯一同时满足"长程 + 多异构 agent + 经济博弈"三项的公开基准，对 agent 经济行为与不良行为研究（与 Vending-Bench 体系互补）有结构性贡献。

5. 入库建议

  • 建议入库： ✅ 建议入库，路径 notes/benchmarks/coffeebench.md（与 vending-bench.md、vending-bench-arena.md 同目录）。
  • 建议审稿： ✅ reviews/2026-06-coffeebench-critical.md，重点写"idle-drift 作为新 failure mode 的诊断价值"与"参考 agent 选择的公平性"。
  • 主题页更新： 在 topics/agent-evaluation.md 增补一行："长程多智能体经济 → CoffeeBench (2026-06, Sakana/KPMG)"，与 Vending-Bench 系列并列。

6. 后续验证动作

  • [ ] 必查： PDF Table 2/3 — 列出每模型 N、均值、std、95% CI；如未给置信区间，在审稿中明确标注。
  • [ ] 必查： Section 4 评估细节 — 是否区分 commodity 与 specialty 子市场、有无按角色分项指标。
  • [ ] 必查： GitHub 仓库 — 是否提供完整 prompt 模板、reference agent 配置、随机种子和复现脚本。
  • [ ] 可选： 复现最小实验 — 用本地开源模型（如 Qwen3-32B / GLM-4.5）替换 reference agent，看 idle-drift 是否消失。
  • [ ] 可选： 与 topics/long-context-agents.md、topics/agent-failure-modes.md 交叉 — 把 idle-drift 列入"会想不会动"型失败，与 hallucination / over-refusal / sycophancy 并列。
  • [ ] 可选： Substack 检索补一次（限 1 条）— 关注是否有 AI industry newsletter（如 Latent Space、Import AI、The Pragmatic Engineer）独立复现或评论 CoffeeBench，纳入"二级来源印证"。

7. 一句话结论

CoffeeBench 是 Vending-Bench 系列后第一个真正补齐"异构经济角色 + 异步事件"缺口的长程多 agent 基准；Sakana × KPMG 的产业组合让生态影响与可复现性都站得住，但单参考 agent、单一汇总指标、N 与方差披露不全是它作为审稿目标最该被追问的三件事。idle-drift 是个值得进 failure-mode 词典的新条目。