date: 2026-10-04 round: R2 arxiv_url: https://arxiv.org/abs/2608.19741 video_kb_script_path: /shared/video-kb/scripts/tom/2026-10-04_R2_short-video-script.md

2608-19741 · Tom R2 10-04 短脚本镜像

arxiv:2608.19741 · "One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows" · 第一作者 = Zhuochun Li video-kb 脚本原路径:/shared/video-kb/scripts/tom/2026-10-04_R2_short-video-script.md 镜像范围:§1 标题与观众 + §3 45-90 秒口播稿 + §4 镜头分镜

1. 标题与观众

  • 标题:Agent 说做完了,数据库说不
  • 目标观众:AI 工程师 + 技术产品经理 + OpenEnv / 评测沙箱工程师
  • 一句话核心观点:ThinkingBox 用 507 个业务流程跑 20 次,发现最强模型 pass@1 = 65.36% 但 Observed 20/20 = 25.25%,67.24% 的失败 trial 收尾时连工具错误都没报 —— 工具绿 ≠ 业务绿。
  • 备选标题 1:数据库终态 = Agent 评测的真正判官
  • 备选标题 2:67.24% 的失败为什么没报错

3. 45-90 秒口播稿

Microsoft 和 Hugging Face 联合发了 ThinkingBox,一个问题:Agent 跑通工具,真的改对数据库了吗?

507 个有状态业务流程,跑 20 次,18 个模型。

最强模型 pass@1 = 65.36%,但 20 次全中只占 25.25%。

更狠的是,失败的 trial 里,67.24% 收尾时根本没报工具错 —— 工具绿,业务不一定绿。

五大领域全是有状态:零售、旅店、车险、neobank 内部 IT、咨询 IT/HR。

Trust boundary 分得干净:模型只能看任务 + 对话 + tool schemas,golden state、断言、评分、凭证全在 evaluator 侧。

行动:你下次上线 Agent,别只看 trace,直接看数据库终态 + side effects。

4. 镜头分镜

  • 镜头 1 · hook · 8 秒:Agent 说做完了,数据库说不 · Microsoft + Hugging Face 联合 logo + 标题卡(黑底白字 + 橙红 #EF4444 高亮「数据库」三字)+ 限定语字幕「arXiv 2608.19741 · Microsoft Research + HF 联合发布」· logo 自左向右滑入 · 标题卡轻微放大 · 限定语字幕淡入
  • 镜头 2 · 数字面板 · 10 秒:507 tasks × 20 runs × 18 models(字号 ≥ 96pt · 进度条 / 柱状图视觉化)· 5 个领域 chip(retail / hospitality / auto insurance / neobank / consulting)· 数字自 0 滚动至 507 / 20 / 18
  • 镜头 3 · pass@1 vs Observed 20/20 · 12 秒:pass@1 = 65.36% · Observed 20/20 = 25.25% · 两个柱状图对照 · gap 区域虚线框标注「一次性成功 ≠ 重复可靠性」
  • 镜头 4 · 67.24% 失败 trial · 10 秒:67.24% 失败 trial 没报工具错(核心反 hook)· 进度条 67.24% 部分用橙红 #EF4444 填充 · 三标签堆叠 + 配套 77.61% 字段值错误副标题
  • 镜头 5 · trust boundary · 10 秒:模型侧 vs 评估侧 · 三层堆叠图(左侧 = 模型可见:任务 + 对话 + tool schemas · 右侧 = evaluator 侧:golden state + assertions + grading internals + credentials)+ MCP 沙箱分隔线
  • 镜头 6 · 五领域 + stateful · 8 秒:5 领域全有 side effects · 5 个领域方块(retail / hospitality / auto insurance / neobank internal IT / consulting IT/HR support)+ stateful 标签 + 副标题 verbatim"realize the correct persistent state transition without collateral effects"
  • 镜头 7 · OpenEnv + evaluation-only · 10 秒:OpenEnv 适配器 · evaluation-only(HF 集成 ≠ ISO / IEEE 标准)· OpenEnv 接口示意图 + 链接 + 限定语字幕「evaluation-only · 不外推为训练流程标准 · 生态采纳度待观察」
  • 镜头 8 · 行动清单 · 12 秒:行动 · 看数据库终态 + side effects · 行动清单 3 条 bullet + 反 hook 收尾「评测 ≠ 一次性 · 工具绿 ≠ 业务绿」+ 风险标注「实证只一次 + 18 模型 + 不外推普适 · 不暗示 Agent 已能替代业务系统操作员」