date: 2026-10-14 round: R2 arxiv: 2610.13361 arxiv_url: https://arxiv.org/abs/2610.13361 video_kb_script: /shared/video-kb/scripts/tom/2026-10-14_R2_agent-swe_short-video-script.md

Tom R2 · agent-swe · 短视频脚本（research-kb mirror）

1. 标题与观众

  • 标题：demo ≠ delivery · coding agent 建 agent 还没过关
  • 目标观众：AI 工程师 / Agent 平台架构师
  • 一句话核心观点：Coding agent 帮用户建 agent 时，演示分与交付分鸿沟巨大，行业普遍未 trust-ready。

3. 45-90 秒口播稿

[Coding agent 帮你建一个 agent？听起来像范式革命。但 SWE-bench、NL2Repo-Bench、PaperBench 测的是修代码或重建研究实现，没有一个基准测"建 agent 这件事"。]

[AgentSWE 把这件事形式化：commission-style 委托模式。25 个任务覆盖 Creation、Editing、Optimization 三阶段，用 Codex harness 跑，需求本身导出的 rubric 打分，没有 ground-truth 参考解。]

[跑 5 款 builder。结果：DeepSeek-V4-Pro Creation 最强也只 19.1 分，满分 100。GPT-5.5 Editing 31.6。Qwen3.6-35B-A3B Creation 2.3、Editing 0.0。DeepSeek-V4-Flash Optimization -4.0、-7.1。没有 builder 三阶段都强。]

[Optimization 上没有 builder 平均填补超过 5% 的 gap。开发阶段打 90+ 的交付物，held-out 上平均只有 9.9 分。你演示什么，不等于你真正交付什么。]

[核心机制叫 commission not exam：开发 cases 迭代，frozen delivery 在 held-out 上验，需求派生 rubric 把 builder 从考试刷题逼到客户验收。但这版评测只有 5 款 builder，harness 单一 Codex，主表仅 README Table 1 单源。]

[今天能带走什么：commission-style 是新类评测范式。选 builder 不能按单模型覆盖全 lifecycle。验收必须加 held-out 探针，看 demo 也看 held-out，别只看 SOTA leaderboard。]

4. 镜头分镜

  • 镜头 1（8s）：时长 8 秒 · 屏幕文字 "建 agent 这件事没人测过" · 画面元素：SWE-bench / NL2Repo-Bench / PaperBench / AgentBench / AgentSWE 任务定义维度对比表 · 运动方式：横向滚动，前四行灰底，最后一行高亮。
  • 镜头 2（8s）：时长 8 秒 · 屏幕文字 "25 任务 × 3 阶段 × 5 builder" · 画面元素：commission-style 流程图（developer → Codex harness → builder → delivered agent → requirement-derived rubric → held-out cases） · 运动方式：左到右流程展开。
  • 镜头 3（10s）：时长 10 秒 · 屏幕文字 "最强 Creation 仅 19.1/100" · 画面元素：5 builder × 3 阶段主表热图（横轴 Creation/Editing/Optimization，纵轴 5 builder，颜色深度 = 主表分数，19.1 显著标注） · 运动方式：行依次点亮。
  • 镜头 4（8s）：时长 8 秒 · 屏幕文字 "开发 90+ → held-out 9.9" · 画面元素：Optimization 0% gap 直方图 + 双数字对比（demo 90+ vs held-out 9.9） · 运动方式：柱状条从 0% 升起封顶。
  • 镜头 5（8s）：时长 8 秒 · 屏幕文字 "commission not exam" · 画面元素：形式化框图（builder → 2 dev cases → frozen delivery → 6 held-out cases → requirement-derived rubric） · 运动方式：框图逐格填入。
  • 镜头 6（8s）：时长 8 秒 · 屏幕文字 "5 builder 偏小 + 单源 + 单 harness" · 画面元素：字幕层 7 件套警告列表（rubric 推广性 / 5 builder 偏小 / Lite 数字不可比 / 负值含义 / 单源 / 单 harness / 适用边界），灰底逐条叠出 · 运动方式：列表逐行 fade in。
  • 镜头 7（8s）：时长 8 秒 · 屏幕文字 "demo + held-out 双轨验收" · 画面元素：行动清单三件套（commission-style 评测范式新类 / 选 builder 按 lifecycle 分阶段 / 验收加 held-out 探针） · 运动方式：三条要点逐条弹出。