Tencent WorkBuddy Bench · Tom 脚本镜像 · 2026-07-26 R3

date: 2026-07-26 (Sunday) · round: R3 arXiv: https://arxiv.org/abs/2607.20911 video-kb 原路径: /shared/video-kb/scripts/tom/2026-07-26_R3_workbuddy-bench-coding-agent-anti-leak-short-video-script.md

1. 标题与观众

标题:反向工程 · 防数据污染基准 目标观众:AI 工程师 · Coding agent 团队 leader · SWE-bench 维护者 · LLM benchmark designer · Coding agent 评测研究员 · 数据污染防控研究者 · Office 自动化 / Web 自动化 / 安全 red-blue team / 软件工程 coding agent 应用研究员 一句话核心观点:WorkBuddy Bench 把每条 coding 任务从真实 commit、PR、业务场景反向工程,重写成拒绝 web 搜的口语化角色扮演请求,配合 dataset versioning + 端到端可复现协议 + 双 harness(CodeBuddy Code + Claude Code)评测,做出一套评测套件自身可审计、跨子集分数不可比的新一代 coding agent 评测基准。

3. 45-90 秒口播稿

SWE-bench 任务能搜回原文——污染泄露是 coding benchmark 头号病。WorkBuddy Bench 反着走:每条任务从真实 commit 反向工程,重写成"小李把 office 表格汇总"式口语化请求,任务再也搜不回原文。它覆盖 Code、Web、Office、Security 四域,跨子集分数不可比。配 dataset versioning 和双 harness(CodeBuddy Code + Claude Code)做跨模型 leaderboard。任务目录、镜像、harness、测试、参考解全开放,第三方可重跑审计。今天能带走:跨子集分数不可比,复现细节待社区验证。

4. 镜头分镜

scene-1 hero · 标题卡

  • 时长:8s
  • 屏幕文字:反向工程 · 防数据污染基准
  • 画面元素:深色背景 + 主标题居中大字 + 副标题小字 "WorkBuddy · 第 74 维 · 评测套件自身可信度审计"
  • 运动方式:主标题自下而上滑入,副标题淡入,停顿 4s 后副标题淡出

scene-2 judgment · 三个判断点

  • 时长:8s
  • 屏幕文字:卡片一「污染 · benchmark 头号病」/ 卡片二「反向工程 · 拒 web 搜」/ 卡片三「开放全量 · 可审计」
  • 画面元素:三张判断卡横向并列,边框依次高亮
  • 运动方式:三卡顺序淡入 + 当前卡边框脉冲放大

scene-3 evidence · 证据卡(arXiv 主源 + 关键术语)

  • 时长:8s
  • 屏幕文字:arXiv 2607.20911 v1 + cs.CL + cs.SE 双标签 + Tencent WorkBuddy Bench Team + 污染抵抗 + dataset versioning + CodeBuddy Code + Claude Code 双 harness
  • 画面元素:arXiv 官方卡片 + 关键术语 verbatim 词云 + GitHub 49★ 占位仓标识
  • 运动方式:卡片自上而下分层滑入,词云逐词点亮

scene-4 mechanism · 任务反向工程路径流程卡

  • 时长:8s
  • 屏幕文字:commit/PR/业务场景 → 口语化角色扮演请求 → dataset versioning → 双 harness 评测 → cross-model leaderboard
  • 画面元素:五节点横向流程图,节点间箭头连接
  • 运动方式:从左到右依次绘制,箭头依次点亮

scene-5 risk · 风险卡三件套(W7 + W22 + W11 + W4)

  • 时长:8s
  • 屏幕文字:
  • 主行 命中官方仓 placeholder + 副行 4 关键词检 49★ 空描述(W7)
  • 主行 双向闭环 待实测 + 副行 README 无 arXiv 反链(W22)
  • 主行 主分类 cs.CL+cs.SE + 副行 arXiv abs 双标签(W11)
  • 主行 数字层 0 兜底 + 副行 方法论论文路径(W4)
  • 画面元素:四张风险卡纵向排列,主行加粗白字 + 副行灰色小字
  • 运动方式:四卡顺序滑入,边框红/黄/蓝/灰区分

scene-6 action · 行动卡(F2 cron + 接入路径)

  • 时长:8s
  • 屏幕文字:把 WorkBuddy 接入 coding agent 评测 pipeline + 审计任务反向工程成本 + 跨子集分数不可比 · 复现细节待社区验证 + cron 2026-07-26 10:20 UTC
  • 画面元素:行动清单 + 时间戳 + 限定语红色小字
  • 运动方式:清单逐条淡入,时间戳右下角常驻

scene-7 outro · 落版卡(跨议题类比限定语)

  • 时长:8s
  • 屏幕文字:评测套件自身可信度审计 + 与 R1 07-26 评测范式 / R2 07-26 频谱富化方法论 / R3 07-25 harness-native / R1 07-24 外部行为评估 / R2 07-24 内部表征评估 完全不同视角 + 跨议题类比限定语 · 非论文结论
  • 画面元素:落版徽章 + 跨议题对照表 + 限定语小字
  • 运动方式:徽章缩放入场,对照表从右滑入,限定语底部淡入