DocOps · 把 Agent 文档操作拉上评测台

日期与轮次:2026-07-24 R1 arXiv 链接:https://arxiv.org/abs/2607.19865 video-kb 脚本原路径:/shared/video-kb/scripts/tom/2026-07-24_R1_docops-agent-document-operations-verifiable_short-video-script.md

1. 标题与观众

标题: DocOps · 把 Agent 文档操作拉上评测台 目标观众: Agent 平台架构师 / 文档自动化工程师 / 评估方法学工程师 / AI 助手产品技术负责人 一句话核心观点: DocOps 用 4 原子维度 × 4 级复杂度做确定性可验证基准,暴露 frontier 模型在 Level 3-4 文档耦合任务上「长程状态追踪崩溃、浅表语义验证、结构元数据破坏性编辑」三类系统失败。

3. 45-90 秒口播稿

AI 助手帮你改 Excel、整 PDF、改 Word — 单步看着都对,改完打开一看,公式丢了、列名跑了、目录乱套。为什么?因为真实文档从来不是「一步搞定」,而是一连串跨文档、跨步骤的长链路。

DocOps 把这件事拉上评测台:4 个原子维度 — 数据 / 文本 / 结构 / 元数据,搭 4 级工作流复杂度 L1-L4。L1 是单步,L2 同文档多步,L3 跨文档耦合,L4 长范围状态追踪。210 个任务、4 种文档格式、4 套执行框架,每条都有确定正确答案,程序自动判结果。

跑出来 frontier 模型在 L3-L4 仍出现三类系统性失败:跨多步后丢失前序状态、只做表面语义校验、动结构元数据时直接覆盖或删掉。论文用「profound limitations」形容 — 这不是单步语法错,是文档生态系统全局一致性的崩塌。

跟 GAIA、WebArena、ToolBench 比,DocOps 补的不是单步操作正确性,补的是「工具调用后全局状态是否还一致」。评估驱动开发路径:任何面向办公自动化的 AI 助手,部署前都应该过一遍 Level 3-4。

4. 镜头分镜

scene-1 · hero(8s · 标题卡)

  • 时长: 8s
  • 屏幕文字: DocOps · 把 Agent 文档操作拉上评测台
  • 画面元素: 主标题单色高对比 · 副标 arXiv 2607.19865 · 确定性可验证基准 · 左侧一个小图标(文档+对勾)
  • 运动方式: 标题从中心 fade-in,副标 0.4s 后 slide-up

scene-2 · judgment(8s · 三个判断点)

  • 时长: 8s
  • 屏幕文字: 单步对 ≠ 全局一致 · L3-L4 仍崩 · 元数据被覆盖
  • 画面元素: 三卡片横向布局 · 顶部各一红点
  • 运动方式: 三卡 stagger 进入(left→center→right,各 0.2s)

scene-3 · evidence(8s · 4×4 矩阵)

  • 时长: 8s
  • 屏幕文字: 4 原子 × 4 复杂度 = 210 tasks
  • 画面元素: 4×4 矩阵图(行:数据/文本/结构/元数据 · 列:L1/L2/L3/L4),L3-L4 单元格红色高亮
  • 运动方式: 矩阵行/列依次亮起,L3-L4 区域 0.5s 后高亮

scene-4 · failure-modes(8s · 三类失败)

  • 时长: 8s
  • 屏幕文字: 状态追踪崩 · 浅表校验 · 元数据破坏
  • 画面元素: 三栏并列 · 每栏一个失败模式图示 + verbatim 关键词
  • 运动方式: 三栏 stagger 滑入,关键词 0.4s 后逐字浮现

scene-5 · comparison(8s · 四方互补)

  • 时长: 8s
  • 屏幕文字: DocOps ≠ GAIA / WebArena / ToolBench
  • 画面元素: 四方对照表(GAIA 通用助手 · WebArena 网页操作 · ToolBench 工具调用 · DocOps 文档生态一致性)
  • 运动方式: 左起依次入场,DocOps 列 0.3s 后高亮

scene-6 · risk(8s · 风险卡三件套双行)

  • 时长: 8s
  • 屏幕文字:
  • 主行 H4+ GitHub 命中 副行 README 反向 link
  • 主行 主分类 cs.AI 副行 三标签边界
  • 主行 abstract 数字 0 副行 方法论论文路径
  • 画面元素: 三张风险卡垂直堆叠 · 每张双行排版(主行 18-22px,副行 12-14px 浅灰)
  • 运动方式: 三卡 stagger 滑入(自上而下各 0.15s)

scene-7 · closing(8s · 行动清单)

  • 时长: 8s
  • 屏幕文字: 部署前过 L3-4 · 维护全局不变式 · 评估驱动开发
  • 画面元素: 行动清单卡 · 底部小字 EDD · Evaluation-Driven Development
  • 运动方式: 主文 fade-in,底部 EDD 旋钮建议 0.6s 后滑入