Work2Skill: 捕捉人类 GUI 经验用于可复用 Agent 技能归纳

  • 关联论文：2610.12984
  • 作者：Tom
  • 更新：2026-10-12

一句话结论

Work2Skill 通过 WorkRecorder 工具采集人类 GUI 操作演示（含屏幕录像、鼠标键盘事件、Accessibility Tree 对齐），构建 WorkDemo-350 多模态数据集，再由 Agentic Skill Induction 模块将演示归纳为可复用的工作流规则，使 Agent 在 MyPCBench 和 OSWorld-Verified 上的任务得分提升 4.67–10.54 分。

解决什么真问题

CUA（Computer-Use Agent）在陌生软件和需要领域知识的工作流上仍然薄弱。问题根源在于：用户请求（如"提交我的报销单"）不包含操作步骤细节（用哪个门户、附什么收据、提交前检查什么），这些隐含的程序性知识无法从 API 文档或界面截图中学到。

现有解决思路各有缺陷： - 纯视觉 grounding（ShowUI-AloHa 等）：依赖截图推断操作目标，无法获取控件语义（name/role），且帧级采样易漏中间状态 - Tutorial 转换（Demo2Tutorial 等）：仅用前后截图，缺少完整状态链 - 通用 Record & Replay（OpenAI/Claude）：产生的是录制轨迹而非可泛化技能，复用时仍需解释上下文

Work2Skill 认为关键在于Accessibility Tree（AX Tree）的结构化语义与视频帧的对齐——AX 信息显式编码了控件语义，人类演示通过同一 GUI 空间传导知识，因此可以从演示中抽取出 workflow rules、step dependencies 和 completion checks。

核心方法

组件一：WorkRecorder（采集基础设施）

WorkRecorder 同步记录三路信息： 1. 屏幕录像：完整视觉上下文 2. 鼠标+键盘事件：精确操作时序 3. Accessibility Tree 信息：每个操作的控件语义（element name, role）

三路信息按时间轴对齐，使得 Induction Agent 可以： - 知道某个操作在视觉上发生在哪里（视频帧） - 知道操作了什么控件、控件的名称和角色是什么（AX Tree） - 知道操作的精确时序和输入值（鼠标/键盘事件）

这种对齐解决了"action coordinates reveal where but not what"的问题——光知道坐标不够，必须知道目标控件的语义。

组件二：WorkDemo-350 数据集

  • 350 个人类 GUI 演示，覆盖 64 个 MyPCBench Bounded Action 任务和 286 个 OSWorld-Verified 任务子集
  • 每个演示经过完整性 + 任务成功双重筛选
  • 首个同步多模态人类桌面 GUI 演示数据集（屏幕录像 + AX tree + 键盘鼠标事件三者对齐）

组件三：Agentic Skill Induction

核心创新在于"inspect evidence on demand"——诱导 agent 按需查阅证据，产生可复用技能：

输入：人类演示（录像+事件+AX）
↓ Agentic Skill Induction
输出：Reusable Skill
  ├── Workflow Rules（工作流规则）
  ├── Step Dependencies（步骤依赖）
  └── Completion Checks（完成检查）

Skill 诱导出来后，可以在同一类任务的不同实例上复用，而不是每次都重新规划。

四个执行模型在共享执行设置下测试（No Skill 基线 vs 各类 Skill Induction 方法），Work2Skill 始终达到最高分和最高成功率。

关键实验与数据

⚠️ 以下数字直接引自原文 abstract：

指标 数值
数据集规模 WorkDemo-350（350 个演示）
覆盖任务 64 MyPCBench Bounded Action + 286 OSWorld-Verified
MyPCBench Bounded Action 得分提升（vs No Skill） "4.67–10.54 points"
OSWorld-Verified 286-task 子集得分提升（vs No Skill） "3.11–7.50 points"

⚠️ 原文未明确：基线绝对分数、使用的具体基础模型、Induction 方法的消融实验、WorkRecorder 采集一次演示的平均时间成本。

亮点与局限

亮点： - AX Tree 对齐是关键创新——把 UI 的结构化语义（而非纯坐标）引入 skill induction，解决了视觉 grounding 方法的核心缺陷 - WorkDemo-350 是首个此类多模态数据集，数据集本身有独立引用价值 - 得分提升幅度稳健（4.67–10.54 分），且在两个 benchmark（MyPCBench + OSWorld）上同时有效

局限： - ⚠️ 原文未明确 AX Tree 的可用性依赖——Accessibility API 在不同 OS/应用上的覆盖率，Windows/macOS/Linux 是否都能稳定获取 AX 信息？ - WorkRecorder 采集需要人工演示，350 个演示的采集成本在正文中未披露（这影响 scalability 评估） - Skill Induction 方法的具体架构（LLM-based？还是规则？）在 abstract 中没有展开 - 在陌生软件上的泛化能力——即 skill 能否跨应用迁移——在当前数据上未充分验证

对工程落地的启发

  1. Accessibility Tree 是 GUI Agent 的数据富矿：Work2Skill 证明 AX 信息（name/role）比纯像素帧更能捕捉操作语义。任何做 GUI Agent 的团队应优先调研目标平台的 AX API 可用性。
  2. 多模态对齐数据是 skill 归纳的基础：WorkRecorder 的三路对齐设计值得借鉴——录像+事件+结构化信息的组合比单一模态更能支撑 skill 抽取。
  3. Reusable skill 比 Rerun 轨迹更有价值：直接复用轨迹会遇到"上下文依赖"问题；Work2Skill 的思路是把演示归纳为规则而非回放，这对开放世界场景更鲁棒。
  4. ⚠️ 若要构建类似系统：采集成本是关键瓶颈（350 个演示的人力成本）；需要设计自动化的质量筛选机制，而非纯人工筛选。

与同方向工作的关系

工作 定位 与 Work2Skill 关系
ShowUI / ShowUI-AloHa 视觉 grounding 纯视觉方案；Work2Skill 引入 AX 语义作为补充
Demo2Tutorial 演示→教程转换 仅截图；Work2Skill 用 AX+视频，信息更丰富
OpenAI Record & Replay / Claude Record a skill 录制回放工具 产轨迹；Work2Skill 归纳技能
AgentTune（2610.13335） Agent 训练框架 互补；Work2Skill 产生的数据可作为 AgentTune 的训练输入
OSWorld / MyPCBench GUI Agent benchmark Work2Skill 在其上验证，贡献的是训练数据和方法

核心差异：Work2Skill 是数据+方法的组合贡献，聚焦在"如何把人类演示变成可泛化的 Agent skill"这个问题上，属于 GUI Agent 的 training data 层面创新。

适合谁读

  • GUI Agent 研究者：想了解 AX Tree 如何辅助 skill induction，WorkDemo-350 数据集设计值得参考
  • CUA 训练数据工程师：正在收集人类演示数据的团队，WorkRecorder 的三路对齐方案可以直接借鉴
  • Skill Management 系统开发者：想了解如何从演示中抽取 reusable workflow rules，而不只是轨迹回放
  • HCI + AI 交叉方向：Work2Skill 代表了"人类如何向 Agent 传递程序性知识"的新范式，值得关注
  • ⚠️ 不适合：需要完整方法细节的人（abstract 信息有限）、关注商业许可的人（GitHub 仓库许可证待查）

工程落地与核查（Jay）

事实核查

  • 数字归因：4.67–10.54 和 3.11–7.50 均标注 ⚠️ 并注明来自 abstract，表述合规。⚠️ 但范围上下限对应哪 4 个执行模型、具体基线绝对值未披露，"始终达到最高分"属于定性描述，无数字支撑。
  • "首个"声明："首个同步多模态人类桌面 GUI 演示数据集"——⚠️ 未经独立核实；需对照 OSWorld、Mind2Web 等现有数据集描述逐一去重，建议引用前查证。
  • GitHub：全文无 GitHub URL，⚠️ 无法 fetch 验证 WorkRecorder 源码或 WorkDemo-350 数据集下载地址，限制了独立复现。
  • AX Tree 覆盖声明：原文未明确 OS/macOS/Linux 各平台 AX API 实际覆盖率——Windows UI Automation、macOS NSAccessibility、Linux AT-SPI 在各版本稳定性差异显著，此为工程落地最关键堵点，解读对此有清醒认知（列为局限），值得肯定。

可读性精修

  • 术语统一：AX Tree / Accessibility Tree 混用，建议全文统一为 Accessibility Tree（AX Tree） 后固定使用后者。
  • 组件命名：Agentic Skill Induction 中 "Agentic" 首字母大写，其余 "agentic spine"（AgentTune）小写，风格不一致；建议本文件统一小写 agentic。
  • 表格数字："4.67–10.54 points" 和 "3.11–7.50 points" 用引号括起是好的 verbatim 标注，但正文中 4.67–10.54 分 不带引号，两处数字格式不统一。

工程落地五坑

  1. AX API 可用性堵点：生产环境中 AX Tree 并非在各平台各应用均有稳定支持——Web 应用（Chromium 系）无原生 AX API，需依赖 UIAutomation 或 Accessibility Insights 方案；移动端（Android/iOS）无标准 AX 等价物。Work2Skill 若面向跨平台 GUI Agent，需预先做平台能力矩阵，盲用 AX 会导致大量任务在采集阶段就失败。

  2. 人类演示采集成本瓶颈：350 个演示全部依赖人工录制，单个演示的平均时长、所需专家水平（是否需要熟悉目标软件）、质量校验人力均未披露。按工程经验估算，若每演示平均 30 分钟 + 质量审核 15 分钟，则 350 演示 ≈ 262.5 人时，人力成本不可忽视。规模化前需设计半自动采集管道（如 LLM 生成初稿 + 人类校正）。

  3. 诱导质量与演示者偏差：350 个演示的标注一致性完全依赖人类演示者的任务理解水平；同一任务不同演示者可能产生矛盾的工作流规则，诱导出的 Skill 存在噪声。生产环境需对诱导结果做多演示者一致性校验，而非单轨迹归纳。

  4. Benchmark 覆盖范围存疑：MyPCBench Bounded Action（64 任务）和 OSWorld-Verified 286-task 子集均为特定任务集，⚠️ 64+286=350 恰好等于演示总数——这可能意味着演示数与任务数一一对应，而非多演示覆盖同一任务。无法从数字判断是否有任务获得了多个不同演示者的数据，这对 skill 泛化能力评估至关重要。

  5. Skill 跨应用迁移未验证：解读指出"陌生软件泛化能力未充分验证"——这是最影响工程价值的一点。若 Skill 只能在同类软件内迁移，则 Work2Skill 的工程价值局限于垂直领域（财务/HR/客服各有固定软件集）；跨应用泛化才是 CUA 的终局目标，当前数据无法支持这一结论。