iFurySt/open-codex-computer-use · 上手攻略

• 仓库：iFurySt/open-codex-computer-use
• 链接：https://github.com/iFurySt/open-codex-computer-use
• 分类：skill（agent / computer use）
• 作者：Tom
• 更新：2026-07-08

一、是什么

open-codex-computer-use（项目名 open-computer-use）是一个开源的 Computer Use 服务，以 MCP（Model Context Protocol）协议包装，让任何 AI Agent 或 MCP Client 都能在 macOS、Linux、Windows 上获得"操作电脑"的能力。

它的灵感来自 OpenAI 发布的 Codex Computer Use，后者展示了基于操作系统 Accessibility API 可以实现非抢占式的 CUA（Computer Use Agent）能力。open-computer-use 做了完整复刻，并作为 MCP Server 对外提供服务。

简单说：装上它，你的 Codex / Claude Code / Gemini CLI / opencode 等 Agent 就能像人一样操作 GUI 应用——点击按钮、填写表单、读取应用状态、截屏理解界面。

项目作者还提到他们用这套方法论做到"近乎 100% AI-Generated"的项目开发效率，并写了一篇方法论博客。

二、解决什么问题

在没有 Computer Use 工具时，AI Agent 只能处理文本（读文件、写代码、调用 API），无法操作需要 GUI 交互的系统：

• 无法点击网页按钮、填写表单
• 无法操作桌面应用（邮件客户端、Excel、Word、定制软件）
• 无法处理需要验证码、滑动验证、人机验证的流程
• 无法跨应用协作（如"打开邮箱，找最新订单确认邮件，把附件保存到桌面"）

open-computer-use 通过 MCP 协议把这些 GUI 操作能力暴露给 Agent，Agent 即可调用 list_apps（列出应用）、get_app_state（读取应用界面状态）、click/type/press_key（交互）等工具，在不需要 API 的场景下完成自动化任务。

三、快速安装

环境要求

• Node.js ≥ 18（npm 全局安装方式）
• macOS：需要授权 Accessibility 和 Screen Recording 权限
• Linux / Windows：无特殊权限要求

npm 一键安装

npm i -g open-computer-use
# 安装后同时提供短命令 `ocu`

macOS 权限授权（仅 macOS）

首次运行会提示授权，按系统指引在 系统设置 → 隐私与安全 → Accessibility / Screen Recording 中添加对应终端/应用权限。或者手动检查：

open-computer-use doctor
# 只有缺失权限时才拉起引导，全部授权则直接打印状态退出

四、核心用法

4.1 一键安装到各 Agent 宿主

安装到 Codex（写入 ~/.codex/config.toml）：

open-computer-use install-codex-mcp
# 或短命令
ocu install-codex-mcp

安装到 Claude Code（写入 ~/.claude.json）：

open-computer-use install-claude-mcp

安装到 Gemini CLI：

# 当前项目级别（写入 ./.gemini/settings.json）
open-computer-use install-gemini-mcp

# 用户级别
open-computer-use install-gemini-mcp --scope user

安装到 opencode（写入 ~/.config/opencode/opencode.json）：

open-computer-use install-opencode-mcp

4.2 手动 MCP JSON 配置

{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}

4.3 安装为 Codex Plugin（用于 Codex App）

open-computer-use install-codex-plugin

4.4 通过 npx 安装 Skill

# 安装到 Codex
npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y
npx skills ls -g -a codex | rg 'open-computer-use'

# 安装到 Claude Code
npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y

# 更新已有全局安装
npx skills update open-computer-use -g -y

4.5 核心工具调用（CLI 模式）

列出当前打开的应用：

open-computer-use call list_apps
# 或短命令
ocu call list_apps

读取指定应用的状态：

open-computer-use call get_app_state --args '{"app":"TextEdit"}'

单次操作调用：

open-computer-use call press_key --args '{"app":"TextEdit","key":"Return"}'

连续动作序列（可复用 element_index 状态）：

# 直接传 JSON
open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'

# 或从文件读取（见 examples/textedit-overlay-seq.json）
open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5

--sleep N：相邻成功操作之间等待 N 秒（默认 1 秒），避免操作过快导致界面来不及刷新。

4.6 查看帮助

open-computer-use -h
ocu -h

4.7 Cursor Motion（macOS 专用）

项目还包含了 Cursor Motion——一个 macOS 上的开源光标运动系统，基于公开信息实现。可以到 Releases 页面 下载 app 单独使用。

五、典型适用场景

1. 跨应用自动化 — Agent 需要操作没有 API 的桌面应用（老系统、内部工具）
2. GUI 测试自动化 — 代替 Selenium/Playwright，让 LLM Agent 做 UI 测试
3. 表单自动填写 — 读取邮件/文档内容，自动填入业务系统
4. 文档处理流程 — "打开 PDF → 截图 → 理解内容 → 填入 Excel"
5. 教育/演示 — 展示 AI Agent 如何像人一样操作电脑

⚠️ 注意：项目 README 明确说明 Cursor Motion 仅供学习使用（Educational use only），完整使用需遵守相关法律法规。

六、坑与注意

七、与同类对比

open-computer-use 的核心差异：作为 MCP Server 的开源实现，让任何 MCP Client 都能获得 Computer Use 能力，不绑定特定云服务商；但相比官方实现，成熟度和稳定性还有差距。

八、一句话推荐结论

如果你想在本地跑一个不依赖 OpenAI/Anthropic 官方服务的 Computer Use 能力，让 Claude Code、Codex 或 Gemini CLI 这些已有 Agent 直接操控你的 macOS/Linux 桌面应用，open-computer-use 是目前最直接的开源方案；但它仍偏研究向（Stars 1,309，周增 189），生产环境使用建议先在虚拟机或隔离环境中充分测试。

来源：GitHub README（中文版）、repo_cards 卡片（Stars 1,309 / 周增 +189 / 分类 skill / MIT 协议 / Swift + Node.js）