bytedance/UI-TARS-desktop · 上手攻略

  • 仓库：bytedance/UI-TARS-desktop
  • 链接：https://github.com/bytedance/UI-TARS-desktop
  • 分类：skill
  • 作者：Jay
  • 更新：2026-07-10

这是什么

UI-TARS-desktop 是字节跳动开源的多模态 GUI Agent 桌面应用，基于 UI-TARS 模型。它能像人一样操控电脑（点击、输入、浏览网页），通过视觉理解界面并执行操作。目前支持： - Computer Operator：操控本机桌面应用 - Browser Operator：操控浏览器（Chrome/Edge/Firefox）

同属 TARS 项目家族的还有 Agent TARS（终端 CLI + Web UI 版本）。

Stars 37k+，最新版本 0.3.0（CLI），桌面应用持续迭代中。

官方文档：https://github.com/bytedance/UI-TARS-desktop | TARS 官网：https://agent-tars.com

解决什么问题

  1. 自动化 GUI 操作：过去需要写 Selenium/Playwright 脚本的操作，现在可以用自然语言描述给 Agent，自动完成点击、填表、导航等
  2. 浏览器自动化：无需写代码，说"帮我搜索 XXX 并点击第一个结果"即可
  3. 多模态理解界面：不只是 DOM 元素，而是真正"看到"界面布局，理解按钮、图片、文字的关系
  4. 本地模型支持：支持 Hugging Face 部署的 UI-TARS-1.5-7B，或火山引擎 Doubao-1.5-UI-TARS API，不用强制绑云服务

快速安装

方式一：Homebrew（macOS 最简）

brew install --cask ui-tars

方式二：手动下载

  1. 前往 Releases 页面 下载最新版
  2. 拖入 macOS Applications 文件夹，或 Windows 上直接运行

前置要求

  • Browser Operator：需安装 Chrome / Edge（stable/beta/dev/canary）或 Firefox
  • macOS 还需在系统设置中开启 Accessibility 和 Screen Recording 权限
  • ⚠️ 目前仅支持单显示器配置，多显示器可能任务失败

获取模型（二选一）

选项 A：Hugging Face（本地推荐）

  1. 在 Hugging Face Endpoints 部署 UI-TARS-1.5-7B
  2. 获取 Base URL（注意以 /v1/ 结尾）、API Key 和 Model Name
  3. 参考 UI-TARS 部署文档

选项 B：火山引擎 Doubao API（国内推荐）

  1. 访问火山引擎控制台，点击「立即体验」
  2. 获取 API Key、Base URL 和 Model Name（按 OpenAI SDK 格式获取）

配置与启动

  1. 打开 UI TARS 应用，进入 Settings
  2. 配置语言和 VLM Provider（选 Hugging Face for UI-TARS-1.5 或 VolcEngine Ark for Doubao-1）
  3. 填入 Base URL、API Key、Model Name
  4. 点击开始按钮，输入任务描述即可

核心用法

桌面计算机操控（Computer Operator）

# 示例任务（自然语言）
"打开 Chrome，搜索 AI 新闻，点击第一条结果"
"帮我把这个 PDF 文件拖到桌面"
"关闭这个弹窗"

浏览器操控（Browser Operator）

# 示例任务
"打开 github.com，用自然语言搜索 rasbt/LLMs-from-scratch"
"登录我的邮箱，找到最新一封来自老板的邮件"

Claude Code MCP 接入

如果想用 Agent TARS CLI 版本，可以通过 MCP 接入 Claude Code：

# 安装 Agent TARS CLI
npm install -g @agent-tars/cli

# 配置 Claude Code MCP settings.json
# 参考：https://agent-tars.com/guide/basic/mcp.html

Agent TARS CLI（终端版）

# 终端交互模式
agent-tars chat

# 单次任务执行
agent-tars run "帮我写一个 hello world python 脚本并运行"

注意：Remote Operator 服务已于 2025 年 8 月 20 日停用。如需远程操控能力，可使用火山引擎的 OS Agent 服务：Computer Use Agent | Browser Use Agent

典型适用场景

  1. 日常办公自动化：重复性的网页操作、表单填写、数据查询
  2. 测试自动化：UI 自动化测试，无需写 Selenium 脚本
  3. 浏览器数据采集：用自然语言描述抓取规则，Agent 自动执行
  4. 无障碍辅助：用语音控制电脑，适合手部障碍用户
  5. 跨平台操控研究：开发者研究 GUI Agent 能力边界

坑与注意

  1. 单显示器限制：多显示器用户可能遇到任务执行失败，暂无多屏方案
  2. 权限配置必须完成：macOS 不开 Accessibility 和 Screen Recording 权限，Agent 无法操控界面
  3. Remote Operator 已停用：2025 年 8 月后免费远程操控服务不可用，需自部署火山引擎 OS Agent
  4. Hugging Face 部署需 GPU：本地跑 UI-TARS-7B 需要至少 16GB 显存（或用量化版本），Hugging Face Endpoint 按量计费
  5. Windows 版本仍在完善中：README 显示 Windows 端"Still to run"，功能完整性可能不及 macOS
  6. 网络要求：火山引擎 API 在国内访问稳定，Hugging Face 端点需注意网络跨境延迟
  7. Browser Operator 兼容性：Firefox 支持可能不如 Chrome/Edge 完善，推荐使用后者

与同类对比

仓库 定位 优势 不足
UI-TARS-desktop 多模态 GUI Agent 桌面 视觉理解强、支持本地模型、免费桌面端 单屏限制、Windows 不完善
anthropics/Claude-Computer-Use Claude 桌面操控 Claude 模型能力、工具生态完善 依赖 Claude API 付费
Open Interpreter 代码解释器+系统操控 更通用、不限 GUI 不是专用 GUI Agent
microsoft/Playwright 浏览器自动化 工业级稳定 需写代码，非自然语言
AppAgent/Openisser 移动端 GUI Agent 专注移动端 桌面端能力弱

如果你想免费、本地、多模态地操控电脑和浏览器，UI-TARS-desktop 是目前开源桌面端最完整的选项之一；如果你需要更通用的 Agent 能力，Agent TARS CLI 配合 MCP 生态更灵活。

一句话推荐

字节跳动开源的多模态 GUI Agent，用视觉理解代替 DOM 定位，支持本地模型——免费、透明、不依赖云 API，适合想真正掌控浏览器和桌面自动化的人。