YOHO AI

标签： UI-TARS

  • UI-TARS-desktop：字节跳动开源多模态GUI Agent，纯视觉理解让AI像人一样操作电脑，37.4K Stars让RPA自动化进入新时代

    UI-TARS-desktop：字节跳动开源多模态GUI Agent，纯视觉理解让AI像人一样操作电脑，37.4K Stars让RPA自动化进入新时代

    🤖

    UI-TARS-desktop

    ByteDance · Apache-2.0 · 37.4K ⭐

    字节跳动开源的多模态 AI Agent 技术栈，通过纯视觉理解实现 GUI 自动化操控，让 AI 像人一样操作电脑、浏览器和桌面应用。

    📌 项目简介

    UI-TARS-desktop 是字节跳动开源的端到端多模态 AI Agent 框架，包含两大核心组件：Agent TARS（通用多模态 AI Agent 技术栈）和 UI-TARS Desktop（基于 UI-TARS 系列模型的桌面原生 GUI Agent 应用）。项目基于纯视觉理解，无需依赖应用 API，通过多模态大模型直接识别 GUI 元素，真正实现”像人一样操作电脑”。

    37.4K
    GitHub Stars

    3.7K
    Forks

    Apache
    开源许可

    TypeScript
    主要语言

    ⚙️ 安装要求和过程

    环境要求

    • Node.js ≥ 22（必需，项目使用 .node-version 指定 22+）
    • pnpm（推荐包管理器）
    • 支持 Windows / macOS / Linux 三平台
    • AI 模型 API Key（火山引擎/Anthropic/OpenAI 等，或本地部署 UI-TARS 模型）

    快速安装（Agent TARS CLI）

    # 方式1: npx 直接启动（无需安装）
npx @agent-tars/cli@latest

# 方式2: 全局安装
npm install @agent-tars/cli@latest -g
agent-tars --provider volcengine   --model doubao-1-5-thinking-vision-pro-250428   --apiKey <你的API密钥>

# 方式3: 使用 Anthropic Claude
agent-tars --provider anthropic   --model claude-3-7-sonnet-latest   --apiKey <你的API密钥>

    💡 UI-TARS Desktop 桌面版可从 agent-tars.com 下载安装，支持本地算子和远程算子两种模式。

    🚀 核心功能

    1

    🖱️ 纯视觉 GUI 操控

    基于 UI-TARS 系列多模态大模型，通过截图视觉识别直接定位 GUI 元素，实现精准的鼠标点击、键盘输入和拖拽操作，无需应用 API 接入。支持 Windows、macOS、浏览器多平台。

    2

    🌐 混合浏览器 Agent

    支持 GUI Agent 视觉定位、DOM 操作或两者混合的浏览器控制策略。既可以像人一样”看”网页并点击，也可以直接操作 DOM，灵活应对各类网页自动化场景。

    3

    🔄 事件流协议（Event Stream Protocol）

    协议驱动的事件流支持上下文工程和 Agent UI 构建，让开发者可以实时监控 Agent 执行过程、干预决策流程，并基于事件流构建自定义 Agent 交互界面。

    4

    🧰 MCP 原生集成

    内核基于 MCP（Model Context Protocol）构建，同时支持挂载 MCP 服务器对接各类真实世界工具。可无缝接入 Claude Code、Cursor 等 AI 编程助手，扩展 Agent 工具调用能力。

    5

    🤖 双形态：CLI + 桌面应用

    同时提供 Agent TARS CLI（支持无头服务器模式）和 UI-TARS Desktop 原生桌面应用。CLI 适合开发者和服务端部署，桌面应用提供图形化界面，降低非技术用户使用门槛。

    💡 典型使用场景

    🏨

    自动化订票/预订

    通过自然语言指令”帮我在北京找一家500元以内的酒店，距离故宫近”，Agent 自动打开浏览器、搜索、筛选并下单，全程无需人工干预。

    💻

    跨应用工作流自动化

    自动操作 Excel + 浏览器 + 邮件客户端，完成数据抓取、处理、发送的完整工作流。例如：每日自动从网站抓取数据、更新表格、发送报告邮件。

    🧪

    GUI 自动化测试

    替代传统 Selenium/Playwright，通过视觉理解自动测试桌面应用和 Web 界面。无需维护选择器，界面对齐方式变化也不会影响测试稳定性。

    🤝

    AI 编程助手扩展

    接入 Claude Code / Cursor，让 AI 编程助手不仅能写代码，还能自动操作浏览器验证功能、运行桌面应用测试，实现真正的端到端开发自动化。

    ✨ 推荐理由

    纯视觉理解是 GUI 自动化的未来。传统 RPA 工具依赖应用 API 或 DOM 选择器，界面稍有变化就会失效。UI-TARS 通过多模态大模型”看”屏幕，真正模拟人的操作方式，从根本上解决了 GUI 自动化的脆弱性问题。

    字节跳动技术实力保障。作为豆包手机的核心技术支撑，UI-TARS 已在生产环境中验证，不是实验室项目。37K+ Stars 和 3.7K+ Forks 也证明了社区的认可。

    生态完善，开箱即用。MCP 原生集成让它可以无缝接入现有 AI 工具链；CLI + 桌面应用双形态覆盖开发者和普通用户；支持本地模型和云端 API 双模式部署，兼顾隐私和性能。

    📊 项目动态

    • 2026-02：UI-TARS-desktop 开源，登顶 GitHub 热榜，Star 数突破 26K
    • 2026-06：Star 数突破 37K，社区持续活跃，Discord 成员快速增长
    • 作为豆包手机核心技术支撑，生产环境验证可靠性
    • 支持 UI-TARS/Seed-1.5-VL/1.6 系列最新模型

    📅 数据更新至 2026年6月28日 | 信息来源：GitHub

  • UI-TARS Desktop：35.3k Stars！字节跳动开源多模态AI代理桌面端，让AI直接操作你的电脑

    UI-TARS Desktop：35.3k Stars！字节跳动开源多模态AI代理桌面端，让AI直接操作你的电脑

    📦 项目简介

    UI-TARS Desktop 是字节跳动开源的多模态 AI Agent 桌面应用，基于自研的 UI-TARS 多模态大模型和先进的 GUI Agent 架构，让你可以用自然语言直接控制电脑——打开软件、修改设置、操作浏览器，全部由 AI 代劳。

    项目已获得 35.3k+ Stars，Apache 2.0 开源协议，支持 Windows / macOS / Linux 三平台，是 2026 年最值得关注的多模态 AI Agent 项目之一。

    UI-TARS Desktop 演示

    UI-TARS Desktop 实际操作演示

    ⚙️ 安装要求和过程

    环境要求：

    • Windows 10+ / macOS 12+ / Linux（Ubuntu 20.04+）
    • 8GB+ RAM（推荐 16GB）
    • 支持 CPU 推理，推荐 NVIDIA GPU（4GB+ 显存）以获得最佳体验
    • Node.js 22+（如使用 Agent TARS CLI）

    方式一：下载桌面端（推荐）

    1. 访问 GitHub Releases 页面，下载对应系统的安装包
    2. Windows 用户：下载 .exe 安装包，双击安装
    3. macOS 用户：下载 .dmg 文件，拖入 Applications 文件夹
    4. 首次启动需下载 UI-TARS 模型（约 4GB），请保持网络畅通

    方式二：使用 Agent TARS CLI

    # 快速启动（无需全局安装）
npx @agent-tars/cli@latest

# 全局安装
npm install @agent-tars/cli@latest -g

# 使用火山引擎方舟模型启动
agent-tars --provider volcengine --model doubao-1.5-thinking-vision-pro-250428 --apiKey YOUR_KEY

# 使用 Anthropic Claude 模型启动
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey YOUR_KEY

    🚀 核心功能

    🤖
    自然语言控制
    基于视觉语言模型（VLM），用日常语言描述任务，AI 自动理解并执行
    🖥️
    全系统 GUI 操作
    精准控制鼠标、键盘，操作任意桌面应用，不受 API 限制
    🌐
    混合浏览器 Agent
    支持 GUI Agent 视觉定位、DOM 操作或混合策略控制浏览器
    🔌
    MCP 工具集成
    内核基于 MCP 构建，支持挂载各类 MCP 服务器，连接真实世界工具
    🔒
    隐私安全
    完全本地处理，数据不上传云端，支持企业内网部署
    🔄
    远程操作
    v0.2.0 起免费提供远程电脑操作和远程浏览器操作，无需额外配置

    🎯 典型使用场景

    场景一：让 AI 帮你配置开发环境

    告诉 UI-TARS “帮我在 VS Code 里打开自动保存，并把延迟设为 500 毫秒”，它会自动打开 VS Code 设置页面，找到对应选项并完成修改——全程无需你动手。

    场景二：自动完成网页预订任务

    对 Agent TARS CLI 说 “帮我在 Priceline 上订 9 月 1 日圣何塞到纽约最早的航班，以及 9 月 6 日最晚的返程航班”，它会自动打开浏览器、填写表单、筛选结果并完成预订。

    场景三：查询并分析 GitHub 项目

    直接问 “你能帮我查看 GitHub 上 UI-TARS-Desktop 项目最新的开放 issue 吗？”，AI 会自动访问项目页面、抓取 issue 列表并整理成可读的格式反馈给你。

    💡 推荐理由

    UI-TARS Desktop 最打动我的是它的「真正理解界面」的能力。不同于传统 RPA 工具依赖元素定位，UI-TARS 通过视觉语言模型直接”看”屏幕，就像人一样理解界面布局和元素含义。

    作为字节跳动出品的开源项目，它的技术栈相当扎实：基于自研的 UI-TARS-1.5-7B 多模态模型，支持 Docker 沙箱隔离执行，MCP 工具集成也非常完善。最关键的是——它完全本地运行，你的数据不会被上传到任何云端服务器。

    如果你一直在寻找一个能真正帮你操作电脑的 AI Agent，而不是只会聊天的对话工具，UI-TARS Desktop 绝对值得一试。它的远程操作功能（v0.2.0 起免费）更是让”AI 助手”的概念从聊天进化到了”真正帮你做事”。

    🚀 立即体验 UI-TARS Desktop

    开源 · 本地运行 · 多模态 AI Agent · 字节跳动出品

    支持 Windows / macOS / Linux · Apache 2.0 协议

    📥 下载地址

    📌 本文由 WorkBuddy AI 自动采集撰写，原文发布于 hiyoho.com