标签: GUI代理

  • page-agent:阿里巴巴出品的页面内JS GUI代理,一行脚本让网页拥有AI操控能力(23K+Stars)

    page-agent:阿里巴巴出品的页面内JS GUI代理,一行脚本让网页拥有AI操控能力(23K+Stars)

    page-agent Logo

    ## 项目简介

    **page-agent** 是阿里巴巴出品的 **JavaScript 页面内 GUI 代理**,让 AI 通过自然语言直接控制 Web 界面。其核心理念是 —— *”The GUI Agent Living in Your Webpage”*,即:智能体不再运行在外部脚本或 Python 环境中,而是**活在页面内部**,用纯 JavaScript 操作 DOM,实现真正的轻量化 AI 能力嵌入。

    亮点概要:一行脚本接入、无需浏览器插件、无需 Python 环境、无需截图 —— 纯页面内 JS 实现的 GUI 代理,让任何 Web 应用瞬间拥有 AI 操作能力。

    ## 安装要求和过程

    ### 环境要求
    – **浏览器**:任意现代浏览器(Chrome/Edge/Firefox/Safari)
    – **Node.js**:≥ 18(仅 NPM 安装方式需要)
    – **LLM API**:支持接入任意兼容 OpenAI API 格式的大模型(默认可使用阿里云百炼、OpenAI、DeepSeek 等)

    ### 快速安装(一行脚本体验)

    最简单的方式,在任意网页的 HTML 中插入一行 `



    ```

    插入后刷新页面,即可看到 page-agent 的演示界面(使用官方免费测试 LLM)。

    > ⚠️ 免费测试 API 仅用于技术评估,生产使用请接入自有 LLM API Key。

    ### NPM 安装(生产使用)

    ```bash
    npm install page-agent
    ```

    ```javascript
    import { PageAgent } from 'page-agent'

    const agent = new PageAgent({
    model: 'qwen3.5-plus',
    baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1',
    apiKey: 'YOUR_API_KEY',
    language: 'zh-CN',
    })

    await agent.execute('点击登录按钮')
    ```

    ## 核心功能

    1

    极低接入成本 —— 一行脚本即可嵌入

    无需浏览器插件、无需 Python 环境、无需无头浏览器,纯页面内 JavaScript 实现,所有功能都在当前网页内运行。仅需一行 <script> 标签即可为任意 Web 应用接入 AI 控制能力,CDN 和 NPM 包双重分发。

    2

    轻量交互模式 —— 基于 DOM 操作,无需截图

    摒弃了传统 GUI 代理依赖截图 + 多模态大模型的重量级方案,page-agent 直接基于 DOM 结构理解页面,用文本描述操作指令。优势:延迟更低、成本更低、无需特殊权限、不依赖视觉大模型。

    3

    自定义大模型支持 —— 无绑定,完全开放

    支持接入任意兼容 OpenAI API 格式的自有 LLM,无厂商绑定。推荐使用阿里云百炼 qwen3.5-plus,也可接入 OpenAI GPT、DeepSeek、Gemini 等主流大模型,灵活适配企业已有 AI 基础设施。

    4

    扩展能力 —— Chrome 扩展 + MCP Server(Beta)

    可选安装 Chrome 扩展,支持跨多页面任务调度;同时提供 Beta 版 MCP Server,允许外部 AI 系统通过 MCP 协议控制浏览器,与主流 AI Agent 框架无缝集成。

    ## 典型使用场景

    ### 场景一:SaaS AI Copilot 快速接入
    仅需少量代码即可为 SaaS 产品接入 AI 助手,用户可通过自然语言操控产品界面,无需重写后端逻辑。例如:在 CRM 系统中,用户说"创建一个跟进任务并设置明天的提醒",page-agent 即可自动完成一系列 DOM 操作。

    ### 场景二:智能表单填充
    将原本需要 20 次点击的复杂工作流简化为一句话指令,特别适合 ERP、CRM、后台管理系统等表单密集型应用。结合 LLM 的语义理解能力,page-agent 可自动识别表单字段并填入正确内容。

    ### 场景三:Web 应用无障碍适配
    通过自然语言、语音指令、屏幕阅读器,让任意 Web 应用实现无障碍使用,极大降低残障人士使用复杂 Web 应用的门槛。page-agent 作为页面内代理,可直接操作 DOM 实现无障碍导航。

    ### 场景四:MCP 协议集成
    通过 Beta 版 MCP Server,允许外部 AI Agent 客户端控制浏览器,实现"AI 操控 AI"的自动化链路。例如:让 Claude Code 通过 MCP 调用 page-agent,实现完整的端到端 Web 自动化测试。

    ## 推荐理由

    > 在传统方案里,让 AI 操控 Web 界面往往意味着:部署 Python 服务、运行无头浏览器、截图 + 多模态大模型理解、处理各种环境依赖……这套方案对中小企业和个人开发者极不友好。

    **page-agent 的最大价值在于"去重量化"** —— 它把 GUI 代理的核心能力塞进了一个 JS 脚本里,让任何能加载 JS 的网页都能获得 AI 操控能力。这对以下人群尤为有价值:

    - **前端开发者**:无需学习 Python 自动化框架,直接用 TypeScript 扩展 AI 能力
    - **SaaS 产品经理**:快速为产品 prototype 添加 AI Copilot,验证用户需求
    - **企业 IT**:为内部 ERP/CRM 系统添加自然语言操作界面,提升员工效率
    - **无障碍开发**:用最简单的方式为现有 Web 应用添加语音/自然语言操控

    此外,项目由 **阿里巴巴** 官方开源,采用 MIT 许可证,社区活跃,文档完善(在线 Demo、完整文档站、HN 讨论帖均已上线),值得长期关注。

    🔗 相关链接

    GitHub:github.com/alibaba/page-agent(23K+ Stars)

    在线演示:alibaba.github.io/page-agent

    官方文档:alibaba.github.io/page-agent/docs

    NPM 包:npmjs.com/package/page-agent

    许可证:MIT License(可自由商用、修改、分发)

  • UI-TARS-desktop:字节跳动开源多模态GUI Agent,纯视觉理解让AI像人一样操作电脑,37.4K Stars让RPA自动化进入新时代

    UI-TARS-desktop:字节跳动开源多模态GUI Agent,纯视觉理解让AI像人一样操作电脑,37.4K Stars让RPA自动化进入新时代

    🤖

    UI-TARS-desktop

    ByteDance · Apache-2.0 · 37.4K ⭐

    字节跳动开源的多模态 AI Agent 技术栈,通过纯视觉理解实现 GUI 自动化操控,让 AI 像人一样操作电脑、浏览器和桌面应用。

    📌 项目简介

    UI-TARS-desktop 是字节跳动开源的端到端多模态 AI Agent 框架,包含两大核心组件:Agent TARS(通用多模态 AI Agent 技术栈)和 UI-TARS Desktop(基于 UI-TARS 系列模型的桌面原生 GUI Agent 应用)。项目基于纯视觉理解,无需依赖应用 API,通过多模态大模型直接识别 GUI 元素,真正实现”像人一样操作电脑”。

    37.4K
    GitHub Stars

    3.7K
    Forks

    Apache
    开源许可

    TypeScript
    主要语言

    ⚙️ 安装要求和过程

    环境要求

    • Node.js ≥ 22(必需,项目使用 .node-version 指定 22+)
    • pnpm(推荐包管理器)
    • 支持 Windows / macOS / Linux 三平台
    • AI 模型 API Key(火山引擎/Anthropic/OpenAI 等,或本地部署 UI-TARS 模型)

    快速安装(Agent TARS CLI)

    # 方式1: npx 直接启动(无需安装)
    npx @agent-tars/cli@latest
    
    # 方式2: 全局安装
    npm install @agent-tars/cli@latest -g
    agent-tars --provider volcengine   --model doubao-1-5-thinking-vision-pro-250428   --apiKey <你的API密钥>
    
    # 方式3: 使用 Anthropic Claude
    agent-tars --provider anthropic   --model claude-3-7-sonnet-latest   --apiKey <你的API密钥>

    💡 UI-TARS Desktop 桌面版可从 agent-tars.com 下载安装,支持本地算子和远程算子两种模式。

    🚀 核心功能

    1

    🖱️ 纯视觉 GUI 操控

    基于 UI-TARS 系列多模态大模型,通过截图视觉识别直接定位 GUI 元素,实现精准的鼠标点击、键盘输入和拖拽操作,无需应用 API 接入。支持 Windows、macOS、浏览器多平台。

    2

    🌐 混合浏览器 Agent

    支持 GUI Agent 视觉定位、DOM 操作或两者混合的浏览器控制策略。既可以像人一样”看”网页并点击,也可以直接操作 DOM,灵活应对各类网页自动化场景。

    3

    🔄 事件流协议(Event Stream Protocol)

    协议驱动的事件流支持上下文工程和 Agent UI 构建,让开发者可以实时监控 Agent 执行过程、干预决策流程,并基于事件流构建自定义 Agent 交互界面。

    4

    🧰 MCP 原生集成

    内核基于 MCP(Model Context Protocol)构建,同时支持挂载 MCP 服务器对接各类真实世界工具。可无缝接入 Claude Code、Cursor 等 AI 编程助手,扩展 Agent 工具调用能力。

    5

    🤖 双形态:CLI + 桌面应用

    同时提供 Agent TARS CLI(支持无头服务器模式)和 UI-TARS Desktop 原生桌面应用。CLI 适合开发者和服务端部署,桌面应用提供图形化界面,降低非技术用户使用门槛。

    💡 典型使用场景

    🏨

    自动化订票/预订

    通过自然语言指令”帮我在北京找一家500元以内的酒店,距离故宫近”,Agent 自动打开浏览器、搜索、筛选并下单,全程无需人工干预。

    💻

    跨应用工作流自动化

    自动操作 Excel + 浏览器 + 邮件客户端,完成数据抓取、处理、发送的完整工作流。例如:每日自动从网站抓取数据、更新表格、发送报告邮件。

    🧪

    GUI 自动化测试

    替代传统 Selenium/Playwright,通过视觉理解自动测试桌面应用和 Web 界面。无需维护选择器,界面对齐方式变化也不会影响测试稳定性。

    🤝

    AI 编程助手扩展

    接入 Claude Code / Cursor,让 AI 编程助手不仅能写代码,还能自动操作浏览器验证功能、运行桌面应用测试,实现真正的端到端开发自动化。

    ✨ 推荐理由

    纯视觉理解是 GUI 自动化的未来。传统 RPA 工具依赖应用 API 或 DOM 选择器,界面稍有变化就会失效。UI-TARS 通过多模态大模型”看”屏幕,真正模拟人的操作方式,从根本上解决了 GUI 自动化的脆弱性问题。

    字节跳动技术实力保障。作为豆包手机的核心技术支撑,UI-TARS 已在生产环境中验证,不是实验室项目。37K+ Stars 和 3.7K+ Forks 也证明了社区的认可。

    生态完善,开箱即用。MCP 原生集成让它可以无缝接入现有 AI 工具链;CLI + 桌面应用双形态覆盖开发者和普通用户;支持本地模型和云端 API 双模式部署,兼顾隐私和性能。

    📊 项目动态

    • 2026-02:UI-TARS-desktop 开源,登顶 GitHub 热榜,Star 数突破 26K
    • 2026-06:Star 数突破 37K,社区持续活跃,Discord 成员快速增长
    • 作为豆包手机核心技术支撑,生产环境验证可靠性
    • 支持 UI-TARS/Seed-1.5-VL/1.6 系列最新模型

    📅 数据更新至 2026年6月28日 | 信息来源:GitHub

  • UI-TARS Desktop:35.3k Stars!字节跳动开源多模态AI代理桌面端,让AI直接操作你的电脑

    UI-TARS Desktop:35.3k Stars!字节跳动开源多模态AI代理桌面端,让AI直接操作你的电脑


    📦 项目简介

    UI-TARS Desktop 是字节跳动开源的多模态 AI Agent 桌面应用,基于自研的 UI-TARS 多模态大模型和先进的 GUI Agent 架构,让你可以用自然语言直接控制电脑——打开软件、修改设置、操作浏览器,全部由 AI 代劳。

    项目已获得 35.3k+ Stars,Apache 2.0 开源协议,支持 Windows / macOS / Linux 三平台,是 2026 年最值得关注的多模态 AI Agent 项目之一。

    UI-TARS Desktop 演示

    UI-TARS Desktop 实际操作演示

    ⚙️ 安装要求和过程

    环境要求:

    • Windows 10+ / macOS 12+ / Linux(Ubuntu 20.04+)
    • 8GB+ RAM(推荐 16GB)
    • 支持 CPU 推理,推荐 NVIDIA GPU(4GB+ 显存)以获得最佳体验
    • Node.js 22+(如使用 Agent TARS CLI)

    方式一:下载桌面端(推荐)

    1. 访问 GitHub Releases 页面,下载对应系统的安装包
    2. Windows 用户:下载 .exe 安装包,双击安装
    3. macOS 用户:下载 .dmg 文件,拖入 Applications 文件夹
    4. 首次启动需下载 UI-TARS 模型(约 4GB),请保持网络畅通

    方式二:使用 Agent TARS CLI

    # 快速启动(无需全局安装)
    npx @agent-tars/cli@latest
    
    # 全局安装
    npm install @agent-tars/cli@latest -g
    
    # 使用火山引擎方舟模型启动
    agent-tars --provider volcengine --model doubao-1.5-thinking-vision-pro-250428 --apiKey YOUR_KEY
    
    # 使用 Anthropic Claude 模型启动
    agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey YOUR_KEY
    

    🚀 核心功能

    🤖
    自然语言控制
    基于视觉语言模型(VLM),用日常语言描述任务,AI 自动理解并执行
    🖥️
    全系统 GUI 操作
    精准控制鼠标、键盘,操作任意桌面应用,不受 API 限制
    🌐
    混合浏览器 Agent
    支持 GUI Agent 视觉定位、DOM 操作或混合策略控制浏览器
    🔌
    MCP 工具集成
    内核基于 MCP 构建,支持挂载各类 MCP 服务器,连接真实世界工具
    🔒
    隐私安全
    完全本地处理,数据不上传云端,支持企业内网部署
    🔄
    远程操作
    v0.2.0 起免费提供远程电脑操作和远程浏览器操作,无需额外配置

    🎯 典型使用场景

    场景一:让 AI 帮你配置开发环境

    告诉 UI-TARS “帮我在 VS Code 里打开自动保存,并把延迟设为 500 毫秒”,它会自动打开 VS Code 设置页面,找到对应选项并完成修改——全程无需你动手。

    场景二:自动完成网页预订任务

    对 Agent TARS CLI 说 “帮我在 Priceline 上订 9 月 1 日圣何塞到纽约最早的航班,以及 9 月 6 日最晚的返程航班”,它会自动打开浏览器、填写表单、筛选结果并完成预订。

    场景三:查询并分析 GitHub 项目

    直接问 “你能帮我查看 GitHub 上 UI-TARS-Desktop 项目最新的开放 issue 吗?”,AI 会自动访问项目页面、抓取 issue 列表并整理成可读的格式反馈给你。

    💡 推荐理由

    UI-TARS Desktop 最打动我的是它的「真正理解界面」的能力。不同于传统 RPA 工具依赖元素定位,UI-TARS 通过视觉语言模型直接”看”屏幕,就像人一样理解界面布局和元素含义。

    作为字节跳动出品的开源项目,它的技术栈相当扎实:基于自研的 UI-TARS-1.5-7B 多模态模型,支持 Docker 沙箱隔离执行,MCP 工具集成也非常完善。最关键的是——它完全本地运行,你的数据不会被上传到任何云端服务器。

    如果你一直在寻找一个能真正帮你操作电脑的 AI Agent,而不是只会聊天的对话工具,UI-TARS Desktop 绝对值得一试。它的远程操作功能(v0.2.0 起免费)更是让”AI 助手”的概念从聊天进化到了”真正帮你做事”。

    🚀 立即体验 UI-TARS Desktop

    开源 · 本地运行 · 多模态 AI Agent · 字节跳动出品

    支持 Windows / macOS / Linux · Apache 2.0 协议

    📥 下载地址


    📌 本文由 WorkBuddy AI 自动采集撰写,原文发布于 hiyoho.com