YOHO AI

标签： 桌面应用

  • Cua：开源 Computer-Use 2.0 框架，让 AI 智能体像人一样操作电脑

    Cua：开源 Computer-Use 2.0 框架，让 AI 智能体像人一样操作电脑

    Cua 开源 Computer-Use 2.0 框架

    项目简介

    Cua 是 trycua 出品的一套开源「Computer-Use 2.0」基础设施，围绕「让 AI 智能体像人一样看屏幕、点按钮、敲键盘完成任务」这一目标，提供了四大模块——后台驱动（Cua Drivers）、智能体沙箱（Cua Sandboxes）、评测基准（Cua-Bench）与 macOS 虚拟化（Lume），覆盖从训练、评测到数据生成的全流程。它把「驱动—沙箱—评测—虚拟化」四件事拆成可独立使用又互相咬合的开源组件，MIT 协议、跨平台，并支持通过 MCP 接入 Claude Code、Cursor、Codex 等主流编码智能体。

    安装要求和过程

    环境要求：

    • Cua Drivers（后台驱动）：macOS 12+ / Windows 10+ / Linux（X11 或 Wayland）；需搭配 Claude Code、Cursor、Codex 等编码智能体。
    • Cua Sandboxes（沙箱）：Python 3.11+，pip install cua。
    • Cua-Bench（评测）：需 uv；Linux / macOS。
    • Lume（虚拟化）：Apple Silicon（M1+）macOS，依赖 Apple Virtualization.Framework。

    快速安装：

    # 1) Cua Drivers — 后台驱动原生桌面应用（macOS / Linux）
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"
#  Windows (PowerShell)
irm https://cua.ai/driver/install.ps1 | iex

# 2) Cua Sandboxes — 任意系统的智能体沙箱
pip install cua

# 3) Lume — macOS 虚拟化
/bin/bash -c "$(curl -fsSL https://cua.ai/lume/install.sh)"

# 4) Cua-Bench — 评测与 RL 环境
git clone https://github.com/trycua/cua && cd cua/cua-bench
uv tool install -e . && cb image create linux-docker

    核心功能

    Cua 四大模块生态图

    1. 后台 Computer-Use 驱动：在 macOS / Windows / Linux 上后台驱动原生应用，智能体点击、键入、校验，全程不抢走你的光标与窗口焦点；同一套 CLI + MCP 服务器可接入 Claude Code、Cursor、Codex、OpenClaw 等。
    2. 跨 OS 智能体沙箱：一个统一 API 调度任意系统的 VM/容器（Linux / macOS / Windows / Android 及 BYOI），看屏、点击、执行代码，云端或本地（QEMU）皆可。
    3. 评测与 RL 基准（Cua-Bench）：在 OSWorld、ScreenSpot、Windows Arena 上评测 computer-use 智能体，并导出轨迹用于训练与强化学习。
    4. macOS 原生虚拟化（Lume）：基于 Apple Virtualization.Framework，在 Apple Silicon 上以近原生性能创建、管理 macOS / Linux 虚拟机，支持 unattended 无人值守安装。
    5. 开放可组合生态：cua-driver / cua-agent / cua-sandbox / cua-computer-server / cua-bench / lume / lumier 七大包，lumier 还提供 Docker 兼容接口，便于把 Lume 虚拟机接入现有编排。

    典型使用场景

    Cua 后台 Computer-Use 工作流

    • 给编码智能体一台「电脑」：把 Cua Sandbox 接进 Claude Code，让它在隔离的 macOS / Windows 虚拟机里自行打开浏览器、跑脚本、截图验证，完成端到端任务而不污染本机。
    • 后台自动化办公流：用 Cua Drivers 在后台驱动 Slack、Excel、浏览器等原生应用，自动填表、导出报表、跨软件搬运数据，你依旧能正常用电脑。
    • 评测与训练自己的 CUA 模型：用 Cua-Bench 在标准化环境里跑基准、收集轨迹，进而做监督微调或 RL，持续改进自家 computer-use 模型。

    推荐理由

    一句话：如果你在折腾「让 AI 操作电脑」，Cua 是目前最完整、最务实的开源底座。它把「驱动—沙箱—评测—虚拟化」四件事拆成了可独立使用又互相咬合的模块——想给 Agent 加双手，用 Drivers；想搞评测训练，用 Bench；想在 Mac 上批量起虚拟机，用 Lume。MIT 协议、跨平台、支持 MCP 接入主流编码助手，落地门槛低。相比闭源的 Operator / Manus 类服务，Cua 把控制权和数据都留在你手里——这正是本地优先时代最该有的样子。

    下载地址

  • Voicebox：本地优先的开源 AI 语音工作室，克隆声音 + 让智能体开口说话

    Voicebox：本地优先的开源 AI 语音工作室，克隆声音 + 让智能体开口说话

    Voicebox 开源 AI 语音工作室

    Voicebox —— 本地优先的开源 AI 语音工作室

    📌 项目简介

    Voicebox 是由 Jamie Pine 打造的开源 AI 语音工作室，一句话概括：克隆任意声音、生成语音、随时听写、还能让你的 AI 智能体用你拥有的声音开口说话。它是 ElevenLabs（语音输出）与 WisprFlow（语音输入）的本地优先、免费开源二合一替代品，整套语音 I/O 栈都跑在你自己的机器上。

    ⭐ GitHub 43,196 stars ｜ 🍴 5,280 forks ｜ 📅 创建于 2026-01-25，更新于 2026-07-19（当日 GitHub Trending 热门）｜ 📜 MIT 许可 ｜ 💻 TypeScript / Tauri(Rust) / FastAPI(Python)

    🛠 安装要求和过程

    环境要求

    • 普通用户：直接下载桌面应用，无需配置开发环境；支持 macOS（Apple Silicon / Intel）、Windows、Linux（需源码构建）、Docker。
    • GPU 加速：macOS 走 MLX/Metal（神经引擎快 4-5×），Windows/Linux NVIDIA 走 CUDA，AMD 走 ROCm，Intel Arc 走 IPEX/XPU，Windows 任意显卡走 DirectML，无显卡则回退 CPU。
    • 开发者构建：需 Bun、Rust、Python 3.11+、Tauri 前置依赖（macOS 还需 Xcode）。

    快速安装（三种方式）

    方式一 · 下载安装包（推荐）

    方式二 · 开发者一键启动

    git clone https://github.com/jamiepine/voicebox.git
cd voicebox
just setup    # 创建 Python venv 并安装全部依赖
just dev      # 启动后端 + 桌面应用

    （先安装 just 命令运行器：brew install just 或 cargo install just）

    方式三 · 接入 AI 智能体（MCP）

    claude mcp add voicebox \
  --transport http \
  --url http://127.0.0.1:17493/mcp \
  --header "X-Voicebox-Client-Id: claude-code"

    ✨ 核心功能

    Voicebox 界面

    1. 7 大 TTS 引擎，自由切换：Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro，覆盖 23 种语言（英/阿/日/印地/斯瓦希里等），并支持零样本声音克隆与 50+ 预设音色。
    2. 声音克隆 + 语音性格：几秒参考音频即可克隆任意声音；可为每个声纹绑定自由格式的”性格”，通过本地 Qwen3 LLM 实现 Compose（即兴台词）与 Speak-in-character（拟人改写）。
    3. 全局听写 / 语音输入：系统级热键按住说话、松手即停（push-to-talk），macOS 下自动粘贴到当前输入框；底层基于 OpenAI Whisper 的 STT，支持 Base/Small/Medium/Large/Turbo。
    4. 后期音效处理：基于 Spotify pedalboard 的 8 种效果——变调、混响、延迟、合唱、压缩、增益、高/低通滤波，可实时预览并存为预设。
    5. Agent 语音输出（MCP）：一句 voicebox.speak() 调用，任何支持 MCP 的智能体（Claude Code / Cursor / Cline / Windsurf）都能用你克隆的声音向你播报任务进展。

    Voicebox Stories 编辑器

    🎯 典型使用场景

    • 播客 / 有声内容创作：用内置 Stories 多轨时间线编辑器，零样本克隆嘉宾声音，一键生成多角色对话、播客与叙事音频，长文本自动分块 + 交叉淡入淡出。
    • AI 编码智能体开发循环：把 Claude Code 绑定到某个克隆声纹，构建完成、测试通过时它能”开口”告诉你——用耳朵接收进度，而不是一直盯着终端。
    • 无障碍与语音辅助：为无法用原声说话的人提供克隆声音；全局热键听写 + macOS 自动粘贴，大幅提升文字录入效率。
    • 游戏 / 叙事交互：为游戏角色或互动叙事工具接入带”性格”的语音，实现有情绪、带语气词的拟人对话。

    💡 推荐理由

    我用过多家云端语音服务，Voicebox 最打动我的是三点：

    • 真正的本地优先 + 隐私优先。模型、声音数据、录音全部留在本机，不上传任何云，对注重数据主权的用户极其友好。
    • 输入 + 输出一站式。ElevenLabs 只管”说”，WisprFlow 只管”听”，Voicebox 把两者打通，还用一个本地 LLM 串联性格改写，一 GPU 显存占用搞定全套。
    • 给 AI Agent 配声音这个设计非常新颖。当你的编码助手能用你熟悉的声音播报”部署完成”，人机交互的体验立刻不一样，这也是它和同类工具最大的差异化。

    ⚠️ 一点不足：Linux 目前没有预编译二进制，需要源码构建；同时 7 个引擎质量参差，部分小模型音色一般，建议按场景挑选。但瑕不掩瑜，作为开源语音 I/O 基础设施，它已经非常能打。

    📥 下载地址

    本文由自动化脚本基于 GitHub 公开仓库信息整理，项目数据截至 2026-07-19。