YOHO AI

标签： Whisper

  • Voicebox：47.5K Stars 的开源 AI 语音工作室，克隆声音、全局听写、让 AI 智能体开口说话

    Voicebox：47.5K Stars 的开源 AI 语音工作室，克隆声音、全局听写、让 AI 智能体开口说话

    Voicebox 应用界面截图

    项目简介

    Voicebox 是一款本地优先的开源 AI 语音工作室——相当于把 ElevenLabs（语音合成）+ WisprFlow（语音听写） 两大云服务装进同一个免费开源的桌面应用：几秒参考音频即可克隆任意声音、7 大 TTS 引擎覆盖 23 种语言、全局热键把语音听写进系统任意输入框，还能通过 MCP 让 Claude Code / Cursor 等 AI 智能体用你克隆的声音「开口说话」。全部模型与数据均在本机运行，目前已收获 47.5K Stars，MIT 许可。

    安装要求和过程

    环境要求

    • macOS：Apple Silicon（MLX/Metal 加速）或 Intel
    • Windows：支持 NVIDIA CUDA 加速
    • Linux：暂无预编译包，需源码构建；另支持 AMD ROCm、Intel Arc
    • Docker：任意平台一行命令部署
    • 轻量引擎 LuxTTS 仅需 ~1GB 显存，CPU 也能 150 倍实时速度推理

    快速安装

    # 方式一：直接下载安装包（推荐）
# macOS (Apple Silicon): https://voicebox.sh/download/mac-arm
# macOS (Intel):         https://voicebox.sh/download/mac-intel
# Windows (MSI):         https://voicebox.sh/download/windows

# 方式二：Docker 一键启动
git clone https://github.com/jamiepine/voicebox.git
cd voicebox
docker compose up

    首次启动时应用会引导下载所需模型；macOS 上还有权限向导，一步步带你完成「辅助功能」「输入监控」授权，用于全局听写自动粘贴。

    核心功能

    • 多引擎语音克隆：内置 Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual/Turbo、HumeAI TADA、Kokoro 共 7 大 TTS 引擎，零样本克隆 + 50 多个精选预置声音，覆盖 23 种语言，可逐次生成切换引擎。
    • 全局语音听写：按住热键在系统任意位置说话，松开即把转写文本粘贴进当前输入框（macOS 经辅助功能校验注入，且自动保存/恢复剪贴板）；内置 Whisper 全系列模型（Turbo 版比 Large 快约 8 倍），可选本地 LLM 自动清理「嗯、啊」等口头语。
    • 给 AI 智能体一个声音：自带 MCP 服务器与 REST API，Claude Code、Cursor、Cline 等任意支持 MCP 的智能体只需调用 voicebox.speak 工具，就能用你克隆的声音向你「汇报工作」。
    • 专业级生产能力：不限长度生成（自动分句 + 交叉淡化拼接，最长 5 万字符）、多轨 Stories 时间线编辑器（做播客/对话/有声书）、8 种后期效果（变调/混响/延迟/压缩等，基于 Spotify pedalboard），生成版本全程可溯源。
    • 完全本地、隐私优先：模型、声音数据、录音捕获全部留在本机，永不上传；应用基于 Tauri（Rust）构建而非 Electron，原生性能，安装包小、内存占用低。

    典型使用场景

    1. 内容创作者做配音/播客：用自己的几秒录音克隆声音，把文章、剧本、章节直接批量转成音频；Stories 编辑器多轨拖拽即可编排双人对话播客，再叠加混响、电台音效等预设，全流程零云端费用。
    2. 开发者的「会说话的」编码智能体：给 Claude Code / Cursor 接上 Voicebox 的 MCP 服务器，长任务跑完后智能体用你指定的声音口头播报结果；配合全局听写热键，动口不动手地写 prompt，形成完整的语音 I/O 闭环。
    3. 注重隐私的日常语音输入：会议纪要、日记、即时消息全部用本地 Whisper 听写，敏感内容不经过任何第三方服务器；Captures 标签页保留每段原始音频 + 转写文本，可随时重转写、改写或升级为克隆样本。

    推荐理由

    试用下来最打动我的是「输入 + 输出一体」的产品思路：市面上克隆声音要买 ElevenLabs，语音听写要买 WisprFlow，而 Voicebox 把两半闭环装进一个 MIT 开源应用，还用本地 LLM 把两端串了起来。工程质量也远超一般开源项目——Tauri 原生应用不卡顿，生成队列异步不阻塞，甚至连 macOS 剪贴板保护、崩溃恢复这类细节都做了。对开发者来说，一行 MCP 配置就能让编码智能体开口说话，这个体验相当新奇实用。如果你需要一套不上云、不订阅的完整语音方案，这个项目值得马上装上试试。

    下载地址

  • Voicebox：本地优先的开源 AI 语音工作室，克隆声音 + 让智能体开口说话

    Voicebox：本地优先的开源 AI 语音工作室，克隆声音 + 让智能体开口说话

    Voicebox 开源 AI 语音工作室

    Voicebox —— 本地优先的开源 AI 语音工作室

    📌 项目简介

    Voicebox 是由 Jamie Pine 打造的开源 AI 语音工作室，一句话概括：克隆任意声音、生成语音、随时听写、还能让你的 AI 智能体用你拥有的声音开口说话。它是 ElevenLabs（语音输出）与 WisprFlow（语音输入）的本地优先、免费开源二合一替代品，整套语音 I/O 栈都跑在你自己的机器上。

    ⭐ GitHub 43,196 stars ｜ 🍴 5,280 forks ｜ 📅 创建于 2026-01-25，更新于 2026-07-19（当日 GitHub Trending 热门）｜ 📜 MIT 许可 ｜ 💻 TypeScript / Tauri(Rust) / FastAPI(Python)

    🛠 安装要求和过程

    环境要求

    • 普通用户：直接下载桌面应用，无需配置开发环境；支持 macOS（Apple Silicon / Intel）、Windows、Linux（需源码构建）、Docker。
    • GPU 加速：macOS 走 MLX/Metal（神经引擎快 4-5×），Windows/Linux NVIDIA 走 CUDA，AMD 走 ROCm，Intel Arc 走 IPEX/XPU，Windows 任意显卡走 DirectML，无显卡则回退 CPU。
    • 开发者构建：需 Bun、Rust、Python 3.11+、Tauri 前置依赖（macOS 还需 Xcode）。

    快速安装（三种方式）

    方式一 · 下载安装包（推荐）

    方式二 · 开发者一键启动

    git clone https://github.com/jamiepine/voicebox.git
cd voicebox
just setup    # 创建 Python venv 并安装全部依赖
just dev      # 启动后端 + 桌面应用

    （先安装 just 命令运行器：brew install just 或 cargo install just）

    方式三 · 接入 AI 智能体（MCP）

    claude mcp add voicebox \
  --transport http \
  --url http://127.0.0.1:17493/mcp \
  --header "X-Voicebox-Client-Id: claude-code"

    ✨ 核心功能

    Voicebox 界面

    1. 7 大 TTS 引擎，自由切换：Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro，覆盖 23 种语言（英/阿/日/印地/斯瓦希里等），并支持零样本声音克隆与 50+ 预设音色。
    2. 声音克隆 + 语音性格：几秒参考音频即可克隆任意声音；可为每个声纹绑定自由格式的”性格”，通过本地 Qwen3 LLM 实现 Compose（即兴台词）与 Speak-in-character（拟人改写）。
    3. 全局听写 / 语音输入：系统级热键按住说话、松手即停（push-to-talk），macOS 下自动粘贴到当前输入框；底层基于 OpenAI Whisper 的 STT，支持 Base/Small/Medium/Large/Turbo。
    4. 后期音效处理：基于 Spotify pedalboard 的 8 种效果——变调、混响、延迟、合唱、压缩、增益、高/低通滤波，可实时预览并存为预设。
    5. Agent 语音输出（MCP）：一句 voicebox.speak() 调用，任何支持 MCP 的智能体（Claude Code / Cursor / Cline / Windsurf）都能用你克隆的声音向你播报任务进展。

    Voicebox Stories 编辑器

    🎯 典型使用场景

    • 播客 / 有声内容创作：用内置 Stories 多轨时间线编辑器，零样本克隆嘉宾声音，一键生成多角色对话、播客与叙事音频，长文本自动分块 + 交叉淡入淡出。
    • AI 编码智能体开发循环：把 Claude Code 绑定到某个克隆声纹，构建完成、测试通过时它能”开口”告诉你——用耳朵接收进度，而不是一直盯着终端。
    • 无障碍与语音辅助：为无法用原声说话的人提供克隆声音；全局热键听写 + macOS 自动粘贴，大幅提升文字录入效率。
    • 游戏 / 叙事交互：为游戏角色或互动叙事工具接入带”性格”的语音，实现有情绪、带语气词的拟人对话。

    💡 推荐理由

    我用过多家云端语音服务，Voicebox 最打动我的是三点：

    • 真正的本地优先 + 隐私优先。模型、声音数据、录音全部留在本机，不上传任何云，对注重数据主权的用户极其友好。
    • 输入 + 输出一站式。ElevenLabs 只管”说”，WisprFlow 只管”听”，Voicebox 把两者打通，还用一个本地 LLM 串联性格改写，一 GPU 显存占用搞定全套。
    • 给 AI Agent 配声音这个设计非常新颖。当你的编码助手能用你熟悉的声音播报”部署完成”，人机交互的体验立刻不一样，这也是它和同类工具最大的差异化。

    ⚠️ 一点不足：Linux 目前没有预编译二进制，需要源码构建；同时 7 个引擎质量参差，部分小模型音色一般，建议按场景挑选。但瑕不掩瑜，作为开源语音 I/O 基础设施，它已经非常能打。

    📥 下载地址

    本文由自动化脚本基于 GitHub 公开仓库信息整理，项目数据截至 2026-07-19。