YOHO AI

标签： 阿里达摩院

  • FunClip：阿里出品的 AI 视频剪辑神器，语音识别 + LLM 智能裁剪，5.9K Stars 让视频剪辑自动化

    FunClip：阿里出品的 AI 视频剪辑神器，语音识别 + LLM 智能裁剪，5.9K Stars 让视频剪辑自动化

    FunClip 界面

    做自媒体的朋友一定有过这样的痛苦：一段两小时的直播回放，只想剪出几句高光金句，却要在时间轴上反复拖拽、听写、对齐字幕。阿里通义语音实验室开源的 FunClip，用语音识别 + 大语言模型把这件事彻底自动化了——上传视频，复制你想保留的文字，点一下，片段就出来了。

    📌 项目简介

    FunClip 是一个完全开源、可本地部署的自动化视频剪辑工具，基于阿里巴巴通义语音实验室开源的 FunASR Paraformer 系列模型对视频做语音识别，用户自由选择识别文本片段或说话人，一键生成对应视频片段，并提供本地 Gradio Web 界面，支持 LLM 辅助智能剪辑。

    ⚙️ 安装要求与过程

    环境要求：仅需 Python 环境（推荐 Python 3.8+）；如需内嵌字幕剪辑，需额外安装 ffmpeg 与 imagemagick 及中文字体文件。

    快速安装：

    # 克隆仓库
git clone https://github.com/modelscope/FunClip.git
cd FunClip
# 安装依赖
pip install -r ./requirements.txt

# 启动本地 Gradio 服务（默认中文 Paraformer）
python funclip/launch.py
# 可选：-m fun-asr-nano (31语种) | -m sensevoice (情绪+事件) | -l en (英文)
#       -p 端口号 | -s True (公网访问)

    启动后访问 localhost:7860 即可使用 Web 界面：上传视频 → 复制需剪辑文本到 “Text to Clip” → 调整字幕 → 点击 “Clip” 或 “Clip and Generate Subtitles”。

    ✨ 核心功能

    • 工业级中文 ASR（Paraformer-Large）：阿里开源的顶尖中文语音识别模型，Modelscope 下载超 1300 万次，可精准预测时间戳，自动返回全视频与目标段 SRT 字幕。
    • 热词定制（SeACo-Paraformer）：在识别过程中指定实体词、人名等热词，显著提升专有名词识别准确率。
    • 说话人分离（CAM++）：集成说话人识别模型，可自动识别 speaker ID，一键剪出特定人物的全部发言片段。
    • LLM 智能剪辑：支持 qwen、GPT 等大模型，结合视频字幕自动推理出高光片段的时间戳；还可选 TwelveLabs Pegasus 视频理解模型，直接“看懂”画面而非仅依赖字幕。
    • 多模型与多语言：2026 年新增 Fun-ASR-Nano（31 种语言高精度）、SenseVoice（情绪识别 + 音频事件检测），并支持英文视频识别剪辑。

    🎬 典型使用场景

    • 自媒体长视频提取金句：把一场发布会、一次访谈原片丢进去，复制想保留的台词，FunClip 自动精准裁出对应时段并生成字幕，做短视频切片效率翻倍。
    • 会议 / 演讲按说话人剪辑：开启说话人分离后，直接剪出某位嘉宾的全部发言，用于整理观点、制作人物集锦，无需手动对照音轨。
    • 视频自动加字幕：识别后一键生成全片 SRT，并可内嵌硬字幕导出，省去逐句听写的繁琐，特别适合教程、纪录片类内容。

    💡 推荐理由

    我自己的使用感受是：FunClip 把“语音识别 → 文本选择 → 视频裁剪”这条链路做到了极简。它不像一些云端剪辑工具那样把数据传上去，而是完全本地运行，隐私可控；Gradio 界面几乎零学习成本，命令行模式又能轻松写进自动化流水线。对做内容创作、知识整理的人来说，它是那种“装好就天天想用”的效率利器。尤其 LLM 智能剪辑的加入，让“我要这段关于乡村振兴的发言”变成一句自然语言指令就能完成。

    🔗 下载地址

    许可协议：MIT（可自由商用与修改）

  • FunASR：阿里达摩院出品的工业级语音识别工具包，18.6K+ Stars 让中文语音识别又快又准

    FunASR：阿里达摩院出品的工业级语音识别工具包，18.6K+ Stars 让中文语音识别又快又准

    ASR

    FunASR：阿里达摩院出品的工业级端到端语音识别工具包

    ModelScope（阿里达摩院） 出品 · 18.6K+ Stars · 1.9K+ Forks · MIT 许可

    FunASR 是阿里达摩院 ModelScope 团队开发的工业级端到端语音识别工具包，
    支持 170 倍实时识别速度、50+ 语言、内置说话人日志与情感检测，并提供兼容 OpenAI 的 API 接口。
    相比 Whisper，FunASR 在中文和方言识别上准确率更高，CPU 场景运行速度更快，是开源语音识别领域最实用的生产级工具包。

    18.6K+
    GitHub Stars

    50+
    支持语言

    170x
    实时识别速度

    MIT
    开源许可

    ⚙️ 安装要求和过程

    环境要求

    • Python ≥ 3.8
    • 需先安装 PyTorch 和 torchaudio
    • GPU 可选（CPU 场景亦可运行，SenseVoice 模型可达 17 倍实时）
    • 可选：vLLM（加速推理）、Docker（容器部署）

    快速安装

    # 从 PyPI 安装（推荐）
pip install funasr
pip install funasr[cli]      # 包含 CLI 命令行工具

# 从源码安装
git clone https://github.com/modelscope/FunASR.git
cd FunASR
pip install -e ./

# Docker 一键部署 API 服务
docker run -p 8000:8000 funasr/funasr-server:latest

    🚀 核心功能

    ⚡

    170倍实时识别速度

    旗舰模型 Fun-ASR-Nano 配合 vLLM 加速可达 340 倍实时，比 Whisper 快 26 倍；CPU 场景下 SenseVoice 模型可达 17 倍实时

    🌍

    50+ 语言支持

    Qwen3-ASR 支持 52 种语言，Fun-ASR-Nano 支持 31 种语言，覆盖全球主流语种，适合国际化应用

    🎯

    内置多任务能力

    单模型调用即可完成 VAD 分段、语音识别、说话人分离、标点恢复、时间戳、情感/音频事件识别，无需额外模型

    🔄

    流式实时识别

    支持音频流逐块输入，适合实时字幕、语音实时转写场景，支持逐字/逐句流式输出

    🔌

    OpenAI 兼容 API

    提供兼容 OpenAI 语音识别 API 的接口，可对接 LangChain、Dify、AutoGen 等 AI 框架；提供 MCP Server 可接入 Claude Code、Cursor 等智能体

    💡 典型使用场景

    🎤 本地音频快速转录

    无需 GPU 即可使用，单条命令完成音频转录，支持输出纯文本、JSON、SRT 字幕等格式

    funasr audio.wav
funasr audio.wav --output-format json
funasr audio.wav --output-format srt --output-dir ./subs

    👥 会议长音频处理

    单模型调用同时完成 VAD 分段、语音识别、说话人分离，适合会议、访谈等长音频场景

    from funasr import AutoModel

model = AutoModel(
    model="iic/SenseVoiceSmall",
    vad_model="fsmn-vad",
    spk_model="cam++",
    device="cuda"
)
result = model.generate(
    input="meeting_record.wav",
    batch_size_s=300,
)

    🚀 生产级 API 部署

    一键启动兼容 OpenAI 的 API 服务，可对接现有基于 OpenAI API 的应用，无需修改代码

    # 启动服务
funasr-server --device cuda

# 调用（兼容 OpenAI API）
curl http://localhost:8000/v1/audio/transcriptions \
  -F file=@sample.wav -F model=sensevoice

    🌟 推荐理由

    FunASR 是开源语音识别领域最实用的工业级工具包。相比 Whisper，它在中文和方言识别上准确率更高，CPU 场景运行速度更快（17 倍实时），且内置了说话人分离、情感检测等额外能力，无需像 Whisper 那样集成多个模型。

    最让我惊喜的是它的 OpenAI 兼容 API——只需改一行代码，就能把基于 Whisper 的应用无缝迁移到 FunASR，且中文识别准确率显著提升。此外，它还提供 MCP Server，可直接接入 Claude Code、Cursor 等 AI 编程助手，让语音识别能力融入 AI 工作流。

    MIT 许可允许商用，且支持边缘设备无 Python 运行时部署（llama.cpp/GGUF），真正做到了全场景覆盖。如果你在做语音相关的 AI 应用，FunASR 是目前最好的开源选择。

    📥 下载地址

    ⭐ 如果你觉得这篇文章有用，欢迎在 GitHub 上给 FunASR 点个 Star！