YOHO AI

标签： 字幕生成

  • claude-video：让 Claude 真正“看懂”视频的 /watch 技能，6.4K Stars 把视频变成 AI 能读的输入

    claude-video：让 Claude 真正“看懂”视频的 /watch 技能，6.4K Stars 把视频变成 AI 能读的输入

    📌 项目简介

    claude-video 是一个让 Claude（以及 Codex、Cursor、Gemini CLI 等 50+ AI 编程工具）真正”看懂”视频的开源 Agent Skill。它的核心理念只有一句话：Claude 能读网页、能读 PDF、能读代码仓库，但默认它看不了视频——而 claude-video 把”看视频”这件事补上了。你丢给它一个 YouTube 链接或本地视频，它自动下载、抽帧、转写音频，再把画面帧 + 时间戳字幕一起喂给大模型，让 AI 基于真实视听觉内容来回答，而不是靠标题瞎猜。

    🛠 安装要求和过程

    环境要求：

    • Python 3.10+（核心脚本 watch.py / download.py / frames.py / transcribe.py 均为 Python 实现）
    • yt-dlp：负责从 YouTube、Loom、TikTok、X、Instagram 等站点下载视频（首次运行 macOS 上自动 brew 安装，Linux/Windows 会打印安装命令）
    • ffmpeg：负责抽帧、音频提取（同上，首次运行自动引导安装）
    • 带字幕的视频完全免费；无字幕时才需要 Whisper API Key（Groq whisper-large-v3 或 OpenAI whisper-1）

    快速安装（三选一）：

    方式一 · Claude Code（推荐）：

    /plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

    方式二 · 任意 Agent Skills 宿主（Codex / Cursor / Copilot / Gemini CLI 等 50+ 工具）：

    npx skills add bradautomates/claude-video -g

    方式三 · 手动 / 开发：

    git clone https://github.com/bradautomates/claude-video.git
ln -s "$(pwd)/claude-video/skills/watch" ~/.claude/skills/watch
# 或 ~/.codex/skills/watch

    首次运行会调用 scripts/setup.py --check 引导安装依赖，并在 ~/.config/watch/.env 中生成 GROQ_API_KEY / OPENAI_API_KEY 占位配置。

    ⚡ 核心功能

    1. 多源视频获取：支持 URL（yt-dlp 兼容的几乎所有视频站点）或本地路径（.mp4/.mov/.mkv/.webm），一条命令即可接入。
    2. 智能帧提取：用 ffmpeg 按细节模式抽帧——efficient（关键帧，约 0.5s）到 token-burner（场景切换检测）；内置帧去重（默认开启，丢弃近重复帧）与自动 fps / token 预算控制。
    3. 双通道转写：优先用 yt-dlp 提取原生字幕（免费）；无字幕时回退 Whisper API，并支持 >25MB 自动分块，确保长视频也能完整转写。
    4. 多模态交给大模型：脚本输出带 t=MM:SS 标记的帧路径 + 时间戳转写，Claude 并行 Read 图像，基于真实画面与声音作答。
    5. 细节模式可调节：--detail transcript|efficient|balanced|token-burner 权衡速度与 token 成本；支持 --start/--end 聚焦片段、--timestamps 指定时刻、--no-whisper 等精细控制。

    🎯 典型使用场景

    • 拆解爆款内容：把竞品发布会、广告片、干货视频丢给它，让它分析钩子结构、叙事节奏、真正的新功能，远快于 2x 倍速硬看。
    • 看录屏诊断 Bug：前端同学把屏幕录制喂给它，它能定位”出错的那一帧”，描述现象与可能原因，把视频变成可调试的输入。
    • 视频转结构化笔记：把一整个播放列表逐条摘要，自动构建可搜索的知识库；或剥离更新视频里的 hype，只提取”真正变了什么”。

    💡 推荐理由（个人使用心得）

    这是个”小而准”的工具，解决的痛点非常真实——我们天天让 AI 读文档读代码，但遇到一个视频链接就瞬间退化成”靠标题猜”。claude-video 最漂亮的设计是零配置起步：有字幕就白嫖字幕，没字幕才花一点点 Whisper 钱；帧去重 + 预算控制又避免了”把整个视频塞进上下文”的 token 爆炸。它本质上是在给 LLM 补上一双眼睛，而且是以”可复用技能包”的形式存在，Claude Code / Cursor / Codex 通吃。如果你经常需要让 AI 处理视频内容，这个 6.4K Star、MIT 协议、纯 Python 的小项目，值得一键装进你的工具箱。

    🔗 下载地址

    • GitHub：github.com/bradautomates/claude-video
    • 安装（Claude Code）：/plugin marketplace add bradautomates/claude-video → /plugin install watch@claude-video
    • 许可证：MIT（可自由商用、修改、分发）
  • FunClip：阿里出品的 AI 视频剪辑神器，语音识别 + LLM 智能裁剪，5.9K Stars 让视频剪辑自动化

    FunClip：阿里出品的 AI 视频剪辑神器，语音识别 + LLM 智能裁剪，5.9K Stars 让视频剪辑自动化

    FunClip 界面

    做自媒体的朋友一定有过这样的痛苦：一段两小时的直播回放，只想剪出几句高光金句，却要在时间轴上反复拖拽、听写、对齐字幕。阿里通义语音实验室开源的 FunClip，用语音识别 + 大语言模型把这件事彻底自动化了——上传视频，复制你想保留的文字，点一下，片段就出来了。

    📌 项目简介

    FunClip 是一个完全开源、可本地部署的自动化视频剪辑工具，基于阿里巴巴通义语音实验室开源的 FunASR Paraformer 系列模型对视频做语音识别，用户自由选择识别文本片段或说话人，一键生成对应视频片段，并提供本地 Gradio Web 界面，支持 LLM 辅助智能剪辑。

    ⚙️ 安装要求与过程

    环境要求：仅需 Python 环境（推荐 Python 3.8+）；如需内嵌字幕剪辑，需额外安装 ffmpeg 与 imagemagick 及中文字体文件。

    快速安装：

    # 克隆仓库
git clone https://github.com/modelscope/FunClip.git
cd FunClip
# 安装依赖
pip install -r ./requirements.txt

# 启动本地 Gradio 服务（默认中文 Paraformer）
python funclip/launch.py
# 可选：-m fun-asr-nano (31语种) | -m sensevoice (情绪+事件) | -l en (英文)
#       -p 端口号 | -s True (公网访问)

    启动后访问 localhost:7860 即可使用 Web 界面：上传视频 → 复制需剪辑文本到 “Text to Clip” → 调整字幕 → 点击 “Clip” 或 “Clip and Generate Subtitles”。

    ✨ 核心功能

    • 工业级中文 ASR（Paraformer-Large）：阿里开源的顶尖中文语音识别模型，Modelscope 下载超 1300 万次，可精准预测时间戳，自动返回全视频与目标段 SRT 字幕。
    • 热词定制（SeACo-Paraformer）：在识别过程中指定实体词、人名等热词，显著提升专有名词识别准确率。
    • 说话人分离（CAM++）：集成说话人识别模型，可自动识别 speaker ID，一键剪出特定人物的全部发言片段。
    • LLM 智能剪辑：支持 qwen、GPT 等大模型，结合视频字幕自动推理出高光片段的时间戳；还可选 TwelveLabs Pegasus 视频理解模型，直接“看懂”画面而非仅依赖字幕。
    • 多模型与多语言：2026 年新增 Fun-ASR-Nano（31 种语言高精度）、SenseVoice（情绪识别 + 音频事件检测），并支持英文视频识别剪辑。

    🎬 典型使用场景

    • 自媒体长视频提取金句：把一场发布会、一次访谈原片丢进去，复制想保留的台词，FunClip 自动精准裁出对应时段并生成字幕，做短视频切片效率翻倍。
    • 会议 / 演讲按说话人剪辑：开启说话人分离后，直接剪出某位嘉宾的全部发言，用于整理观点、制作人物集锦，无需手动对照音轨。
    • 视频自动加字幕：识别后一键生成全片 SRT，并可内嵌硬字幕导出，省去逐句听写的繁琐，特别适合教程、纪录片类内容。

    💡 推荐理由

    我自己的使用感受是：FunClip 把“语音识别 → 文本选择 → 视频裁剪”这条链路做到了极简。它不像一些云端剪辑工具那样把数据传上去，而是完全本地运行，隐私可控；Gradio 界面几乎零学习成本，命令行模式又能轻松写进自动化流水线。对做内容创作、知识整理的人来说，它是那种“装好就天天想用”的效率利器。尤其 LLM 智能剪辑的加入，让“我要这段关于乡村振兴的发言”变成一句自然语言指令就能完成。

    🔗 下载地址

    许可协议：MIT（可自由商用与修改）