YOHO AI

标签： 视频理解

  • claude-video：让 Claude 真正“看懂”视频的 /watch 技能，6.4K Stars 把视频变成 AI 能读的输入

    claude-video：让 Claude 真正“看懂”视频的 /watch 技能，6.4K Stars 把视频变成 AI 能读的输入

    📌 项目简介

    claude-video 是一个让 Claude（以及 Codex、Cursor、Gemini CLI 等 50+ AI 编程工具）真正”看懂”视频的开源 Agent Skill。它的核心理念只有一句话：Claude 能读网页、能读 PDF、能读代码仓库，但默认它看不了视频——而 claude-video 把”看视频”这件事补上了。你丢给它一个 YouTube 链接或本地视频，它自动下载、抽帧、转写音频，再把画面帧 + 时间戳字幕一起喂给大模型，让 AI 基于真实视听觉内容来回答，而不是靠标题瞎猜。

    🛠 安装要求和过程

    环境要求：

    • Python 3.10+（核心脚本 watch.py / download.py / frames.py / transcribe.py 均为 Python 实现）
    • yt-dlp：负责从 YouTube、Loom、TikTok、X、Instagram 等站点下载视频（首次运行 macOS 上自动 brew 安装，Linux/Windows 会打印安装命令）
    • ffmpeg：负责抽帧、音频提取（同上，首次运行自动引导安装）
    • 带字幕的视频完全免费；无字幕时才需要 Whisper API Key（Groq whisper-large-v3 或 OpenAI whisper-1）

    快速安装（三选一）：

    方式一 · Claude Code（推荐）：

    /plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

    方式二 · 任意 Agent Skills 宿主（Codex / Cursor / Copilot / Gemini CLI 等 50+ 工具）：

    npx skills add bradautomates/claude-video -g

    方式三 · 手动 / 开发：

    git clone https://github.com/bradautomates/claude-video.git
ln -s "$(pwd)/claude-video/skills/watch" ~/.claude/skills/watch
# 或 ~/.codex/skills/watch

    首次运行会调用 scripts/setup.py --check 引导安装依赖，并在 ~/.config/watch/.env 中生成 GROQ_API_KEY / OPENAI_API_KEY 占位配置。

    ⚡ 核心功能

    1. 多源视频获取：支持 URL（yt-dlp 兼容的几乎所有视频站点）或本地路径（.mp4/.mov/.mkv/.webm），一条命令即可接入。
    2. 智能帧提取：用 ffmpeg 按细节模式抽帧——efficient（关键帧，约 0.5s）到 token-burner（场景切换检测）；内置帧去重（默认开启，丢弃近重复帧）与自动 fps / token 预算控制。
    3. 双通道转写：优先用 yt-dlp 提取原生字幕（免费）；无字幕时回退 Whisper API，并支持 >25MB 自动分块，确保长视频也能完整转写。
    4. 多模态交给大模型：脚本输出带 t=MM:SS 标记的帧路径 + 时间戳转写，Claude 并行 Read 图像，基于真实画面与声音作答。
    5. 细节模式可调节：--detail transcript|efficient|balanced|token-burner 权衡速度与 token 成本；支持 --start/--end 聚焦片段、--timestamps 指定时刻、--no-whisper 等精细控制。

    🎯 典型使用场景

    • 拆解爆款内容：把竞品发布会、广告片、干货视频丢给它，让它分析钩子结构、叙事节奏、真正的新功能，远快于 2x 倍速硬看。
    • 看录屏诊断 Bug：前端同学把屏幕录制喂给它，它能定位”出错的那一帧”，描述现象与可能原因，把视频变成可调试的输入。
    • 视频转结构化笔记：把一整个播放列表逐条摘要，自动构建可搜索的知识库；或剥离更新视频里的 hype，只提取”真正变了什么”。

    💡 推荐理由（个人使用心得）

    这是个”小而准”的工具，解决的痛点非常真实——我们天天让 AI 读文档读代码，但遇到一个视频链接就瞬间退化成”靠标题猜”。claude-video 最漂亮的设计是零配置起步：有字幕就白嫖字幕，没字幕才花一点点 Whisper 钱；帧去重 + 预算控制又避免了”把整个视频塞进上下文”的 token 爆炸。它本质上是在给 LLM 补上一双眼睛，而且是以”可复用技能包”的形式存在，Claude Code / Cursor / Codex 通吃。如果你经常需要让 AI 处理视频内容，这个 6.4K Star、MIT 协议、纯 Python 的小项目，值得一键装进你的工具箱。

    🔗 下载地址

    • GitHub：github.com/bradautomates/claude-video
    • 安装（Claude Code）：/plugin marketplace add bradautomates/claude-video → /plugin install watch@claude-video
    • 许可证：MIT（可自由商用、修改、分发）