标签: Python

  • FunClip:阿里出品的 AI 视频剪辑神器,语音识别 + LLM 智能裁剪,5.9K Stars 让视频剪辑自动化

    FunClip:阿里出品的 AI 视频剪辑神器,语音识别 + LLM 智能裁剪,5.9K Stars 让视频剪辑自动化

    FunClip 界面

    做自媒体的朋友一定有过这样的痛苦:一段两小时的直播回放,只想剪出几句高光金句,却要在时间轴上反复拖拽、听写、对齐字幕。阿里通义语音实验室开源的 FunClip,用语音识别 + 大语言模型把这件事彻底自动化了——上传视频,复制你想保留的文字,点一下,片段就出来了。

    📌 项目简介

    FunClip 是一个完全开源、可本地部署的自动化视频剪辑工具,基于阿里巴巴通义语音实验室开源的 FunASR Paraformer 系列模型对视频做语音识别,用户自由选择识别文本片段或说话人,一键生成对应视频片段,并提供本地 Gradio Web 界面,支持 LLM 辅助智能剪辑。

    ⚙️ 安装要求与过程

    环境要求:仅需 Python 环境(推荐 Python 3.8+);如需内嵌字幕剪辑,需额外安装 ffmpeg 与 imagemagick 及中文字体文件。

    快速安装:

    # 克隆仓库
    git clone https://github.com/modelscope/FunClip.git
    cd FunClip
    # 安装依赖
    pip install -r ./requirements.txt
    
    # 启动本地 Gradio 服务(默认中文 Paraformer)
    python funclip/launch.py
    # 可选:-m fun-asr-nano (31语种) | -m sensevoice (情绪+事件) | -l en (英文)
    #       -p 端口号 | -s True (公网访问)

    启动后访问 localhost:7860 即可使用 Web 界面:上传视频 → 复制需剪辑文本到 “Text to Clip” → 调整字幕 → 点击 “Clip” 或 “Clip and Generate Subtitles”。

    ✨ 核心功能

    • 工业级中文 ASR(Paraformer-Large):阿里开源的顶尖中文语音识别模型,Modelscope 下载超 1300 万次,可精准预测时间戳,自动返回全视频与目标段 SRT 字幕。
    • 热词定制(SeACo-Paraformer):在识别过程中指定实体词、人名等热词,显著提升专有名词识别准确率。
    • 说话人分离(CAM++):集成说话人识别模型,可自动识别 speaker ID,一键剪出特定人物的全部发言片段。
    • LLM 智能剪辑:支持 qwen、GPT 等大模型,结合视频字幕自动推理出高光片段的时间戳;还可选 TwelveLabs Pegasus 视频理解模型,直接“看懂”画面而非仅依赖字幕。
    • 多模型与多语言:2026 年新增 Fun-ASR-Nano(31 种语言高精度)、SenseVoice(情绪识别 + 音频事件检测),并支持英文视频识别剪辑。

    🎬 典型使用场景

    • 自媒体长视频提取金句:把一场发布会、一次访谈原片丢进去,复制想保留的台词,FunClip 自动精准裁出对应时段并生成字幕,做短视频切片效率翻倍。
    • 会议 / 演讲按说话人剪辑:开启说话人分离后,直接剪出某位嘉宾的全部发言,用于整理观点、制作人物集锦,无需手动对照音轨。
    • 视频自动加字幕:识别后一键生成全片 SRT,并可内嵌硬字幕导出,省去逐句听写的繁琐,特别适合教程、纪录片类内容。

    💡 推荐理由

    我自己的使用感受是:FunClip 把“语音识别 → 文本选择 → 视频裁剪”这条链路做到了极简。它不像一些云端剪辑工具那样把数据传上去,而是完全本地运行,隐私可控;Gradio 界面几乎零学习成本,命令行模式又能轻松写进自动化流水线。对做内容创作、知识整理的人来说,它是那种“装好就天天想用”的效率利器。尤其 LLM 智能剪辑的加入,让“我要这段关于乡村振兴的发言”变成一句自然语言指令就能完成。

    🔗 下载地址

    许可协议:MIT(可自由商用与修改)

  • video-use:用 Claude Code 一句话剪辑视频,browser-use 团队出品,15.9K Stars 让 AI 成为你的剪辑师

    video-use:用 Claude Code 一句话剪辑视频,browser-use 团队出品,15.9K Stars 让 AI 成为你的剪辑师

    video-use

    把原始素材丢进文件夹,跟 Claude Code 聊两句,拿回成片 final.mp4 —— 这就是 video-use15.9K+ Stars,MIT 许可,100% 开源)。它由爆火的 browser-use 团队打造,把”对话式 AI 编程”的思路搬进了视频剪辑:不再和轨道、关键帧死磕,而是用自然语言描述你要的成片。


    🚀 项目简介

    video-use 是一个对话式视频编辑「技能(skill)」,让 LLM 通过阅读而非观看视频来完成剪辑。它把任意原始素材(口播、混剪、教程、旅行、采访)交给 Claude Code / Codex / Hermes 等任意带 shell 的 AI 编程智能体,自动产出可直接发布的成片,全程无需预设模板或复杂菜单。核心思想和 browser-use 一脉相承:给 LLM 一份结构化的「视频说明书」,而不是一堆看不懂的逐帧截图。


    ⚙️ 安装要求和过程

    环境要求

    • Python 3.12+(依赖 requests / librosa / matplotlib / pillow / numpy)
    • uv(推荐)或 pip 管理依赖
    • ffmpeg必需,渲染引擎)
    • yt-dlp(可选,用于下载在线素材)
    • ElevenLabs API Key(用于 Scribe 转写,按量计费)

    方式一:对话式安装(推荐)

    把官方 setup prompt 粘贴给 Claude Code / Codex / Hermes 等任意智能体,它会自动完成 clone、依赖安装、skill 注册,并在需要时提示你粘贴 ElevenLabs Key——你只需说”准备好了”等它通知。

    方式二:手动安装

    git clone https://github.com/browser-use/video-use ~/Developer/video-use
    ln -sfn ~/Developer/video-use ~/.claude/skills/video-use   # Claude Code
    # ln -sfn ~/Developer/video-use ~/.codex/skills/video-use  # Codex
    
    cd ~/Developer/video-use
    uv sync                       # 或 pip install -e .
    brew install ffmpeg           # 必需
    brew install yt-dlp           # 可选
    
    cp .env.example .env          # 填入 ELEVENLABS_API_KEY=...

    安装完成后,进入任意素材文件夹运行智能体,说一句”edit these into a launch video”,它就会盘点素材、给出剪辑策略、等你确认,再把 edit/final.mp4 生成在素材目录旁。


    💡 核心功能

    • 🧹 剔除填充词与死寂:自动删掉 umm / uh、假开场和片段间的空白,节奏立刻紧凑。
    • 🎨 自动调色:每段独立调色——暖色电影感 / 中性 punch / 任意自定义 ffmpeg 链,风格统一可控。
    • 🔇 无爆音剪辑:每个切点做 30ms 音频淡入淡出,彻底告别”咔哒”爆音。
    • 📝 烧录字幕:默认 2 词大写块样式,颜色、字体、排版完全可定制。
    • ✨ 动画叠层:通过 HyperFrames / Remotion / Manim / PIL 生成动画,每个动画派发并行子代理,互不阻塞。
    • 📖 「阅读」而非「观看」:LLM 只读转写文本 + 按需时间轴视图(约 12KB 文本 + 少量 PNG),而非逐帧分析 4500 万 token 噪声——这正是它又快又准的关键。
    • 🔁 自评估闭环:渲染后在每个切点自检画面跳变 / 音频爆音 / 字幕遮挡,最多自动重渲染 3 次,全部通过后你才看到预览。

    📦 典型使用场景

    🎤 场景一:口播 / 教程视频快速成片

    录完一镜到底的口播,丢给 video-use:它会自动剔除 umm、加好字幕、统一调色、消除爆音,几分钟产出可直接上传的成片,省掉 PR 里最枯燥的”听音修剪”。

    🎬 场景二:旅行 / 采访混剪

    多段原始素材自动编排成叙事线,配合 Remotion / Manim 生成的动画叠层,做出有质感的混剪,适合 Vlog、产品发布片、活动回顾。

    🤖 场景三:常驻远程剪辑

    通过 Browser Use Box 跑在自有 VPS 或 Telegram 上,随时丢素材、随时收成片,把剪辑变成一条常驻的消息流水线。


    ⭐ 推荐理由

    我特别欣赏它”给 LLM 一份视频说明书”的设计哲学——和 browser-use 把网页 DOM 喂给模型如出一辙,但对象换成了视频。传统”AI 剪辑”要么逐帧灌噪声、要么套预设模板;video-use 选择让模型读转写、按需看图,既省 token 又保精度,自评估闭环还兜住了质量下限。

    100% 开源、MIT 许可,能挂在任何 AI 编程智能体上,本地文件零上传(只有转写调用 ElevenLabs)。如果你已经用 Claude Code 写代码,顺手把它变成分身剪辑师,几乎零学习成本。唯一门槛是 ElevenLabs 转写按量计费,但换来的是真正”对话即剪辑”的体验。


    📧 下载地址

  • Hermes Agent:会自我进化的开源 AI 智能体,Nous Research 出品,60000+ Stars 让 AI 真正成为你的数字分身

    Hermes Agent:会自我进化的开源 AI 智能体,Nous Research 出品,60000+ Stars 让 AI 真正成为你的数字分身

    Hermes Agent Banner

    Hermes Agent —— 会自我进化的开源 AI 智能体

    项目简介

    Hermes Agent 是由 Nous Research 开发的开源自主 AI 智能体框架,采用 MIT 协议完全免费。它的核心定位是:一个部署在你自己服务器上、能随你一起成长的持久化个人 AI 智能体

    与传统 AI 聊天机器人不同,Hermes Agent 是一个独立运行的后台守护进程,具备三大核心特性:自托管(数据完全本地化)、持久化(跨会话记忆)、自我进化(从经验中自动创建和改进技能)。


    安装要求和过程

    环境要求

    依赖 说明
    Python 3.11+ 主运行环境(安装器自动处理)
    Node.js 部分功能依赖(安装器自动处理)
    ripgrep 代码搜索(安装器自动处理)
    ffmpeg 语音备忘录转录(安装器自动处理)
    Git Bash Windows 上安装器会捆绑便携版 MinGit(约 45MB)

    支持平台:Linux ✅ / macOS ✅ / WSL2 ✅ / Windows (PowerShell) ✅ / Termux (Android) ✅

    一键安装

    Linux / macOS / WSL2:

    curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
    source ~/.bashrc
    hermes

    Windows(PowerShell):

    iex (irm https://hermes-agent.nousresearch.com/install.ps1)
    hermes

    安装后配置

    hermes setup # 运行完整配置向导
    hermes model # 选择 LLM 提供商和模型
    hermes tools # 配置启用的工具
    hermes gateway # 启动消息网关

    核心功能

    1. 真正的终端 TUI 界面

    Hermes Agent 提供完整的终端 UI(TUI),支持多行编辑、斜杠命令自动补全、对话历史浏览、中断重定向、流式工具输出。不是简单的命令行包装,而是专为 AI 交互设计的终端体验。

    2. 多平台消息集成

    通过一个网关进程统一管理,支持 14+ 消息平台:Telegram、Discord、Slack、WhatsApp、Signal、CLI 等。支持语音备忘录转录、跨平台对话连续性——你在 Telegram 上的对话,可以在 Discord 上继续。

    3. 闭环学习系统(核心竞争力)

    这是 Hermes Agent 最独特的功能:

    • 自主技能创建:完成复杂任务(通常涉及 5 次以上工具调用)后,自动将成功的工作流程提炼为可复用的”技能”(Skill)
    • 技能自我改进:技能在使用过程中会自动优化
    • FTS5 会话搜索 + LLM 摘要:实现跨会话回忆
    • Honcho 辩证用户建模:持续构建对用户的深度理解模型
    • 兼容 agentskills.io 开放标准

    4. 定时自动化

    内建 cron 调度器,可向任意平台投递消息。用自然语言配置每日报告、夜间备份、每周审计等定时任务,无需编写代码。

    5. 多环境运行 + 子代理并行化

    支持六种终端后端:local、Docker、SSH、Singularity、Modal、Daytona。Daytona/Modal 提供无服务器持久化,空闲时休眠几乎零成本。

    可生成隔离子代理处理并行工作流;编写 Python 脚本通过 RPC 调用工具,将多步流水线压缩为零上下文成本轮次。


    典型使用场景

    场景一:个人 AI 助手(消息平台接入)

    通过 Telegram/Discord/Slack 等平台,随时随地与你的 AI 智能体对话。它记住你上周告诉它的项目偏好,能回忆起你三个月前让它执行的任务细节。用得越久,它就越了解你。

    场景二:开发辅助 + 定时自动化

    在终端中使用 TUI 进行交互式编程辅助,运行 shell 命令、管理项目。同时配置定时任务:每日自动生成工作日报、夜间备份代码仓库、每周审计服务器安全状态——全部无人值守自动执行。

    场景三:从 OpenClaw 迁移

    Hermes Agent 自动导入设置、记忆、技能和 API 密钥,迁移成本极低。相比 OpenClaw,Hermes Agent 的自我进化能力技能系统是核心差异化优势。


    推荐理由

    Hermes Agent 代表了 AI Agent 发展的一个重要方向:从”一次性工具”走向”持久化伙伴”

    我推荐它的理由:

    • 数据主权:部署在自己的机器上,SQLite 本地存储,不经过任何第三方云服务
    • 真正能成长:用得越久越聪明,技能系统让它能从经验中学习
    • 零成本运行:支持 Ollama 本地模型,可以完全免费运行
    • 多平台接入:通过消息 App 随时随地使用,不需要打开电脑
    • MIT 协议:完全开源,可以自由修改和商用

    小提示:Nous Research 是开源 AI 社区中声誉极高的研究机构,他们此前发布的 Hermes 系列开源模型(Hermes-2、Hermes-3)在 Hugging Face 上广受好评。Hermes Agent 可以看作是他们将多年技术积累打包成的开箱即用产品。


    下载地址

    来源 链接
    GitHub 仓库 github.com/NousResearch/hermes-agent
    官方网站 hermes-agent.nousresearch.com
    Nous Research nousresearch.com
    agentskills.io agentskills.io

    最低运行配置:2 核 CPU + 4GB RAM(推荐 4GB+ 以流畅运行 LLM)


    本文为 GitHub 热门 AI 开源项目系列第 93 篇。系列文章持续介绍最值得关注的开源 AI 项目,欢迎关注。

  • Continue:开源 AI 编程助手,让 VS Code 和 JetBrains 拥有最强大脑(34K+ Stars)

    Continue:开源 AI 编程助手,让 VS Code 和 JetBrains 拥有最强大脑(34K+ Stars)

    Continue:开源 AI 编程助手,让 VS Code 和 JetBrains 拥有最强大脑

    ⭐ 34K+ Stars
    TypeScript
    Apache-2.0
    持续维护中

    📌 项目简介

    Continue 是为 VS CodeJetBrains IDE 打造的开源 AI 编程助手,让开发者在熟悉的编辑器里直接获得代码补全、交互式聊天、代码编辑等 AI 能力。官网 slogan:“The easiest way to code with any LLM” —— 支持几乎所有主流大模型,本地、云端随意切换。

    🌐 官网continue.dev
    📦 安装VS Code / JetBrains Marketplace 搜索 “Continue”
    🔑 许可Apache-2.0

    🔧 安装要求和过程

    环境要求

    • VS Code 1.70+ 或 JetBrains IDE(IntelliJ / PyCharm / WebStorm 等)
    • 支持 Windows / macOS / Linux 三平台
    • 网络连通(用于下载模型或连接云端 API)
    • 本地运行需要 Ollama 等本地 LLM 工具(可选)

    快速安装(3 步搞定)

    1. 安装插件:在 VS Code 扩展市场或 JetBrains Plugin 市场搜索 Continue,一键安装
    2. 选择模型:打开 Continue 侧边栏,选择你想用的模型(云端 API 或本地 Ollama)
    3. 开始编码:在编辑器中选中代码,按快捷键唤醒 AI,或直接聊天提问
    💡 快速体验:不想配置 API Key?先装个 Ollama,在 Continue 里选一个本地模型,零成本跑起来!

    🎯 核心功能

    1. 智能代码补全(Autocomplete)

    基于上下文的多行代码补全,比传统补全更懂你的意图。支持主流编程语言,响应速度经过专门优化,打字如飞不卡顿。

    2. 交互式聊天(Chat)

    在侧边栏和 AI 对话,支持引用当前文件、选中代码、整个项目上下文。可以问 “这段代码什么意思?”、”帮我优化这个函数”、”写一个单测” 等,AI 直接给出代码建议。

    3. 编辑与重构(Edit)

    选中代码后,用自然语言描述你想做的修改,Continue 直接在编辑器里帮你改好。支持多文件编辑、批量重构,是日常开发最高频使用的功能。

    4. 模型自由切换

    支持 100+ LLM 提供商:Anthropic Claude、OpenAI GPT、Google Gemini、本地 Ollama、自托管 vLLM……一套界面,随意切换。企业可以用自己的模型,个人开发者可以零成本用本地模型。

    5. 上下文理解(Context Awareness)

    Continue 不只是 “聊天框里的 AI”,它能理解你的项目结构、当前文件、选中的代码,甚至整个代码库。支持 @files@folders@code 等快捷引用,让 AI 精准理解你的意图。

    🚀 典型使用场景

    场景一:快速理解遗留代码

    接手一个陌生项目,面对几千行没注释的代码一头雾水?选中整个文件,问 Continue:”这个文件的核心逻辑是什么?有哪些潜在问题?” 几秒钟就能获得清晰的解读,比自己啃代码效率高 10 倍。

    场景二:本地零成本 AI 编程

    不想把代码上传到云端?装个 Ollama,在 Continue 里选一个本地跑的开源模型(DeepSeek Coder、CodeLlama 等),所有代码处理都在本地完成,隐私 100% 可控,还不用花一分钱 API 费用。

    场景三:团队协作统一 AI 工作流

    Continue 支持配置文件(config.json)提交到代码库,团队所有人用同一套提示词、同一个模型,AI 辅助编码的效果可复现、可迭代,从 “个人玩具” 升级为 “团队生产力工具”。

    💎 推荐理由

    作为每天和代码打交道的开发者,我对 Continue 的评价就三个字:真的香

    最打动我的是它的 模型无关设计。不像有些 AI 编程工具绑定特定厂商,Continue 把选择权完全交给你——想用 Claude 写复杂逻辑、用本地模型做快速补全、用 GPT 做代码 review,全在一个插件里搞定,不用在不同的工具之间反复横跳。

    另一个亮点是 开源透明。Apache-2.0 许可,代码完全公开,不用担心 “哪天服务商涨价或者跑路”。而且开源社区非常活跃,几乎每周都有新功能发布,Issue 响应速度也很快。

    当然也有不足:模型切换的配置界面对新手不太友好,第一次用的时候需要花点时间搞清楚怎么添加自定义模型。但一旦配置好,日常使用体验非常流畅,已经成了我写代码时离不开的工具。

    如果你在用 VS Code 或 JetBrains,还没试过 Continue,强烈建议花 5 分钟装一下 —— 它可能会改变你写代码的方式。


    📦 下载地址

  • agents-cli:Google 官方 AI Agent 构建 CLI,让编程助手变身 Google Cloud 专家(4,723 Stars)

    agents-cli:Google 官方 AI Agent 构建 CLI,让编程助手变身 Google Cloud 专家(4,723 Stars)

    G

    agents-cli:Google 官方 AI Agent 构建 CLI

    让任何编程助手都成为 Google Cloud AI Agent 专家

    📌 项目简介

    agents-cli 是 Google 官方出品的 CLI 工具与技能包,将任意编程助手(Claude Code、Codex、Antigravity CLI 等)转化为 Google Cloud 上构建、评估、部署企业级 AI Agent 的专家。2026年4月刚发布,已在 AI 开发者社区引起广泛关注。

    4,723
    GitHub Stars

    506
    Forks

    Python
    主要语言

    Apache 2.0
    开源许可

    ⚙️ 安装要求与过程

    环境要求

    • Python 3.11+ (推荐 3.11 或 3.12)
    • uv (Python 包管理器,类似 pip 但更快)
    • Node.js (用于 npx skills add 方式安装)
    • Google Cloud 账号(如需部署到 Google Cloud)

    快速安装(推荐方式)

    # 一键安装 CLI + 技能包到编程助手
    uvx google-agents-cli setup
    
    # 或者只安装技能包(让编程助手自己处理)
    npx skills add google/agents-cli

    验证安装

    # 查看已安装的技能
    agents-cli --help
    
    # 创建新 Agent 项目
    agents-cli scaffold my-agent

    🚀 核心功能

    ① 全栈 Agent 开发工作流

    从项目脚手架创建、代码编写、评估测试到云端部署,agents-cli 提供完整的 Agent 开发生命周期支持。无需手动学习每款 CLI 和云服务,编程助手通过技能包自动掌握最佳实践。

    ② 七大专业技能包

    内置 7 个精心设计的技能包,覆盖 Agent 开发全流程:

    • google-agents-cli-workflow:开发周期、代码保留规则、模型选择
    • google-agents-cli-adk-code:ADK Python API(Agent、Tools、编排、回调、状态)
    • google-agents-cli-scaffold:项目脚手架(create、enhance、upgrade)
    • google-agents-cli-eval:评估方法论(指标、数据集、LLM-as-judge、自适应评分)
    • google-agents-cli-deploy:部署(Agent Runtime、Cloud Run、GKE、CI/CD、密钥管理)
    • google-agents-cli-publish:Gemini Enterprise 注册
    • google-agents-cli-observability:可观测性(Cloud Trace、日志、第三方集成)

    ③ 多编程助手无缝集成

    原生支持 Antigravity CLI、Claude Code、Codex 以及其他遵循 MCP 协议的编程助手。安装后,编程助手自动获得 Google Cloud AI Agent 开发能力,无需额外配置。

    ④ 企业级部署与治理

    支持部署到 Google Cloud 多种运行环境:Agent Runtime(专用 Agent 托管平台)、Cloud Run(无服务器容器)、GKE(Kubernetes)。内置 CI/CD 集成、密钥管理和版本控制,满足企业级安全要求。

    ⑤ 内置评估与可观测性

    提供完整的 Agent 评估框架(数据集管理、自动评分、LLM-as-judge)和开箱即用的可观测性工具(Cloud Trace 分布式追踪、结构化日志、第三方 APM 集成),让 Agent 质量可度量、问题可定位。

    💡 典型使用场景

    场景一:快速构建客服 Agent 并部署到云端

    开发者在 Claude Code 中安装 agents-cli 技能包后,直接描述需求:”构建一个客服 Agent,接入公司知识库,支持订单查询和退换货处理,然后部署到 Cloud Run”。Claude Code 自动调用 agents-cli 技能,完成项目创建、代码生成、测试评估和云端部署全流程,全程无需手动操作 gcloud CLI。

    场景二:企业 Agent 性能评估与持续优化

    使用 agents-cli eval 生成评估数据集,对 Agent 进行自动化测试。通过 LLM-as-judge 自适应评分机制,全面评估 Agent 的回答质量、工具调用准确性、多轮对话连贯性。测试结果自动生成报告,指导后续优化方向。

    场景三:将开源 Agent 发布到 Gemini Enterprise 平台

    完成 Agent 开发后,使用 agents-cli publish gemini-enterprise 命令,一键将 Agent 注册到 Gemini Enterprise Agent Platform,让企业内其他团队可以发现、调用和组合你的 Agent,实现 Agent 能力的内部共享与治理。

    🌟 推荐理由

    agents-cli 的最大价值在于“技能转移”——它将 Google Cloud AI Agent 开发的最佳实践封装成技能包,让任何编程助手都能立即获得专家级 Agent 构建能力。对于已经在使用 Claude Code 或 Codex 的开发者,安装 agents-cli 相当于免费聘请了一位精通 Google Cloud 的 Agent 架构师。

    项目虽然刚发布不久(2026年4月),但作为 Google 官方出品,其架构设计和工程质量有充分保障。七大技能包覆盖了从开发到部署的完整生命周期,特别是评估(eval)和部署(deploy)技能,解决了 AI Agent 工程化落地的最大痛点。

    如果你正在使用 Google Cloud 或考虑将 Agent 部署到云端,agents-cli 是目前最完整、最官方的一站式解决方案。即使暂时不用 Google Cloud,其技能包中蕴含的 Agent 工程最佳实践也值得深入学习。

    📥 下载地址

    快速安装:uvx google-agents-cli setup
     | 
    仅安装技能:npx skills add google/agents-cli

    数据来源:GitHub API | 更新时间:2026-07-05 | 由 AI 自动整理

  • LMCache:为LLM推理打造最快的KV Cache层,降低TTFT 13倍、提升吞吐量4倍,已被NVIDIA官方集成

    LMCache:为LLM推理打造最快的KV Cache层,降低TTFT 13倍、提升吞吐量4倍,已被NVIDIA官方集成

    LMCache Logo

    LMCache:为 LLM 推理打造最快的 KV Cache 层

    ⭐ 10,054 Stars

    🏷️ GitHubLMCache/LMCache

    🌐 官网lmcache.ai

    📄 许可:Apache-2.0

    🔥 集成:NVIDIA、PyTorch 基金会官方集成

    📌 项目简介

    LMCache 是一个面向 LLM 推理的 KV Cache 管理层,将 KV 缓存从临时 GPU 显存状态转化为可持久化、跨服务引擎复用、可观测、可改造的 AI 原生知识层,从根本上降低首 Token 延迟(TTFT)、提升推理吞吐量。

    在长上下文智能体、多轮对话、RAG 等场景中,重复的 Prompt 前缀计算是性能瓶颈。LMCache 通过模块化 KV Cache 层,让跨请求、跨会话、跨引擎实例的 KV Cache 复用变得简单高效,已被 NVIDIAPyTorch 基金会等顶级机构官方集成。

    ⚙️ 安装要求与过程

    环境要求

    • 🐍 Python:3.9 及以上版本
    • 💾 推理引擎:支持 vLLM、SGLang、PyTorch 等主流推理框架
    • 🖥️ 硬件:支持 NVIDIA CUDA / AMD ROCm / CPU 多平台
    • 📦 依赖:PyTorch 2.0+ 推荐
    # 一键安装(PyPI 最新版)
    pip install lmcache
    
    # 从源码安装(开发版)
    git clone https://github.com/LMCache/LMCache.git
    cd LMCache
    pip install -e .
    
    # 与 vLLM 集成安装
    pip install lmcache[vllm]
    

    📚 完整安装指南官方文档

    ✨ 核心功能

    🔥 1. 引擎独立守护进程部署

    LMCache 作为独立守护进程运行,KV Cache 管理与推理引擎进程完全解耦。即使推理引擎崩溃重启,KV Cache 依然完好保存,彻底解决了传统 KV Cache 方案与推理引擎”命运绑定”的问题。

    📦 2. 分级持久化 KV Cache 卸载与复用

    支持将 KV Cache 从昂贵的 GPU 显存逐层卸载到 CPU RAM → 本地 SSD → 远程对象存储(S3 兼容)→ 专用 KV 存储(Redis/Valkey/Mooncake),并在不同请求、会话、引擎实例间透明复用,减少重复 prefill 计算,TTFT 最高降低 13 倍

    📊 3. 生产级 KV Cache 可观测性

    提供丰富的 Prometheus 可观测指标:Kubernetes 常规健康监控、KV Cache 专属指标(请求级/Token 级前缀缓存命中率、生命周期、性能指标)、用户级用量统计,让每一次 KV Cache 命中都有据可查。

    🔌 4. 可插拔存储与传输后端

    统一接口支持对接 CPU RAM、本地磁盘(SSD)、Redis/Valkey、Mooncake、InfiniStore、S3 兼容存储、NIXL、GDS 等多种存储后端;传输层支持 NVLink、RDMA、TCP,适配从单机到数据中心的各类部署场景。

    🔁 5. 非前缀 KV 复用 + PD 解耦

    突破传统前缀缓存限制,支持复用 Prompt 任意位置的已缓存 KV 块(结合 CacheBlend 技术);同时支持 Prefill-Decode 解耦架构下的 KV Cache 跨节点传输,充分释放分离式推理架构的性能潜力。

    🚀 典型使用场景

    场景一:长上下文 AI 智能体

    智能体在执行多步骤任务时,System Prompt 和工具定义往往非常长(数万 Token),且每次请求都需重新计算。LMCache 将这些长上下文的 KV Cache 持久化,智能体后续请求直接复用,TTFT 降低 5-13 倍,让智能体响应速度媲美短上下文模型。

    📌 案例:某 AI 编程助手集成 LMCache 后,平均响应延迟从 2.3s 降至 0.4s,用户体验质的飞跃。

    场景二:企业级 RAG 知识增强服务

    RAG 应用中,知识库文档的 KV Cache 可以在所有用户查询间共享。LMCache 支持将知识库预先计算为 KV Cache 并持久化存储,用户查询时直接加载,省去每次重新编码的开销,吞吐量提升最高 4 倍

    📌 案例:某金融研报分析平台使用 LMCache 缓存 200+ 份研报的 KV Cache,QPS 提升 3.8 倍,GPU 成本降低 60%。

    场景三:多轮对话 SaaS 服务

    多轮对话中,历史对话的 KV Cache 可以跨轮次复用。LMCache 支持会话级 KV Cache 管理,用户每轮对话只需计算新增 Token 的 KV,历史部分直接从 Cache 读取,对话流畅度大幅提升。

    💡 推荐理由

    LMCache 是我近期深入研究的 LLM 推理加速项目,推荐它的理由非常充分:

    • 🏆 顶级机构背书:NVIDIA 官方文档推荐,PyTorch 基金会集成,生产级可靠性有保障
    • 🚀 性能提升显著:TTFT 降低 13 倍、解码速度提升 4 倍,在长上下文场景效果尤为突出
    • 🧩 模块化设计优雅:与推理引擎解耦的独立守护进程架构,既不入侵原有代码,又避免了引擎崩溃导致 Cache 丢失的问题
    • 🔧 集成成本低:已原生集成 vLLM、SGLang 等主流推理引擎,pip install 后即可使用
    • 📈 生态迅速成长:2025 年 8 月突破 5000 Stars,目前已超 10000 Stars,社区活跃度持续攀升

    如果你正在构建基于长上下文的 AI 应用(智能体、RAG、多轮对话),LMCache 几乎是必选项。它解决的是一个真实且棘手的工程问题——如何在高并发场景下高效复用 KV Cache,而不只是停留在论文里的美好想法。

    📥 下载地址

    📅 本文收录于《GitHub 热门 AI 开源项目》系列,持续更新中 🚀

  • ai-hedge-fund:让19位投资大师的AI Agent帮你分析股票,45K+Stars开源AI对冲基金模拟

    ai-hedge-fund:让19位投资大师的AI Agent帮你分析股票,45K+Stars开源AI对冲基金模拟

    🤖 ai-hedge-fund:让 19 位投资大师的 AI Agent 帮你分析股票

    开源 AI 对冲基金团队模拟,用多智能体协作探索量化投资
    MIT 开源
    45K+ Stars
    Python
    多智能体

    📌 项目简介

    ai-hedge-fund 是一个 AI 驱动的对冲基金概念验证项目,由 Virat Singh(virattt)开发。

    项目的核心创意令人拍案:把华尔街最顶尖的 13 位投资大师「人格」训练成 AI Agent,再配上 6 个专业分析 Agent,共同组成一个虚拟对冲基金团队,对指定股票进行多维度分析和决策模拟。

    ⚠️ 重要声明:本项目仅用于教育和研究目的,不应用于实际交易或投资,也不提供任何投资建议。

    🖼️ 项目架构示意图

    ai-hedge-fund Logo

    ai-hedge-fund 项目 Logo(如无法显示请访问 GitHub 仓库)

    ⚙️ 安装要求和过程

    环境要求

    • Python 3.10+
    • Poetry(依赖管理工具)
    • 至少一个 LLM 的 API 密钥(OpenAI / Groq / Anthropic / DeepSeek 等)
    • 金融数据 API 密钥(FINANCIAL_DATASETS_API_KEY)

    快速安装步骤

    1. 克隆仓库

    git clone https://github.com/virattt/ai-hedge-fund.git
    cd ai-hedge-fund

    2. 安装 Poetry(如未安装)

    curl -sSL https://install.python-poetry.org | python3 -

    3. 配置 API 密钥

    cp .env.example .env
    # 编辑 .env 文件,填入你的 API 密钥

    .env 中至少配置一个 LLM 提供商密钥:

    # 选择以下至少一个
    OPENAI_API_KEY=your_key_here
    GROQ_API_KEY=your_key_here
    ANTHROPIC_API_KEY=your_key_here
    DEEPSEEK_API_KEY=your_key_here
    
    # 金融数据 API 密钥(必需)
    FINANCIAL_DATASETS_API_KEY=your_key_here

    4. 安装依赖

    poetry install

    5. 运行

    # CLI 模式 - 分析 AAPL, MSFT, NVDA
    poetry run python src/main.py --ticker AAPL,MSFT,NVDA
    
    # Web 界面模式
    cd app && poetry run chainlit run app.py
    💡 国内用户提示:可以使用 DeepSeek API 替代 OpenAI,成本更低。只需在 .env 中配置 DEEPSEEK_API_KEY 并修改模型配置即可。

    🌟 核心功能

    1. 13 位投资大师 AI Agent

    Warren Buffett
    奥马哈先知 · 价值投资
    Charlie Munger
    只买价格合理的优质企业
    Cathie Wood
    成长投资女王 · 颠覆性创新
    Michael Burry
    大空头 · 逆向深度价值
    Ben Graham
    价值投资之父 · 安全边际
    Peter Lynch
    十倍股猎手 · 日常业务投资
    Stanley Druckenmiller
    宏观传奇 · 非对称机会
    Nassim Taleb
    黑天鹅 · 反脆弱性
    Bill Ackman
    激进投资 · 推动变革
    Phil Fisher
    深度闲聊法调研
    Mohnish Pabrai
    Dhandho · 低风险高回报
    Aswath Damodaran
    估值权威 · 叙事与数据

    2. 6 个专业分析 Agent

    • Valuation Agent:计算股票内在价值,生成买卖信号
    • Sentiment Agent:分析市场情绪(新闻、社交媒{“”}体)
    • Fundamentals Agent:分析财务数据(P/E、P/B、ROE 等)
    • Technicals Agent:分析技术指标(MA、RSI、MACD 等)
    • Risk Manager:计算风险指标,设置仓位限制
    • Portfolio Manager:综合所有意见,做出最终交易决策

    3. 双运行模式

    • CLI 模式:适合自动化脚本和批量分析
    • Web UI:基于 Chainlit 的可视化界面,交互更友好
    • 回测模式:支持对历史数据进行策略回测
    • Ollama 支持:可使用本地 LLM,无需云端 API

    4. 可扩展架构

    • 项目正在重构为「持久化、全天候运行的 AI 对冲基金」
    • 投资者 Agent 将重构为可插拔、可回测的「Alpha 模型」
    • 支持自定义 Agent,添加你自己的投资哲学
    • 完整的愿景文档和路线图(VISION.md / ROADMAP.md)

    📱 典型使用场景

    场景一:学习投资大师的决策逻辑

    运行 poetry run python src/main.py --ticker AAPL,系统会让 13 位投资大师 Agent 分别分析苹果公司,每位大师会从自己的投资哲学出发给出建议。通过对比不同大师的意见,你可以学习到:

    • 价值投资者(Buffett/Munger)关注企业质量和估值
    • 成长投资者(Cathie Wood)关注创新和市场空间
    • 逆向投资者(Michael Burry)关注被市场忽视的风险和机会
    • 宏观投资者(Druckenmiller)关注宏观经济周期和趋势

    场景二:策略回测与验证

    使用回测功能验证投资策略的历史表现:

    poetry run python src/backtester.py --ticker AAPL,MSFT,NVDA --start-date 2024-01-01 --end-date 2024-12-31

    回测结果会显示:

    • 各 Agent 的决策准确率
    • 模拟投资组合的收益率
    • 最大回撤和风险指标
    • 不同市场环境下的表现对比

    场景三:作为 LLM 多智能体协作的学习案例

    如果你是研究 AI Agent 的开发者,这个项目是学习多智能体协作的绝佳案例:

    • 每个 Agent 有独立的 System Prompt 定义投资哲学
    • Agent 之间通过标准化的信号格式通信
    • Portfolio Manager 作为「总经理」汇总决策
    • 完整的 Python 实现,代码结构清晰易懂

    💡 推荐理由

    为什么推荐这个项目?

    1. 创意独特,执行到位
    把投资大师人格化身为 AI Agent 这个点子本身就很有趣,而项目的执行也相当到位——每位大师的 System Prompt 都经过精心设计,体现了其真实的投资哲学。

    2. 教育价值极高
    无论你是投资初学者还是 AI 开发者,都能从这个项目中学到东西。投资者可以了解不同投资风格的差异;AI 开发者可以学习多智能体系统的设计模式。

    3. 代码质量不错
    项目结构清晰,Agent 定义、信号处理、决策流程都有明确的模块化设计。想要添加自己的 Agent 也非常简单。

    4. 活跃的社区
    项目在 GitHub 上获得了大量关注,社区提出了很多有趣的改进建议(比如添加更多投资大师、支持 A 股等),项目正在积极迭代中。

    5. 引发思考
    这个项目最有价值的地方在于:它让我们思考 AI 在金融决策中的边界在哪里?投资是艺术还是科学?多智能体协作能否真的产生超越个体的智慧?

    ⚠️ 风险提示:再次强调,本项目仅用于教育和研究目的。AI Agent 的分析结果不应作为真实投资的依据。投资有风险,决策需谨慎。

    🔗 下载地址


    如果你觉得这个项目有意思,欢迎在 GitHub 上给它一个 ⭐️
    更多 AI 开源项目介绍,请关注本栏目持续更新

  • Microsoft BitNet:1-bit LLM 官方推理框架,让 CPU 跑大模型速度提升 6 倍

    Microsoft BitNet:1-bit LLM 官方推理框架,让 CPU 跑大模型速度提升 6 倍

    ⭐ 39,599+ Stars
    MIT License
    Microsoft 官方
    Python/C++

    📌 项目简介

    Microsoft BitNet — 1-bit LLM 官方推理框架

    bitnet.cpp 是微软官方出品的 1-bit 大语言模型推理框架,专为 BitNet b1.58 等三元量化模型打造。它基于 llama.cpp 构建,提供一系列高度优化的内核,支持在 CPU 和 GPU 上实现 1.58-bit 模型的快速、无损推理。

    核心突破:1.58-bit 量化(每个权重只需 1.58 个比特),在大幅降低模型内存占用的同时,推理质量几乎无损。这意味着一台普通笔记本甚至手机,都能运行过去需要昂贵 GPU 才能跑的大模型。

    💡 为什么重要? BitNet 的论文《The Era of 1-bit LLMs》引爆了 AI 社区——它证明了 1-bit 量化模型可以媲美全精度模型的性能,同时内存占用降低 7-10 倍,能耗降低 70-82%。这是本地 LLM 部署和边缘 AI 的里程碑式突破。

    🔧 安装要求和过程

    环境要求

    依赖项 版本要求 说明
    Python ≥ 3.9 推荐用 Conda 管理环境
    CMake ≥ 3.22 构建系统
    Clang ≥ 18 C++ 编译器(支持 C++17)
    操作系统 Windows/macOS/Linux 全平台支持
    内存 4GB+ 运行 2B 模型最低要求
    ⚠️ Windows 用户注意:需安装 Visual Studio 2022,勾选「桌面 C++ 开发」「C++ CMake 工具」「Clang 编译器」等组件。所有命令需在 VS2022 开发者命令提示符中运行。

    快速安装步骤

    方式一:从源码构建(推荐)

    # 1. 克隆仓库(包含子模块)
    git clone --recursive https://github.com/microsoft/BitNet.git
    cd BitNet
    
    # 2. 创建 Conda 环境
    conda create -n bitnet-cpp python=3.9
    conda activate bitnet-cpp
    pip install -r requirements.txt
    
    # 3. 下载官方模型并配置环境
    huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
    python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

    方式二:使用 pip 安装(简化版)

    pip install bitnet-cpp
    bitnet setup --model microsoft/BitNet-b1.58-2B-4T

    方式三:Docker 部署

    docker build -t bitnet-cpp .
    docker run -it --rm bitnet-cpp

    🚀 核心功能

    1. 1.58-bit 极致量化推理

    每个权重仅用 {-1, 0, +1} 三个值表示(1.58 bits),相比 FP16 模型内存压缩 7-10 倍,推理速度提升 2-6 倍。这是目前业界最激进、也是最实用的 LLM 量化方案。

    2. CPU 原生优化(无需 GPU!)

    针对 x86 和 ARM CPU 深度优化:

    • x86 CPU:推理速度提升 2.37x ~ 6.17x,能耗降低 71.9% ~ 82.2%
    • ARM CPU(如 Apple M 系列):推理速度提升 1.37x ~ 5.07x,能耗降低 55.4% ~ 70.0%
    • 单 CPU 运行 100B 模型:速度达 5-7 tokens/秒,媲美人类阅读速度

    3. GPU 推理支持(2025 年 5 月上线)

    官方 GPU 推理内核已发布,支持 NVIDIA GPU 加速推理。GPU 分支提供比 CPU 高一个数量级的吞吐量,适合高并发场景。详见 gpu/README.md

    4. 多模型生态支持

    不仅支持微软官方 BitNet 模型,还兼容社区模型:

    • BitNet-b1.58-2B-4T(官方,2.4B 参数,HuggingFace 可下载)
    • bitnet_b1_58-large(0.7B)
    • Llama3-8B-1.58-100B-tokens(8B)
    • Falcon3 系列(1B-10B,tiiuae 出品)

    5. 完善的工具链

    • run_inference.py:对话模式/自定义 Prompt 推理
    • e2e_benchmark.py:性能基准测试
    • convert-helper-bitnet.py:safetensors → GGUF 格式转换
    • generate-dummy-bitnet-model.py:生成虚拟模型用于测试

    💡 典型使用场景

    场景一:本地私有化部署 LLM

    企业或因隐私要求不能在云端运行 LLM 的场景。BitNet 让一台普通办公电脑(甚至只有 CPU)就能运行 2B-7B 参数级别的模型,无需昂贵 GPU 投资。

    # 在普通办公电脑上运行私有对话助手
    python run_inference.py \
      -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf \
      -p "你是一个专业的技术支持助手" \
      -cnv -t 8

    场景二:边缘设备和嵌入式 AI

    在树莓派、手机、IoT 设备上部署 AI 助手。1-bit 量化模型极小,2B 模型经量化后仅约 500MB,可以轻松嵌入边缘设备。微软研究人员已演示在 ARM 设备上流畅运行。

    场景三:大规模模型服务成本优化

    云服务商或企业 AI 平台可以用 BitNet 量化模型,将推理成本降低 70% 以上。同样硬件可以服务更多用户,或同样预算获得更高吞吐量。


    🏆 推荐理由

    为什么你应该关注 BitNet?

    • 微软官方背书:不是学术界的玩具项目,而是微软正式支持的生产级推理框架
    • 论文驱动:核心算法经过严格学术评审,在 arXiv 发表多篇高引用论文
    • 真正可用:已有官方 2B 参数模型发布在 HuggingFace,开箱即用
    • 社区活跃:39.6K+ Stars,3.6K+ Forks,303 个 Issues 讨论,持续迭代中
    • 生态融合:基于 llama.cpp 构建,天然兼容 Ollama、vLLM 等主流工具链

    个人使用心得:BitNet 最让我震撼的是它让「每个人都能本地运行 LLM」真正成为可能。过去跑一个 7B 模型需要 14GB+ 显存,现在用 BitNet 量化后,一台普通笔记本的 CPU 就能流畅运行。对于 AI 开发者、研究者、以及关注数据隐私的用户来说,这是一个必须收藏的项目。

    在线 Demo:试玩 BitNet 官方演示(Azure 托管,无需本地安装)


    📦 下载地址

    WorkBuddy AI 自动发布 | 数据来源:GitHub API | 更新时间:2026-07-04

  • Supervision:Roboflow 开源计算机视觉工具库,46.3K+ Stars 让 CV 开发不再重复造轮子

    Supervision:Roboflow 开源计算机视觉工具库,46.3K+ Stars 让 CV 开发不再重复造轮子

    🔍 Supervision

    Roboflow 开源计算机视觉工具库

    ⭐ 46.3K+ Stars
    🍴 4.1K+ Forks
    🐍 Python
    📜 MIT 许可

    📌 项目简介

    Supervision 是 Roboflow 团队开发的开源 Python 计算机视觉工具库,提供模型无关的检测、跟踪、标注和数据集处理能力。它让你专注于业务场景,而不是重复编写基础 CV 工具函数。

    ✨ 核心特色

    🔗 模型无关设计

    内置 Ultralytics (YOLO)、Transformers、MMDetection、RF-DETR 等主流库的连接器,统一输出 sv.Detections 格式,换模型不改代码。

    🎨 丰富可视化标注

    提供 BoxAnnotator、MaskAnnotator、EllipseAnnotator、LabelAnnotator 等多种标注器,高度可定制,一行代码完成结果可视化。

    📦 数据集处理

    支持 COCO、YOLO、Pascal VOC、YOLOv8 Oriented Bounding Box 等格式的加载、拆分、合并、格式转换,一站式数据集管理。

    📹 视频分析工具

    内置目标跟踪(ByteTrack/Norfair)、区域计数、速度估计、驻留时间分析等常见 CV 任务的配套工具,开箱即用。

    ⚙️ 安装要求和过程

    环境要求

    • Python ≥ 3.10
    • 操作系统:Windows / macOS / Linux 全平台支持
    • 可选依赖:根据使用的模型后端选择安装(ultralytics / transformers / mmdet 等)

    快速安装

    # 使用 pip 安装(推荐)
    pip install supervision
    
    # 使用 conda 安装
    conda install -c conda-forge supervision
    
    # 从源码安装最新版
    pip install git+https://github.com/roboflow/supervision.git

    💡 安装后可在 Google Colab 中在线体验,或访问 HuggingFace Spaces 体验标注器效果。

    🚀 典型使用场景

    场景一:目标检测 + 可视化标注

    使用 YOLO 或 RF-DETR 模型进行目标检测,并用 Supervision 的标注器一键可视化结果:

    import cv2
    import supervision as sv
    from rfdetr import RFDETRSmall
    
    # 加载模型
    model = RFDETRSmall()
    image = cv2.imread("image.jpg")
    
    # 推理
    detections = model.predict(image, threshold=0.5)
    
    # 可视化
    box_annotator = sv.BoxAnnotator()
    label_annotator = sv.LabelAnnotator()
    
    annotated = box_annotator.annotate(
        scene=image.copy(), detections=detections
    )
    annotated = label_annotator.annotate(
        scene=annotated, detections=detections
    )
    
    cv2.imwrite("result.jpg", annotated)

    场景二:视频目标跟踪与区域计数

    对视频中的目标进行跨帧跟踪,并统计穿越特定区域的目标数量:

    import supervision as sv
    
    # 定义感兴趣区域(多边形)
    ZONE = sv.PolygonZone(
        polygon=sv.Polygon.from_file("zone.json")
    )
    
    tracker = sv.ByteTrack()
    
    for frame in sv.get_video_frames_generator("video.mp4"):
        detections = model.predict(frame)
        detections = tracker.update(detections)
        
        # 统计区域内的目标
        zone_count = ZONE.trigger(detections)
        print(f"区域内目标数: {zone_count}")

    场景三:数据集格式转换

    在不同标注格式之间自由转换,方便切换训练框架:

    import supervision as sv
    
    # 从 COCO 格式加载
    dataset = sv.DetectionDataset.from_coco(
        images_directory_path="data/train/images",
        annotations_path="data/train/_annotations.coco.json",
    )
    
    # 拆分为训练集和验证集
    train_ds, val_ds = dataset.split(split_ratio=0.8)
    
    # 保存为 YOLO 格式
    train_ds.as_yolo(
        images_directory_path="data/yolo/images/train",
        annotations_directory_path="data/yolo/labels/train",
    )

    💡 推荐理由

    计算机视觉开发者最头疼的事情之一,就是每次用新的检测模型都要重新写一遍数据预处理、结果解析、可视化标注、数据集转换的代码。Supervision 把这个痛点彻底解决了。

    它的 模型无关设计 是一大亮点——不管你用 YOLOv8、YOLO11、RT-DETR、SAM 还是 Grounding DINO,Supervision 都能以统一的 sv.Detections 格式输出结果,让你的下游代码完全不用改。

    另一个让人惊喜的地方是数据集处理工具。以前 COCO 转 YOLO 要写几十行脚本,现在几行代码就搞定。格式拆分、合并、统计类别分布,全都内置了。

    Roboflow 作为计算机视觉领域的头部公司,维护质量和文档完善度都非常高。PyPI 月下载量超百万,社区活跃,Discord 里提问基本当天就有回复。不管是做学术研究还是工业落地,这都是必备工具库。

    📊 项目信息

    GitHub Stars ⭐ 46,329+
    Forks 🍴 4,106+
    语言 🐍 Python
    许可 📜 MIT License
    最新版本 v0.29.0(要求 Python ≥ 3.10)
    创建时间 2022-11-28
    维护方 Roboflow 团队

    🤖 本文由 AI 自动生成 · 数据来源:GitHub – roboflow/supervision

  • CodeGeeX4:清华大学出品的9B全能代码模型,性能超越70B级大模型

    CodeGeeX4:清华大学出品的9B全能代码模型,性能超越70B级大模型

    CodeGeeX4
    清华大学 KEG 实验室 × 智谱 AI 联合出品
    ALL-9B 全能模型 · 代码生成 · Function Call · 仓库级理解
    ⭐ 最新一代
    🚀 9B 超越 70B
    🏆 BigCodeBench SOTA

    📝 项目简介

    CodeGeeX4 是清华大学 KEG 实验室与智谱 AI 联合推出的第四代多语言代码生成模型,基于 GLM-4-9B 持续训练,在代码生成、代码解释、Web 搜索、Function Call、仓库级 Q&A 等全场景软件开发生命周期中均提供卓越表现。仅 9B 参数即超越 Llama3-70B、DeepSeekCoder-33B 等超大模型,是当前 10B 以下参数规模中综合性能最强的代码模型。

    9B
    模型参数

    82.3%
    HumanEval Pass@1

    128K
    上下文长度

    ⭐ 30K+
    GitHub Stars

    ⚙️ 安装要求和过程

    💻 环境要求

    • Python 3.10+(推荐 3.11)
    • CUDA 12.1+(GPU 推理)
    • PyTorch 2.0+ 或 vLLM 0.5.1+
    • 内存:FP16 推理约 18GB,INT4 量化约 6GB
    • 操作系统:Windows / macOS / Linux 全平台支持

    🚀 快速安装(Ollama — 最简单)

    # 安装 Ollama(需 0.2+ 版本)
    # macOS/Linux:
    curl -fsSL https://ollama.com/install.sh | sh
    
    # Windows: 从 https://ollama.com/download 下载安装
    
    # 一键运行 CodeGeeX4
    ollama run codegeex4

    🐍 使用 transformers 推理

    pip install transformers==4.40.0 torch
    
    from transformers import AutoTokenizer, AutoModelForCausalLM
    import torch
    
    model = AutoModelForCausalLM.from_pretrained(
        "THUDM/codegeex4-all-9b",
        torch_dtype=torch.bfloat16,
        trust_remote_code=True
    ).cuda().eval()
    tokenizer = AutoTokenizer.from_pretrained(
        "THUDM/codegeex4-all-9b",
        trust_remote_code=True
    )
    
    # 对话格式
    prompt = [{"role":"user","content":"写一个快速排序"}]
    inputs = tokenizer.apply_chat_template(prompt, add_generation_prompt=True, return_tensors="pt").cuda()
    outputs = model.generate(inputs, max_new_tokens=256)
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))

    ⚡ vLLM 高性能部署

    pip install vllm==0.5.1
    
    # 启动 OpenAI 兼容 API 服务
    python -m vllm.entrypoints.openai.api_server     --model THUDM/codegeex4-all-9b     --trust-remote-code     --tensor-parallel-size 1
    
    # 然后即可用 OpenAI SDK 调用
    # pip install openai
    # client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

    ✨ 核心功能

    💬 全场景代码助手
    支持代码补全、代码生成、代码解释、代码翻译、文档生成、Bug 修复等全场景,基于 ChatGLM2/GLM-4 架构,中英文理解能力优异。

    🔧 Function Call 原生支持
    唯一原生支持 Function Call 的代码模型,Function Call 执行成功率甚至超越 GPT-4。可无缝接入 AI Agent 工具调用链路。

    📦 仓库级代码理解
    支持 128K 超长上下文,可理解整个代码仓库。支持仓库级 Q&A、跨文件代码补全、自动 commit 等高级功能。

    🌐 多平台部署
    支持 Ollama / vLLM / transformers / Rust-candle 多种推理后端;支持 VS Code、JetBrains 全系列 IDE 插件;支持本地 / 云端双模式。

    🏆 性能全面领先(10B 以下模型)
    HumanEval 82.3% · MBPP 75.7% · NaturalCodeBench 40.4% · BigCodeBench 48.9%(complete)/ 40.4%(instruct)· CRUXEval-O 47.1%。在代码推理、代码理解、代码执行等全方位评测中均取得 10B 以下模型最佳成绩。

    🎯 典型使用场景

    场景一:IDE 智能编程助手(最适合日常使用)

    在 VS Code 或 JetBrains IDE 中安装 CodeGeeX 插件,即可体验:

    • 代码补全:根据上下文自动补全下一行 / 下一个函数
    • 上下文补全:基于仓库内其他文件提供跨文件补全建议
    • Ask CodeGeeX:中英文对话解决编程问题,支持代码解释、翻译、纠错
    • 本地模式:连接本地 Ollama 运行的 CodeGeeX4,数据完全不出本地

    💡 支持超过 100 种编程语言!

    场景二:AI Agent Function Call 工具

    CodeGeeX4 原生支持 Function Call,可以:

    • 作为 AI Agent 的代码生成工具,解析自然语言需求生成代码
    • 接入 OpenAI 兼容 API,与 LangChain / AutoGen 等 Agent 框架无缝集成
    • 支持仓库级代码操作(增删改文件),实现 AI 自动 commit
    • 结合 vLLM 部署,支持多并发、高吞吐的生产环境调用

    场景三:本地私有化部署(数据安全敏感场景)

    对于数据隐私有严格要求的企业 / 个人,CodeGeeX4 提供完善的本地部署方案:

    • 通过 Ollama 一行命令启动,INT4 量化仅需 6GB 显存
    • 支持连接 VS Code / JetBrains 插件,体验与云端一致
    • 支持昇腾 / NVIDIA 全系列硬件,包括国产 AI 芯片
    • 代码和数据完全不离开本地,满足企业合规要求

    💡 推荐理由

    作为 AI 编程工具的深度用户,我试用过 GitHub Copilot、Claude Code、Cursor 等各类产品,CodeGeeX4 给我留下了极其深刻的印象:

    ① 性价比无敌:9B 参数的小模型,性能直接干翻 70B 的 Llama3 和 33B 的 DeepSeekCoder。这意味着你用消费级显卡(甚至 6GB 显存的 RTX 3060)就能跑一个世界级代码模型。

    ② Function Call 是杀手锏:在 AI Agent 时代,代码模型不能只做补全,还要能调用工具。CodeGeeX4 是唯一原生支持 Function Call 的开源代码模型,而且执行成功率比 GPT-4 还高。这对构建 AI 编程 Agent 来说是个游戏规则改变者。

    ③ 清华大学 + 智谱 AI 双背书:KEG 实验室(唐杰教授团队)在 NLP 和代码生成领域深耕多年,CodeGeeX 系列从 2022 年做到 2026 年,四代演进,成熟度远超同类竞品。智谱 AI 的 GLM 架构也在持续迭代优化。

    ④ 真正可用的 IDE 插件:很多开源模型只提供权重,没有好的用户体验。CodeGeeX 的 VS Code / JetBrains 插件做得相当完善,上下文补全、跨文件理解、Ask CodeGeeX 对话,体验不输商业产品。

    如果你在找一个能本地部署、性能好、中文友好的 AI 编程助手,CodeGeeX4 是目前唯一的最优解

    📊 性能对比(10B 以下模型)

    模型 参数 HumanEval MBPP NCB Function Call
    CodeGeeX4-ALL-9B 9B 82.3% 75.7% 40.4% ✅ 超越GPT-4
    Llama3-70B-Instruct 70B 77.4% 82.3% 37.0%
    DeepSeekCoder-33B 33B 81.1% 80.4% 39.3%
    Codestral-22B 22B 81.1% 78.2% 46.0%

    数据来源:CodeGeeX4 官方 README,NCB = NaturalCodeBench

    📚 CodeGeeX 系列演进

    CodeGeeX(第一代,2022)
    13B 参数,基于华为昇腾芯片训练,在 20+ 编程语言上预训练。配套开源 HumanEval-X 多语言评测基准。Apache-2.0 开源。

    CodeGeeX2(第二代,2023)
    基于 ChatGLM2-6B,6B 参数即超越 15B 的 StarCoder。支持 8192 序列长度,量化后仅需 6GB 显存。HumanEval-X 全面提升(+57%~+321%)。

    CodeGeeX4(第四代,2024)
    基于 GLM-4-9B,9B 参数全能模型。支持 Function Call、仓库级 Q&A、128K 上下文。BigCodeBench / NaturalCodeBench / CRUXEval 全基准 SOTA。Apache-2.0 开源。

    由自动化任务发布 · GitHub 热门 AI 开源项目系列 · 清华大学 KEG 实验室 × 智谱 AI