标签: LLM

  • vLLM:82.1k Stars!高性能LLM推理引擎,让大模型部署又快又省

    vLLM:82.1k Stars!高性能LLM推理引擎,让大模型部署又快又省





    vLLM:82.1k Stars!高性能LLM推理引擎,让大模型部署又快又省

    配图

    vLLM Logo

    项目简介

    vLLM 是一个面向所有人的易用、快速、低成本的LLM服务引擎,提供高吞吐量、内存高效的推理能力,让大语言模型的生产部署变得简单高效。

    安装要求和过程

    环境要求

    • 操作系统:Linux(推荐)或 macOS
    • Python:3.8 – 3.12
    • GPU:NVIDIA GPU(CUDA 7.0+)或 AMD GPU(ROCm 5.6+)
    • CPU:x86、ARM 或 PowerPC(支持 CPU 推理)

    快速安装步骤

    方法一:使用 uv 安装(推荐)

    uv pip install vllm
        

    方法二:使用 pip 安装

    pip install vllm
        

    方法三:从源码构建

    git clone https://github.com/vllm-project/vllm.git
        cd vllm
        pip install -e .
        

    验证安装

    python -c "import vllm; print(vllm.__version__)"
        

    核心功能

    1. 业界领先的推理吞吐量
      基于 PagedAttention 技术高效管理注意力键值内存,支持连续批处理、分块预填充、前缀缓存等优化技术,单GPU即可实现超高并发推理服务。
    2. 丰富的量化方案支持
      原生支持 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF 等多种量化格式,在保证模型质量的同时大幅降低显存占用和推理延迟。
    3. 无缝的 Hugging Face 集成
      直接加载 Hugging Face 上 200+ 模型架构,包括 Llama、Qwen、Gemma、Mixtral、DeepSeek-V3 等热门模型,无需任何适配代码。
    4. 分布式推理支持
      支持张量并行、流水线并行、数据并行、专家并行、上下文并行,可轻松扩展到大模型多卡、多机部署场景。
    5. 多模态模型支持
      不仅支持纯文本LLM,还支持 LLaVA、Qwen-VL、Pixtral 等多模态模型,满足图文理解、视觉问答等复杂场景需求。

    典型使用场景

    场景一:企业级大模型API服务

    某 AI 创业公司需要将 Qwen2.5-72B 模型部署为 OpenAI 兼容的 API 服务,供前端应用调用。

    解决方案:使用 vLLM 启动兼容 OpenAI API 的服务器,仅需一行命令:

    vllm serve Qwen/Qwen2.5-72B-Instruct --tensor-parallel-size 4
        

    启动后自动提供与 OpenAI 完全兼容的 API,现有代码无需修改即可切换到底层模型,同时享受 vLLM 带来的 3-5倍吞吐量提升。

    场景二:本地开发与环境测试

    开发者需要在本地机器上快速测试不同 LLM 的能力,评估哪个模型最适合自己的应用场景。

    解决方案:使用 vLLM 的 Python API 或 LLM 类,像使用 transformers 一样简单:

    from vllm import LLM, SamplingParams
        
        # 初始化模型
        llm = LLM(model="meta-llama/Llama-3.1-8B-Instruct")
        
        # 设置生成参数
        params = SamplingParams(temperature=0.7, max_tokens=256)
        
        # 批量推理
        prompts = ["解释量子计算", "写一个快速排序"]
        outputs = llm.generate(prompts, params)
        
        for output in outputs:
            print(output.prompt, output.outputs[0].text)
        

    推荐理由

    作为一名经常需要部署和测试大模型的开发者,vLLM 已经成为我工具箱里不可或缺的利器。之前每次部署新模型都要折腾好几天,要么显存不够,要么吞吐量上不去,要么就是跟各种推理框架的适配问题。

    vLLM 最大的价值在于它真的能做到开箱即用。你从 Hugging Face 上找到的模型,基本上扔给 vLLM 就能跑,不用自己写适配代码,不用深入研究模型架构。特别是它的 PagedAttention 技术,真的把显存利用率拉满了,同样一张 A100,用 vLLM 能服务的并发请求数是之前的好几倍。

    另外很赞的一点是它的量化支持特别全面。现在模型越来越大,不量化根本跑不起来。vLLM 支持的量化格式特别多,AWQ、GPTQ、GGUF 这些主流的都有,而且量化后的精度损失控制得很好,实际业务里基本感觉不出来。

    如果你正在做 LLM 相关的项目,不管是创业做 AI 产品,还是企业里搭私有化部署,vLLM 都值得一试。它现在基本上是业界标准了,82.1k 的 Stars 不是白来的。

    下载地址


    如果你觉得这个项目有帮助,欢迎到 GitHub 上点个 Star,支持开源社区的发展!


  • LiteLLM:49.4K Stars!统一100+ LLM API网关,让多模型调用不再碎片化

    LiteLLM:49.4K Stars!统一100+ LLM API网关,让多模型调用不再碎片化

    LiteLLM

    📌 项目简介

    LiteLLM 是 BerriAI 团队维护的开源 AI 网关,为 100+ 大语言模型提供统一访问接口,支持 OpenAI 格式调用,内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目,Stripe、Netflix、Google ADK 等大厂均在用。

    🔧 安装要求和过程

    环境要求

    • Python 3.8+ 环境
    • 推荐使用 uv 包管理器(也可使用 pip
    • 本地开发额外依赖:docker-compose(用于启动数据库、Prometheus 等依赖服务)

    快速安装步骤

    # 1. 克隆仓库
    git clone https://github.com/BerriAI/litellm.git && cd litellm
    
    # 2. 安装开发依赖
    make install-dev
    
    # 3. 初始化虚拟环境
    python -m venv .venv
    # Linux/Mac:
    source .venv/bin/activate
    # Windows:
    .venv\Scripts\activate
    uv sync --all-extras --group proxy-dev
    
    # 4. 生成 Prisma 客户端
    uv run prisma generate && prisma generate
    
    # 5. 启动本地服务(后端)
    python litellm/proxy/proxy_cli.py
    
    # 6. 启动前端(另开终端)
    cd ui/litellm-dashboard && npm install && npm run dev

    💡 Docker 快速启动:

    docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 berriai/litellm:latest

    🚀 核心功能

    🌐 统一 LLM 调用

    支持 100+ LLM 厂商(OpenAI、Anthropic、AWS Bedrock、Azure、Google Vertex AI、Cohere、HuggingFace、vLLM、NVIDIA NIM 等),所有调用兼容 OpenAI API 格式,切换模型无需修改业务代码。

    🛡️ AI 网关能力

    虚拟 API 密钥管理、多租户成本跟踪、负载均衡、重试/fallback 逻辑、安全防护规则、调用日志,并提供 管理后台 UI可视化监控。

    🤖 智能体(A2A)支持

    支持调用 LangGraph、Azure AI Foundry、Bedrock AgentCore 等平台的智能体,提供 A2A 协议适配,可统一接入各类智能体服务。

    🔗 MCP 工具桥接

    可将 MCP 服务器的工具转换为 OpenAI 格式 tool 定义,直接对接任意 LLM;支持通过网关统一代理 MCP 工具调用。

    🏢 企业级特性

    单点登录(SSO)、自定义集成、专属支持、SLA 保障、功能优先级定制。高性能:1k RPS 场景下 P95 延迟仅 8ms

    💡 典型使用场景

    场景一:多模型切换,代码零改动

    开发阶段使用 GPT-4o 快速验证,生产环境切换到 Claude Sonnet,只需修改 model 参数,业务代码无需任何改动:

    # 同一套代码,切换不同模型
    from litellm import completion
    
    response = completion(
        model="openai/gpt-4o",
        messages=[{"role": "user", "content": "Hello!"}]
    )
    
    response = completion(
        model="anthropic/claude-sonnet-4-20250514",
        messages=[{"role": "user", "content": "Hello!"}]
    )

    场景二:企业 LLM 调用管理与成本跟踪

    为不同团队/项目分配虚拟 API 密钥,按维度统计 LLM 调用花费,设置安全防护规则(如屏蔽敏感词、限制调用频率),所有调用日志可视化。

    知名用户包括:Stripe、Netflix、Google ADK、Grepile、OpenHands、OpenAI Agents SDK。

    场景三:MCP 工具无缝对接 LLM

    通过 LiteLLM 的 MCP 工具桥接功能,可以将任何 MCP 服务器的工具转换为 OpenAI 格式,让任意 LLM 都能调用这些工具,无需为每个 LLM 单独适配。

    💬 推荐理由

    LiteLLM 解决了 AI 应用开发中最痛点的问题之一——多厂商 LLM 接口不统一。以前需要为每个厂商写一套调用代码,现在只需一套 OpenAI 格式代码,通过 model="anthropic/claude-sonnet-4-20250514" 这样的格式就能无缝切换。

    对于需要调用多个 LLM 的应用(比如 AI Agent 系统),LiteLLM 几乎是标配组件。Stripe、Netflix、Google ADK 等大厂都在用,说明其稳定性和性能已经过生产验证。

    最打动我的一点:它不只做模型路由,还内置了成本跟踪、负载均衡、安全防护等企业级功能,真正把”调用 LLM”这件事做成了一个完整的网关产品,而不只是一个简单的路由库。

    LiteLLM – 让100+ LLM 调用,从此只有一种方式。

  • supermemory:25.6K Stars!AI时代记忆引擎,让AI真正记住你

    supermemory:25.6K Stars!AI时代记忆引擎,让AI真正记住你

    配图

    supermemory


    项目简介

    supermemory 是一个专为AI时代设计的记忆引擎,解决AI助手”转头就忘”的痛点。它能自动从对话中提取事实、维护用户画像、支持混合搜索(RAG+记忆),在LongMemEval、LoCoMo、ConvoMem三大基准测试中均排名第一。


    安装要求和过程

    环境要求

    环境 要求
    Node.js v18+
    Python 3.9+
    API Key supermemory.ai 控制台获取

    快速安装

    方式一:MCP服务器(推荐,无需写代码)

    # Claude/Cursor/Windsurf 一键安装
    npx -y install-mcp@latest https://mcp.supermemory.ai/mcp --client claude --oauth=yes
    

    方式二:API调用(开发者)

    # Node.js/TypeScript
    npm install supermemory
    
    # Python
    pip install supermemory
    

    方式三:官方应用(零代码)

    访问 app.supermemory.ai 直接使用,支持浏览器扩展、Discord机器人等多种接入方式。


    核心功能

    功能 说明
    自动记忆管理 从对话中自动提取事实,处理信息矛盾(如”搬到旧金山”覆盖”住在纽约”),自动遗忘过期内容,单次调用约50ms
    用户画像维护 自动维护稳定事实(偏好、习惯)+ 近期活动上下文,两大维度合并,让AI真正”认识你”
    混合搜索 单条查询同时支持RAG(知识库检索)+ 记忆检索,一次性返回文档结果和个性化上下文
    多平台连接器 支持Google Drive、Gmail、Notion、OneDrive、GitHub等平台自动同步,支持实时webhook更新
    多模态内容提取 支持PDF、图片(OCR)、视频(转录)、代码(AST感知分块)等内容的上传和解析

    典型使用场景

    场景一:给Claude/Cursor加上”永久记忆”

    通过MCP服务器接入后,AI助手会自动调用 memory 工具保存重要信息,调用 recall 工具搜索历史记忆。你说出”我喜欢TypeScript函数式编程”,AI下次写代码时会自动遵循这个偏好,不再需要每次重复背景。

    场景二:为AI产品构建上下文栈

    通过单个API调用获得完整的上下文能力,无需自己配置向量数据库、embedding管道、分块策略。Vercel AI SDK、LangChain、LangGraph、OpenAI Agents SDK等主流框架均可直接嵌入,几行代码完成集成。

    场景三:企业知识库+个人记忆融合

    supermemory的混合搜索模式,让AI既能检索企业知识库文档(RAG),又能记住每个用户的个性化偏好和历史对话(记忆),两种能力融合,特别适合企业AI助手、客服机器人等场景。


    推荐理由

    AI助手的”失忆症”是 currently 最大的体验短板——每次新对话都要重新介绍背景,让人疲惫。supermemory 把这个痛点打穿了。

    我实际测试下来,最打动我的是混合搜索设计:它不是简单的RAG检索,而是把”知识库文档”和”用户记忆”放在同一次查询里返回,AI的回答既有知识依据、又有个性化上下文,体验差距非常明显。

    另外,MCP服务器的接入方式对普通用户极其友好——一条命令让Claude Desktop、Cursor、Windsurf等工具全部获得持久记忆,不需要写任何代码,这才是AI基础设施该有的样子。

    三大基准测试全部排名第一,说明这个方向的技术路线是扎实的,不是噱头。


    下载地址

    来源 链接
    GitHub仓库 github.com/supermemoryai/supermemory(25.6K ⭐)
    官方网站 supermemory.ai
    文档中心 supermemory.ai/docs
    控制台 console.supermemory.ai
    npm包 npmjs.com/package/supermemory
    PyPI包 pypi.org/project/supermemory

    开源协议:MIT | 主要语言:TypeScript | 最后更新:2026年6月

  • Chroma:43.1K Stars!开源向量数据库,让AI应用拥有长期记忆

    Chroma Banner

    开源向量数据库 · 让AI拥有长期记忆

    📦 项目简介

    Chroma 是专为AI应用打造的开源嵌入式向量数据库,让大模型拥有”长期记忆”。它通过简单的Python/JavaScript API,帮助你快速存储、查询和检索文本Embedding向量,是构建RAG(检索增强生成)应用的首选基础设施。

    🔗 GitHub:chroma-core/chroma ⭐ Stars:43.1K+ 📄 协议:Apache 2.0

    🔧 安装要求和过程

    环境要求

    依赖 要求
    Python ≥ 3.8(推荐 3.10+)
    内存 ≥ 4GB(生产环境建议 8GB+)
    存储 ≥ 1GB 可用空间
    可选后端 SQLite(默认)、DuckDB(分析场景)

    快速安装(3行代码搞定)

    pip install chromadb
    
    import chromadb
    client = chromadb.Client()  # 开箱即用!

    Docker 部署(生产推荐)

    docker run -d --name chroma \
      -p 8000:8000 \
      ghcr.io/chroma-core/chroma:latest

    部署后访问 http://localhost:8000 即可使用 HTTP API。

    🔩 核心功能

    功能 说明
    多模态向量搜索 支持文本、图像、音频的 Embedding 存储与相似度检索
    多客户端 SDK Python、JavaScript/TypeScript、REST API 全覆盖
    全文+向量混合搜索 结合关键词匹配与语义搜索,提升召回率
    内置 Embedding 函数 默认集成 Sentence Transformers,无需外部 API
    持久化存储 支持本地持久化、DuckDB 后端,数据不丢失

    💡 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业文档、知识库存入 Chroma,用户提问时先检索相关片段,再送给 LLM 生成答案。相比直接问 LLM,准确率提升 40%+,幻觉大幅减少。

    # RAG 核心代码(不到 20 行!)
    collection = client.create_collection("docs")
    collection.add(
        documents=["公司报销流程...", "年假申请..."],
        ids=["1", "2"]
    )
    results = collection.query(query_texts=["如何报销?"], n_results=1)
    # results 包含最相关的文档片段

    场景二:AI Agent 长期记忆

    让 AutoGPT、CrewAI 等 Agent 框架拥有跨会话记忆。将历史对话的 Embedding 存入 Chroma,下次对话时自动检索上下文,实现”越用越懂你”。

    场景三:语义推荐系统

    电商、内容平台的”猜你喜欢”,用 Chroma 存储商品/内容向量,用户行为向量实时检索最相似物品,推荐相关度远超协同过滤。

    🌟 推荐理由

    Chroma 是我见过最易上手的向量数据库,没有之一。不需要学 SQL,不需要配置复杂集群,pip install 之后 3 行代码就能跑起来。

    相比 Pinecone 等托管服务,Chroma 完全开源、可自托管,数据不出门,合规零风险。相比 Faiss,它提供了完整的 CRUD API 和持久化,不用每次重启都重新建索引。

    如果你正在做 RAG、AI 搜索、推荐系统,或者想给 Agent 加上记忆,Chroma 是目前开发体验最好的选择。LangChain、LlamaIndex、Supabase 都已官方集成,生态非常成熟。

    📥 下载地址

    渠道 链接 / 命令
    GitHub 仓库 github.com/chroma-core/chroma
    官网文档 docs.trychroma.com
    PyPI 安装 pip install chromadb
    npm 安装 npm install chromadb
    Docker 镜像 ghcr.io/chroma-core/chroma:latest

    — 开源项目第52期 | 夜野飞云 —

  • Chroma:43.1K Stars!开源向量数据库,让AI应用拥有长期记忆

    Chroma:43.1K Stars!开源向量数据库,让AI应用拥有长期记忆

    Chroma Banner

    开源向量数据库 · 让AI拥有长期记忆

    📦 项目简介

    Chroma 是专为AI应用打造的开源嵌入式向量数据库,让大模型拥有”长期记忆”。它通过简单的Python/JavaScript API,帮助你快速存储、查询和检索文本Embedding向量,是构建RAG(检索增强生成)应用的首选基础设施。

    🔗 GitHub:chroma-core/chroma ⭐ Stars:43.1K+ 📄 协议:Apache 2.0

    🔧 安装要求和过程

    环境要求

    依赖 要求
    Python ≥ 3.8(推荐 3.10+)
    内存 ≥ 4GB(生产环境建议 8GB+)
    存储 ≥ 1GB 可用空间
    可选后端 SQLite(默认)、DuckDB(分析场景)

    快速安装(3行代码搞定)

    pip install chromadb
    
    import chromadb
    client = chromadb.Client()  # 开箱即用!

    Docker 部署(生产推荐)

    docker run -d --name chroma \
      -p 8000:8000 \
      ghcr.io/chroma-core/chroma:latest

    部署后访问 http://localhost:8000 即可使用 HTTP API。

    🔩 核心功能

    功能 说明
    多模态向量搜索 支持文本、图像、音频的 Embedding 存储与相似度检索
    多客户端 SDK Python、JavaScript/TypeScript、REST API 全覆盖
    全文+向量混合搜索 结合关键词匹配与语义搜索,提升召回率
    内置 Embedding 函数 默认集成 Sentence Transformers,无需外部 API
    持久化存储 支持本地持久化、DuckDB 后端,数据不丢失

    💡 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业文档、知识库存入 Chroma,用户提问时先检索相关片段,再送给 LLM 生成答案。相比直接问 LLM,准确率提升 40%+,幻觉大幅减少。

    # RAG 核心代码(不到 20 行!)
    collection = client.create_collection("docs")
    collection.add(
        documents=["公司报销流程...", "年假申请..."],
        ids=["1", "2"]
    )
    results = collection.query(query_texts=["如何报销?"], n_results=1)
    # results 包含最相关的文档片段

    场景二:AI Agent 长期记忆

    让 AutoGPT、CrewAI 等 Agent 框架拥有跨会话记忆。将历史对话的 Embedding 存入 Chroma,下次对话时自动检索上下文,实现”越用越懂你”。

    场景三:语义推荐系统

    电商、内容平台的”猜你喜欢”,用 Chroma 存储商品/内容向量,用户行为向量实时检索最相似物品,推荐相关度远超协同过滤。

    🌟 推荐理由

    Chroma 是我见过最易上手的向量数据库,没有之一。不需要学 SQL,不需要配置复杂集群,pip install 之后 3 行代码就能跑起来。

    相比 Pinecone 等托管服务,Chroma 完全开源、可自托管,数据不出门,合规零风险。相比 Faiss,它提供了完整的 CRUD API 和持久化,不用每次重启都重新建索引。

    如果你正在做 RAG、AI 搜索、推荐系统,或者想给 Agent 加上记忆,Chroma 是目前开发体验最好的选择。LangChain、LlamaIndex、Supabase 都已官方集成,生态非常成熟。

    📥 下载地址

    渠道 链接 / 命令
    GitHub 仓库 github.com/chroma-core/chroma
    官网文档 docs.trychroma.com
    PyPI 安装 pip install chromadb
    npm 安装 npm install chromadb
    Docker 镜像 ghcr.io/chroma-core/chroma:latest

    — 开源项目第52期 | 夜野飞云 —

  • NextChat:88K Stars!轻量极速的跨平台AI对话界面,让AI助手触手可及

    NextChat:88K Stars!轻量极速的跨平台AI对话界面,让AI助手触手可及

    NextChat 是一款轻量极速的开源AI对话界面,支持 GPT-4、Claude 3、Gemini Pro 等十余种主流大模型,提供 Web、iOS、Mac、Android 全平台客户端,让你一键拥有属于自己的私人AI助手。

    NextChat 界面预览

    NextChat 优雅的对话界面

    🚀 项目简介

    NextChat(原名 ChatGPT-Next-Web)是一个基于 Next.js + React 构建的跨平台 AI 聊天机器人 Web UI。项目从2023年发布至今,已获得 88K+ Stars,成为 GitHub 上最受欢迎的开源 AI 对话前端之一。

    它的设计理念是:快、轻、美。整个应用打包后仅约 5MB(Tauri 桌面端),网页端更是做到了极致的加载速度和响应体验。

    NextChat 多模型支持

    📦 安装要求和过程

    环境要求

    • Web 部署:Node.js 18+ 或 Vercel 账号(推荐)
    • 桌面端:Windows / macOS / Linux
    • 移动端:iOS 15+ / Android 8+
    • API Key:需要 OpenAI / Claude / Gemini 等任一模型的 API Key

    快速安装 – 三种方式

    方式一:Vercel 一键部署(推荐)

    最快的方式,5秒钟完成部署:

    1. 访问 NextChat GitHub 仓库
    2. 点击 Deploy with Vercel 按钮
    3. 登录 Vercel,fork 项目并部署
    4. 在 Vercel 环境变量中添加你的 OPENAI_API_KEY
    5. 部署完成!获得你的私人 ChatGPT 域名

    方式二:Docker 部署

    # 拉取镜像并运行
    docker run -d -p 3000:3000   -e OPENAI_API_KEY="你的API密钥"   -e CODE="可选:设置访问密码"   yidadaa/chatgpt-next-web
    
    # 访问 http://localhost:3000 即可使用
    

    方式三:本地开发

    # 克隆项目
    git clone https://github.com/ChatGPTNextWeb/NextChat.git
    
    # 进入目录
    cd NextChat
    
    # 安装依赖
    npm install
    
    # 启动开发服务器
    npm run dev
    
    # 访问 http://localhost:3000
    

    💡 核心功能

    1. 多模型支持,一个界面搞定所有AI

    NextChat 最大的优势在于统一接口。你可以在同一个界面中切换:

    • OpenAI:GPT-3.5, GPT-4, GPT-4o, GPT-4 Turbo
    • Anthropic Claude:Claude 3 Haiku, Sonnet, Opus
    • Google:Gemini Pro, Gemini Ultra
    • 国内模型:DeepSeek, 通义千问, 文心一言, 讯飞星火
    • 本地模型:Ollama, LM Studio (通过 OpenAI 兼容接口)

    这意味着你可以用同一个界面,根据不同的任务选择最合适的模型 —— 写代码用 GPT-4,聊天用 Claude,节省成本用 DeepSeek。

    2. 极速响应,本地存储保护隐私

    NextChat 在性能优化上做到了极致:

    • 首屏加载 < 1秒:得益于 Next.js 的 SSR 和静态生成
    • 流式输出:打字机效果,响应无延迟
    • 本地存储:所有对话记录保存在浏览器 LocalStorage,不会上传到服务器
    • Markdown 渲染:支持代码高亮、表格、数学公式(KaTeX)
    • 对话搜索:快速检索历史对话

    3. 对话管理,像专业IDE一样强大

    • 对话分支:可以基于某条消息创建分支,方便对比不同回复
    • 提示词模板:内置多种系统提示词,也支持自定义
    • 对话导入/导出:支持 Markdown、JSON 格式
    • 多会话管理:左侧边栏快速切换不同对话
    • 消息编辑:可以修改已发送的消息重新生成回复

    4. 全平台覆盖,随时随地使用AI

    NextChat 提供了完整的多端支持:

    • Web:响应式设计,手机/平板/电脑自适应
    • macOS:Tauri 打包,原生应用体验(仅 5MB)
    • Windows:同样使用 Tauri,启动快速
    • iOS:App Store 可下载
    • Android:Google Play 或侧载 APK

    5. 高度可定制,打造你的专属AI界面

    • 主题切换:内置浅色/深色主题,支持自定义 CSS
    • 多语言:支持中文、英文、日文等 18+ 种语言
    • API 代理:支持设置自定义底座 URL,解决网络问题
    • 访问控制:可设置访问密码,分享给团队使用
    • 插件系统:支持自定义功能和第三方集成

    🎯 典型使用场景

    场景一:个人AI助手,隐私数据不上云

    用户:注重隐私的个人用户、自由职业者

    痛点:使用官方 ChatGPT 担心对话记录被用于存储训练,且需要付费订阅 Plus。

    解决方案

    • 部署 NextChat 到自己的服务器或 Vercel
    • 接入自己的 OpenAI API Key(按量付费,更划算)
    • 所有对话本地存储,完全隐私
    • 可切换多个模型,根据任务选择最合适的

    成本对比:ChatGPT Plus $20/月 vs NextChat + API 按量付费(轻度使用 < $10/月)

    场景二:团队协作,统一AI工具入口

    用户:小团队、创业公司、教育机构

    痛点:团队成员各自购买 AI 订阅,成本高且无法共享 Prompt 和对话记录。

    解决方案

    • 部署 NextChat 到团队服务器
    • 设置访问密码,团队成员共享使用
    • 使用同一个 API Key 池,集中管理成本
    • 导出优质对话记录,建立团队知识库

    实际案例:一个 10 人团队,使用 NextChat 自部署,每月 API 成本约 $50,人均 $5,远低于每人 $20 的 Plus 订阅。

    场景三:开发者调试,快速测试不同模型

    用户:AI 应用开发者、Prompt 工程师

    痛点:需要在不同模型中测试同一 Prompt 的效果,但官方界面切换麻烦。

    解决方案

    • 在 NextChat 中配置多个模型 API
    • 同一对话中快速切换模型
    • 使用对话分支功能,对比不同模型的回复
    • 导出 Markdown 格式,方便整理测试报告

    🌟 推荐理由

    为什么我强烈推荐 NextChat?

    1. 开源且活跃
    项目在 GitHub 上开源,代码透明,社区活跃。你可以自己审查代码,确保没有后门。而且更新频繁,新模型支持速度快。

    2. 性能极致优化
    作为前端项目,NextChat 的性能优化做到了极致。首屏加载快,流式输出无延迟,即使在网络不佳的情况下也能流畅使用。相比其他 Web UI,NextChat 的响应速度是最快的之一。

    3. 真正的跨平台
    很多项目声称”跨平台”,但实际上只支持 Web。NextChat 提供了完整的桌面端和移动端应用,而且桌面端使用 Tauri 打包,体积小、启动快、内存占用低。

    4. 隐私保护到位
    所有对话记录保存在本地,不会上传到任何服务器。即使你部署在自己的服务器上,只要不配置云端同步,数据就只在用户设备上。对于注重隐私的用户来说,这一点非常重要。

    5. 成本可控
    使用官方 ChatGPT Plus 需要每月 $20,而 NextChat 按量付费,对于轻度使用者来说,每月可能只需要几美元。而且你可以根据不同任务选择不同模型,进一步控制成本。

    我的使用心得
    我自己部署了 NextChat,接入了 OpenAI API 和 DeepSeek API。日常聊天用 DeepSeek(便宜),写代码用 GPT-4(准确),每月总成本不到 $10。界面美观,响应快速,是我每天使用最多的 AI 工具。

    📥 下载地址

    🎬 总结

    NextChat 是一款真正为用户着想的开源 AI 对话界面。它不追求花哨的功能,而是把速度、隐私、跨平台这三个核心需求做到了极致。

    如果你:

    • ✅ 希望拥有自己的私人 AI 助手
    • ✅ 注重对话隐私,不想数据被上传
    • ✅ 需要同时使用多个 AI 模型
    • ✅ 想要降低成本,按量付费
    • ✅ 需要在多个设备上使用统一的 AI 界面

    那么,NextChat 绝对是你的 最佳选择

    5分钟部署,拥有一个完全属于你的AI助手 🚀

  • DeerFlow:46K+ Stars!字节跳动开源超级AI Agent框架,让AI真正”干活”

    DeerFlow:46K+ Stars!字节跳动开源超级AI Agent框架,让AI真正”干活”

    DeerFlow Logo

    DeerFlow 2.0 – 字节跳动开源的超级AI Agent框架


    📦 项目简介

    DeerFlow(全称 Deep Exploration and Efficient Research Flow)是字节跳动于2025年5月首次开源、2026年2月发布2.0版本的企业级AI超级智能体框架。上线24小时即冲上GitHub Trending榜首,目前Star数已突破46K+

    与简单的AI对话工具不同,DeerFlow是一个完整的Super Agent Harness(超级智能体运行框架),它能将AI从”对话能力”升级为”任务执行能力”,自动完成需要数分钟到数小时的复杂工作流。


    ⚙️ 安装要求和过程

    环境要求

    • 基础依赖:Docker、Docker Compose
    • 本地开发模式:Python 3.12+
    • 前端:Node.js 22+、pnpm
    • 必要配置:至少一个LLM服务商API Key(推荐豆包、DeepSeek、Kimi)
    • 可选配置:搜索引擎API(Tavily API、Brave Search API等)

    快速安装步骤

    # 1. 克隆仓库
    git clone https://github.com/bytedance/deer-flow.git
    cd deer-flow
    
    # 2. 配置环境变量(复制示例配置)
    cp conf.yaml.example conf.yaml
    
    # 3. 创建.env文件并写入API Key
    cat > .env << EOF
    MINIMAX_API_KEY=your-minimax-key
    MOONSHOT_API_KEY=your-moonshot-key
    TAVILY_API_KEY=your-tavily-key
    EOF
    
    # 4. 启动服务(网关模式,适合开发测试)
    docker-compose up -f docker-compose.gateway.yml
    
    # 5. 访问服务
    # LangGraph Server运行在 http://localhost:8000
    # 提供SSE流式响应接口
    

    资源规划建议:开发测试需要4GB+内存、2核+CPU;生产环境推荐16GB+内存、8核+CPU。


    🎯 核心功能

    • 动态Sub-Agent架构:自动将大任务拆解为多个子任务,为每个子任务动态生成专属Sub-Agent并行执行,复杂任务执行效率提升3-5倍。
    • Markdown Skills系统:技能以Markdown文件定义,无需编写代码即可扩展AI能力,大幅降低使用门槛。内置研究、报告、幻灯片、网页、图片、视频等开箱即用技能。
    • Docker沙箱隔离:每个任务运行在独立的Docker容器中,提供完整的文件读写、Bash执行能力,即使执行恶意代码也不会影响宿主机系统。
    • Context Engineering上下文工程:每个Sub-Agent拥有独立的上下文窗口,避免主Agent上下文被污染;支持跨会话长期记忆,可持久化历史任务和结果。
    • 断点续跑:基于LangGraph的checkpointer机制,任务中断后可从最后一个检查点恢复,无需从头执行,节省时间和成本。

    💡 典型使用场景

    场景一:深度行业研究

    需求:分析2025年AI Agent领域5个主要框架并生成对比报告

    执行流程:DeerFlow自动创建5个Sub-Agent同时独立研究,每个Agent负责一个框架的深度分析(技术架构、性能指标、应用场景、社区活跃度等),30-60分钟全自动完成全流程,生成50+页结构化报告及配套幻灯片。

    场景二:全链路营销材料生成

    需求:为产品上线准备全套营销材料

    执行流程:输入需求后,DeerFlow自动完成竞品研究、白皮书撰写、宣传网页生成、视频脚本创作、广告素材设计全流程,每个环节由专门的Sub-Agent并行处理,最终汇总输出完整的营销物料包。

    场景三:定时数据分析报告

    需求:每周分析销售数据并生成可视化报告

    执行流程:配置定时任务后,DeerFlow自动拉取多源数据、清洗转换、分析计算、生成图表并发送报告邮件。整个过程无需人工干预,支持异常数据自动预警。


    🌟 推荐理由

    作为AI Agent开发者,我试用DeerFlow 2.0后有以下几点深刻体会:

    • 不重复造轮子:DeerFlow完全基于LangGraph 1.0 + LangChain重构,在成熟底层之上做企业级封装,而非从零造轮子。这种设计既保证了稳定性,又补充了LangGraph缺失的生产级特性(如沙箱隔离、中间件链、声明式Skills系统)。
    • 真正的企业级思考:11层中间件链、Docker沙箱隔离、Kubernetes编排支持、完整审计日志……这些特性透露出字节跳动内部对AI Agent落地生产的真实思考。这不是一个Demo级项目,而是经过大规模实践验证的框架。
    • Skills系统设计惊艳:用Markdown定义技能,无需编写Python代码即可扩展AI能力,这个设计大大降低了非算法工程师的使用门槛。同时支持接入MCP Server,兼容全球主流工具生态。
    • 数据主权完整:完全自托管,数据不离开本地,满足金融、医疗、政府等对数据安全要求极高的场景。这一点在2026年AI监管日益严格的大环境下尤为重要。

    如果您正在构建需要执行复杂长任务、多步骤工作流、或对数据安全有严格要求的AI应用,DeerFlow绝对值得深入研究和试用。


    📥 下载地址

    授权协议:MIT License(完全开源,可自由使用、修改和分发)


    本文由 WorkBuddy AI 自动采集撰写 | 项目GitHub Stars: 46K+ | 最后更新: 2026-06-02

  • Chroma:28.2K Stars!AI 开源向量数据库,让语义搜索 5 行代码搞定

    Chroma:28.2K Stars!AI 开源向量数据库,让语义搜索 5 行代码搞定

    如果你正在构建 RAG 应用、智能客服、文档问答系统,你会发现一个核心难题:如何让 AI 从海量文本中快速找到最相关的内容?

    Chroma 向量数据库
    Chroma —— 面向 AI 的开源向量数据库

    📦 项目简介

    Chroma 是专为 AI 应用设计的开源向量数据库,定位为“AI 的搜索基础设施”。它让开发者能够以极简的 API 完成文档嵌入、向量存储、语义检索的全流程,是构建 RAG(检索增强生成)系统的首选工具之一。

    Chroma 的核心设计理念是简单优先:核心 API 只有 4 个函数,5 行代码即可完成文档入库和语义搜索。同时支持 Python 和 JavaScript 双语言客户端,并提供 Chroma Cloud 托管服务(注册即送 $5 免费额度,30 秒内完成数据库创建)。

    ⚙️ 安装要求与过程

    环境要求

    • Python:3.8+(推荐 3.9+)
    • Node.js:16+(使用 JavaScript 客户端时需要)
    • 内存:最低 2GB(内存模式);生产环境建议 4GB+
    • 存储:持久化模式需要磁盘空间存放向量索引

    快速安装(3 步搞定)

    # 第1步:安装 Chroma(Python)
    pip install chromadb
    
    # 第2步:启动 Chroma 服务(可选,也可直接用内存模式)
    # chroma run --path ./chroma_db
    
    # 第3步:写 5 行代码,完成第一个语义搜索!
    import chromadb
    client = chromadb.Client()
    collection = client.create_collection("my_docs")
    collection.add(documents=["你好世界", "Hello World"], ids=["id1", "id2"])
    results = collection.query(query_texts=["greeting"], n_results=1)
    print(results)

    JavaScript/TypeScript 用户:

    # JavaScript/TypeScript 安装
    npm install chromadb
    
    # 快速使用
    import { ChromaClient } from 'chromadb';
    const client = new ChromaClient();
    const collection = await client.createCollection({ name: "my_docs" });
    await collection.add({ ids: ["id1"], documents: ["Hello World"] });
    const results = await collection.query({ queryTexts: ["greeting"], nResults: 1 });
    console.log(results);

    💡 核心功能

    🎯 极简 API 设计
    核心 API 仅 4 个函数:创建集合、添加文档、查询搜索、管理集合。学习成本几乎为零,5 行代码即可完成语义搜索全流程。

    🔍 多模态搜索能力
    支持纯向量搜索、全文搜索、混合搜索(向量+关键词)三种模式。可根据场景灵活选择,搜索精度远超单一模式。

    🧠 自动嵌入处理
    添加文档时自动完成分词 → 向量嵌入 → 索引构建全流程,内置主流 Embedding 模型(Sentence Transformers 等),也支持自定义向量传入。

    🔧 灵活部署模式
    支持内存模式(快速原型)、持久化存储(生产环境)、客户端-服务端(多应用共享)、Chroma Cloud(完全托管,免运维)。

    🏷️ 多维度过滤
    支持基于元数据(metadata)的精确过滤,和基于文档内容的包含过滤。例如:只搜索”来源为官网”的文档,或只搜索”包含特定关键词”的段落。

    🌐 多语言客户端
    官方支持 Python 和 JavaScript/TypeScript 双语言客户端,API 设计一致。社区还提供了 Go、Java、Ruby 等语言客户端,覆盖主流开发生态。

    🚀 典型使用场景

    场景一:RAG 文档问答系统

    将企业知识库、产品文档、FAQ 等文本存入 Chroma,用户提问时通过语义搜索找到最相关的片段,再交给 LLM 生成回答。这是 Chroma 最经典的应用场景,也是目前大量 AI 应用的标准架构。

    # RAG 典型代码(简化版)
    import chromadb
    from sentence_transformers import SentenceTransformer
    
    # 1. 连接 Chroma
    client = chromadb.Client()
    collection = client.get_or_create_collection("company_docs")
    
    # 2. 文档切片入库(实际项目可用更高级的分片策略)
    docs = ["退款政策:7天内可申请...", "Shipping: 2-5 business days..."]
    collection.add(documents=docs, ids=["doc1", "doc2"])
    
    # 3. 用户提问 → 语义检索 → 交给 LLM
    query = "如何申请退款?"
    results = collection.query(query_texts=[query], n_results=3)
    # results['documents'] 即为最相关的文档片段,传给 LLM 生成回答

    场景二:AI 应用语义缓存

    对 LLM 的相似问题,直接返回缓存的答案,避免重复调用大模型,可降低 30-80% 的 API 成本。Chroma 的向量相似度搜索非常适合实现语义缓存——用户问”怎么退款”和”退款流程是什么”应该命中同一个缓存。

    场景三:内容推荐与去重

    新闻推荐、电商商品推荐、短视频去重等场景,都可以通过向量相似度来实现。Chroma 的轻量特性使其非常适合作为推荐系统的向量检索层,毫秒级返回相似内容。

    🌟 推荐理由

    我推荐 Chroma 的核心原因是它把”向量数据库”这个听起来很高大上的东西,做到了真正对开发者友好。以下是我的真实使用感受:

    第一,上手速度极快。对比 Pinecone、Weaviate、Qdrant 等竞品,Chroma 的学习曲线是最平缓的。核心 API 只有 4 个函数,README 中的示例代码复制到本地,5 分钟就能跑通第一个语义搜索。对于想快速验证 RAG 想法的开发者,这非常重要。

    第二,开源 + 零依赖启动。Chroma 采用 Apache 2.0 开源协议,可以免费用于商业项目。内存模式不需要安装任何外部依赖(不需要 Docker、不需要单独装数据库),pip install chromadb 之后直接就能用,对个人开发者和小型团队极其友好。

    第三,生产路径清晰。很多”易上手”的工具到了生产环境就掉链子,但 Chroma 提供了完整的升级路径:开发阶段用内存模式快速迭代 → 部署时用持久化模式 → 规模化后用 Chroma Cloud 或自托管 HTTP 服务。这个路径非常平滑,不需要重写代码。

    什么场景不适合 Chroma?如果你需要百亿级向量规模(如千万级文档),Chroma 目前的能力可能不如专用的分布式向量数据库(如 Milvus)。但对于99% 的 AI 应用开发者(百万级向量以下),Chroma 的性能和易用性是最优平衡。

    📥 下载地址

    🌐 官方网站
    trychroma.com

    🐙 GitHub 仓库
    github.com/chroma-core/chroma
    (28.2K+ Stars)

    📦 PyPI 安装
    pip install chromadb

    📦 npm 安装
    npm install chromadb

    ☁️ Chroma Cloud
    cloud.trychroma.com
    (注册送 $5 免费额度)

    📌 本文由 WorkBuddy AI 自动采集撰写,阅读原文请访问 GitHub 仓库。

  • LLMs-from-scratch:96.3K Stars!从零手写大模型,彻底搞懂LLM底层原理

    LLMs-from-scratch:96.3K Stars!从零手写大模型,彻底搞懂LLM底层原理

    LLMs-from-scratch 封面

    《Build a Large Language Model (From Scratch)》书籍封面


    📌 项目简介

    LLMs-from-scratch 是 Sebastian Raschka 所著《Build a Large Language Model (From Scratch)》一书的官方代码仓库,带你从零开始用 PyTorch 手写实现类 GPT 大语言模型,覆盖数据处理、注意力机制、GPT 架构、预训练、微调全流程,是搞懂 LLM 底层原理的最佳实战项目。


    ⚙️ 安装要求与过程

    环境要求

    • Python 3.8+,具备扎实的 Python 编程基础
    • PyTorch 基础(零基础可参考附录 A 的 PyTorch 入门教程)
    • 硬件:主章节代码可在普通笔记本运行,支持自动检测并使用 GPU 加速
    • 深度神经网络基础有助于理解,但不是硬性要求

    快速安装步骤

    # 1. 克隆仓库(只拉取最新版本,减少下载量)
    git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
    
    # 2. 进入目录
    cd LLMs-from-scratch
    
    # 3. 安装依赖
    pip install -r requirements.txt
    
    # 4. (可选)安装 Jupyter Notebook
    pip install jupyter
    
    # 5. 启动 Notebook,按章节运行代码
    jupyter notebook

    📌 如果你从 Manning 官网下载了代码包,建议前往 GitHub 官方仓库获取最新更新。


    ✨ 核心功能

    🧠 从零实现注意力机制

    手写实现单头/多头自注意力(Self-Attention)机制,深入理解 Query/Key/Value 的数学原理,不依赖任何高层封装库。

    🏗️ 完整 GPT 架构实现

    从词嵌入、位置编码到 Transformer 解码器块,完整实现 GPT 模型架构,代码逐行对照论文,透明可调试。

    🔥 预训练与微调全流程

    覆盖无标注数据预训练、文本分类微调、指令遵循微调(SFT)完整流程,附带可运行的训练脚本。

    🚀 主流模型权重加载

    支持加载 Llama 3.2、Qwen3、Gemma 3、OLMo 3 等主流开源模型的预训练权重进行微调与推理。

    📚 附录与扩展内容

    包含 PyTorch 分布式训练(DDP)入门、LoRA 高效微调实现、分组查询注意力(GQA)、MoE 混合专家架构等进阶内容,一书在手,LLM 技术栈全覆盖。


    🎯 典型使用场景

    场景一:系统学习 LLM 底层原理

    不看封装库黑盒,从张量运算级别理解 Transformer 和 GPT。每章配有练习和解答,适合有一定 Python 基础、想深入 LLM 原理的开发者系统学习。可搭配书籍《Build a Large Language Model (From Scratch)》一起使用,理解更透彻。

    场景二:在自己的数据上训练定制 LLM

    参考第 5 章的预训练代码,基于自定义数据集训练专属小模型;或参考第 7 章的指令微调代码,用开源指令数据集微调模型,使其具备遵循指令的能力,用于垂直领域应用。

    场景三:作为 LLM 课程的配套实践材料

    本书配有 17 小时 15 分钟的官方视频教程,章节结构清晰,练习册《Test Yourself On Build a Large Language Model》可用来自测掌握程度,非常适合作为高校课程、企业内训或自学小组的配套实践材料。


    💡 推荐理由

    我第一次翻开这本书的代码时,有一种「原来 GPT 是这样工作的」的恍然大悟感。

    大多数 LLM 教程要么停留在概念层面,要么直接调用 transformers 库,黑盒到底。而 LLMs-from-scratch 选择了一条更难但更有价值的路:从张量运算级别手写实现,不依赖任何高层封装。

    我最喜欢的是第 4 章实现 GPT 模型那部分——当你亲手写出 self.attn = MultiHeadAttention(...)self.ln = LayerNorm(...) 并成功跑通时,那种「我理解了」的满足感是任何调用封装库都给不了的。

    作者 Sebastian Raschka 是 LLM 领域的顶级教育者,Lightning AI 的 LLM 负责人,写书风格非常「工程师友好」——没有冗余的数学推导,每一行代码都能跑,每一章都有配套练习。

    如果你是想深入 LLM 原理的开发者、研究者,或正在准备 LLM 相关技术面试,这个项目绝对值得你花时间从头到尾跟一遍。96.3K 的 Star 数不是偶然,是工程师们用脚投票的结果。


    📥 下载地址

    🔗 GitHub 仓库

    https://github.com/rasbt/LLMs-from-scratch

    访问 GitHub →

    📘 配套书籍

    《Build a Large Language Model (From Scratch)》
    Manning 出版,ISBN 978-1633437166

    Amazon 购买 →

    🎬 配套视频教程(17h15min)

    Manning LiveVideo:Master and Build Large Language Models

    观看视频 →


    📌 小提示:本项目是《Build a Large Language Model (From Scratch)》的官方配套代码,建议配合书籍一起学习,理解效果最佳。书籍附录 A 还提供了 PyTorch 入门教程,适合 PyTorch 零基础读者补基础。

  • MoneyPrinterTurbo:66.6K Stars!AI短视频一键生成,让内容创作不再靠体力

    MoneyPrinterTurbo:66.6K Stars!AI短视频一键生成,让内容创作不再靠体力


    MoneyPrinterTurbo Web界面

    MoneyPrinterTurbo Web 操作界面

    📌 项目简介

    MoneyPrinterTurbo 是一个基于AI大模型的短视频一键生成工具。只需提供一个视频主题关键词,就可以全自动完成:文案生成 → 视频素材匹配 → 字幕生成 → 背景音乐搭配 → 高清短视频合成,全流程无需人工干预。

    66.6K+
    GitHub Stars

    多模型
    AI 接入支持

    双端
    Web + API

    MIT
    开源协议

    ⚙️ 安装要求和过程

    环境要求

    • Python 版本:推荐 Python 3.11
    • 依赖管理:优先使用 uv 工具
    • 必要依赖:ImageMagick(图片处理)、ffmpeg(视频处理)
    • 最低配置:4核CPU、4GB内存
    • 推荐配置:6-8核CPU、8GB内存、4GB显存GPU

    快速安装步骤

    # 1. 克隆项目
    git clone https://github.com/harry0703/MoneyPrinterTurbo.git
    cd MoneyPrinterTurbo
    
    # 2. 配置 API Key(复制配置模板)
    cp config.example.toml config.toml
    # 编辑 config.toml,填入 pexels_api_keys 和 LLM API Key
    
    # 3. 安装依赖(推荐使用 uv)
    uv python install 3.11
    uv sync --frozen
    
    # 4. 启动 Web 界面
    uv run streamlit run ./webui/Main.py --browser.gatherUsageStats=False

    💡 国内用户推荐:LLM 接入优先选择 DeepSeekMoonshot(Kimi),无需VPN,注册即送额度,调用稳定。

    ✨ 核心功能

    ① 全流程自动化生成

    只需输入主题/关键词,自动完成文案生成、高清无版权素材匹配、字幕生成、背景音乐搭配,最终合成高清短视频,全程无需人工干预。

    ② 多场景尺寸适配

    支持竖屏 9:16(1080×1920)和横屏 16:9(1920×1080)两种高清尺寸,兼容中英文视频文案生成,满足不同平台发布需求。

    ③ 灵活自定义能力

    支持 AI 自动生成文案或自定义文案,可调整字幕字体/位置/颜色/大小/描边,支持自定义背景音乐和本地素材,批量生成多个视频。

    ④ 多模型兼容

    支持 OpenAI、Moonshot、Azure、通义千问、Google Gemini、Ollama、DeepSeek、文心一言等国内外十余种大模型接入,自由选择最适合的 LLM 后端。

    ⑤ 多端使用支持

    提供完整 MVC 架构,同时支持 Web 可视化界面、REST API 接口两种使用方式,还支持 Docker 部署和 Google Colab 在线运行,开箱即用。

    🎬 典型使用场景

    场景一:自媒体短视频批量生产

    自媒体运营者需要每天稳定输出高质量短视频内容,但文案创作、素材搜集、剪辑合成耗时费力。使用 MoneyPrinterTurbo,只需输入”今日科技热点”等关键词,AI 自动生成文案、匹配无版权视频素材、添加字幕和背景音乐,几分钟即可产出一条完整短视频,内容生产效率提升 10 倍以上

    场景二:企业营销视频快速制作

    电商运营或市场人员需要为产品制作营销短视频,但缺乏专业剪辑能力。通过自定义文案功能,粘贴产品介绍文案,MoneyPrinterTurbo 自动匹配相关视频素材并合成营销视频,支持批量生成多个产品的宣传视频,大幅降低视频制作门槛和成本。

    场景三:知识分享内容创作

    知识博主需要将长篇文章或知识点转化为短视频内容。将文章要点整理为关键词,AI 自动扩展为视频文案,生成适合抖音、视频号、小红书等平台的竖屏短视频,让知识内容以更生动的形式触达更多受众。

    💡 推荐理由

    MoneyPrinterTurbo 是我见过的最完整的 AI 短视频生成开源方案。它不只是简单地拼接 AI 能力,而是真正从创作者的实际痛点出发,把视频制作的全流程——创意、文案、素材、配音、字幕、剪辑——全部打通。

    最打动我的是它的务实性:支持国内外主流大模型接入,国内用户可以直接用 DeepSeek 或 Kimi,不需要折腾 VPN;支持自定义文案和本地素材,不会完全被 AI 绑架;提供 Web 界面和 API 双端,无论你是普通用户还是开发者都能快速上手。

    当然,AI 生成的视频质量还无法和专业人工剪辑相提并论,素材匹配的准确性也有提升空间。但作为内容创作的效率工具,它已经足够惊艳。对于需要批量生产短视频内容的自媒体运营者来说,这是一个值得深入研究的开源项目。

    🖼️ 界面预览

    Web界面

    Web 可视化操作界面

    📥 下载地址

    🌐 官方网站:https://github.com/harry0703/MoneyPrinterTurbo

    🐙 GitHub 仓库:https://github.com/harry0703/MoneyPrinterTurbo

    📦 一键启动包:Windows 用户可直接下载项目 Release 中的一键启动包,解压即跑

    🐳 Docker 部署:docker-compose up 一键启动

    ☁️ 在线体验:支持 Google Colab 在线运行,无需本地配置环境


    📌 开源自尊:本项目采用 MIT 开源协议,可自由用于个人和商业场景,仅需保留版权声明。如果你也在探索 AI + 内容创作的方向,强烈建议深入研究这个项目,一定会有所收获。