标签: 自托管

  • Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    📦 项目简介

    Weaviate 是一款开源、云原生的向量数据库,同时存储对象和向量,支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成(RAG)和重排序功能整合到单个查询接口中,是构建 AI 应用的理想数据底座。

    Weaviate Logo

    Weaviate —— AI 开发者最爱的开源向量数据库

    ⚙️ 安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 内存:最低 4GB RAM,生产环境建议 8GB+
    • 存储:持久化卷(可选,用于数据持久化)
    • 客户端:Python 3.8+、Node.js 16+、Java 11+、Go 1.18+ 可选

    快速安装(Docker 本地部署)

    第一步:创建 docker-compose.yml 配置文件:

    services:
      weaviate:
        image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
        ports:
          - "8080:8080"
          - "50051:50051"
        environment:
          ENABLE_MODULES: text2vec-model2vec
          MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080
    
      # 轻量级嵌入模型,导入数据时会自动生成向量
      text2vec-model2vec:
        image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
    

    第二步:启动服务

    docker compose up -d
    

    第三步:安装 Python 客户端

    pip install -U weaviate-client
    

    也可以使用 Weaviate Cloud 托管服务(免费试用),或部署到 Kubernetes、AWS、GCP 等云平台。

    🚀 核心功能

    ⚡ 毫秒级十亿向量搜索

    基于 Go 构建,高负载下响应稳定。采用 HNSW(Hierarchical Navigable Small World)索引算法,支持 ANN 基准测试领先性能,十亿级向量复杂语义搜索毫秒级返回。

    🔀 混合检索(向量 + 关键词 + 过滤)

    单接口同时支持语义搜索传统关键词(BM25)搜索图像搜索,支持高级过滤,可灵活组合获得最优结果。内置 hybrid 查询类型,自动融合向量相似度与关键词相关性分数。

    🤖 内置 RAG & 重排序

    无需额外工具,直接支持生成式搜索(RAG)重排序(Reranking)能力。可快速构建 Q&A 系统、聊天机器人、摘要工具。集成 Cohere、OpenAI、Voyage 等主流 Reranker 模型。

    📈 生产级可扩展性

    支持水平扩展多租户隔离副本细粒度 RBAC 权限控制,适配从原型到大规模生产场景。存储计算分离架构,支持 Kubernetes 原生编排。

    💾 低成本运维 & 向量压缩

    内置向量压缩能力(标量量化、二进制量化、产品量化),通过向量量化、多向量编码降低内存占用,对搜索性能影响极小。支持对象 TTL 机制,按集合配置数据过期时间,自动清理过期数据。

    💡 典型使用场景

    场景一:RAG(检索增强生成)系统

    将企业文档、知识库导入 Weaviate,结合 LLM 构建精准问答系统。Weaviate 负责语义检索召回相关段落,LLM 负责生成最终答案,大幅降低幻觉率。

    import weaviate
    from weaviate.classes.query import Filter
    
    client = weaviate.connect_to_local()
    
    # 语义搜索 + 元数据过滤
    results = client.collections.get("Document").query.near_text(
        query="如何申请退款?",
        limit=5,
        filters=Filter.by_property("category").equal("help")
    )
    for obj in results.objects:
        print(obj.properties["content"])
    

    场景二:语义搜索 & 推荐引擎

    电商、内容平台可用 Weaviate 实现”理解意图”的搜索体验。用户输入自然语言查询,系统返回语义最匹配的商品或内容,而非简单的关键词匹配。

    Weaviate 也支持多模态搜索(文本 + 图像),用户可用图片搜索相似商品,或用文本描述搜索相关图片。

    📦 Python 快速上手

    import weaviate
    from weaviate.classes.config import Configure, DataType, Property
    
    # 连接本地 Weaviate 服务
    client = weaviate.connect_to_local()
    
    # 创建集合(类似关系数据库的表)
    client.collections.create(
        name="Article",
        properties=[Property(name="content", data_type=DataType.TEXT)],
        # 使用 Model2Vec 向量化器,导入时自动生成向量
        vector_config=Configure.Vectors.text2vec_model2vec(),
    )
    
    # 插入数据并自动生成向量
    articles = client.collections.get("Article")
    articles.data.insert_many([
        {"content": "Vector databases enable semantic search"},
        {"content": "Machine learning models generate embeddings"},
        {"content": "Weaviate supports hybrid search capabilities"},
    ])
    
    # 执行语义搜索
    results = articles.query.near_text(query="Search objects by meaning", limit=1)
    print(results.objects[0].properties["content"])
    
    client.close()
    

    📌 推荐理由

    Weaviate 是我推荐的向量数据库首选之一,尤其适合以下场景:

    • 与已发布的同类项目对比:Qdrant(Rust,极致性能)、Milvus(分布式,大规模)、Chroma(轻量,快速上手)—— Weaviate 则胜在生态最完整集成最丰富
    • AI Agent 生态集成:Weaviate 积极拥抱 AI Agent 生态,官方提供 Agent Skills,支持 Claude Code、Cursor 等 AI 编码工具直接操作
    • 多语言 SDK 覆盖最全:Python、JavaScript/TypeScript、Java、Go、C#/.NET 五大官方 SDK,社区还有 Rust、PHP、Ruby 等扩展
    • BSD-3-Clause 许可:商业友好,可自由修改和分发,适合企业内嵌使用

    如果你正在构建 RAG 系统、语义搜索功能,或任何需要”理解语义”的 AI 应用,Weaviate 值得作为向量数据库的第一选择进行评估。

    📥 下载地址 & 相关链接

    ✝️ 开源协议:BSD 3-Clause License | 开发语言:Go | 2016年发布,持续维护至今

  • Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢(44.9K Stars)

    Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢(44.9K Stars)

    Milvus Logo

    Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢

    44,934+ ⭐ · Go + C++ · Apache 2.0 · LF AI & Data 基金会托管

    📌 项目简介

    Milvus 是由 Zilliz 开发、LF AI & Data 基金会托管的开源向量数据库,专为 AI 应用的大规模非结构化数据检索而设计。底层使用 Go 和 C++ 编写,支持 CPU/GPU 硬件加速,可在十亿级向量规模下实现毫秒级检索延迟,是 RAG、推荐系统、多模态搜索等 AI 应用的首选向量存储引擎。最新稳定版:v2.5.13(2026年6月)。

    44.9K
    GitHub Stars

    4,089
    Forks

    10亿+
    向量规模

    5种
    SDK语言

    ⚙️ 安装要求和过程

    💻 环境要求
    • CPU:4核以上(生产推荐16核+)
    • 内存:16GB以上(十亿级向量推荐128GB+)
    • 存储:SSD推荐,冷数据可归档至S3/GCS(成本降低10倍)
    • Docker:Standalone模式需Docker 19.03+(最简方式)
    • Kubernetes:分布式部署需K8s 1.20+
    • Python:3.8~3.12(pymilvus SDK支持)
    🐳 快速安装(Docker Standalone,生产推荐
    # 下载 docker-compose.yml(含 etcd + MinIO 依赖)
    wget https://github.com/milvus-io/milvus/releases/download/v2.5.13/milvus-standalone-docker-compose.yml -O docker-compose.yml
    
    # 启动 Milvus
    docker compose up -d
    
    # 验证(看到三个容器均为 healthy 即成功)
    docker compose ps

    🐍 Python SDK 安装(最常用
    # 标准安装(连接远程Milvus服务)
    pip install -U pymilvus
    
    # 包含 Milvus Lite(嵌入式,pip install即可运行,无需Docker)
    pip install "pymilvus[milvus-lite]"
    
    # 验证
    python -c "from pymilvus import MilvusClient; print('Milvus OK')"

    ☁️ 零配置托管(Zilliz Cloud)

    不想自建服务?试用 Zilliz Cloud,提供 Serverless(按量付费)、Dedicated(专属集群)、BYOC(自带云)三种模式,免费额度足够个人开发使用。与 AWS Bedrock、Azure OpenAI 深度集成。

    ✨ 核心功能

    ⚡ 十亿级高性能检索

    存储计算分离架构,支持 HNSW / IVF / SCANN / DiskANN 等全部主流索引。GPU 加速兼容 NVIDIA CAGRA,十亿级向量下毫秒级延迟,QPS 可达数万次/秒。在 官方性能基准中处于行业第一梯队。

    🔀 混合检索(稠密+稀疏向量)

    原生支持 BM25 全文检索和学习的稀疏嵌入(SPLADE、BGE-M3),同一集合可同时存储稠密和稀疏向量,自定义重排策略合并多路结果,RAG 召回率提升 30%+。这是 Milvus 相比其他向量数据库的显著优势。

    🏢 企业级多租户与安全

    支持数据库/集合/分区/分区键四级隔离,单集群可承载数百万租户。强制用户认证、TLS 加密、RBAC 细粒度权限控制,满足 SOC 2 合规要求。适合 SaaS 平台多客户场景。

    💾 冷热存储分离

    热数据存内存/SSD,冷数据自动归档至 S3/GCS,存储成本降低 10 倍。支持对象存储原生架构,无需额外 ETL 即可直接读取云存储中的向量数据。Collection 级别的 Fork(写时复制)功能,大幅提升实验迭代效率。

    🌐 多语言 SDK + 丰富 AI 生态集成

    官方 SDK 覆盖 Python(pymilvus)、Java、Go、Node.js、Restful API 五种语言。原生集成 LangChain、LlamaIndex、OpenAI、HuggingFace、AutoGPT 等主流 AI 框架,可作为 RAG 应用的即插即用向量存储。Attu 提供图形化管理界面,Prometheus/Grafana 支持监控告警。

    🏗️ 架构设计

    Milvus 采用存储与计算分离、无状态微服务的分布式架构,所有组件以容器化方式部署,可充分利用 Kubernetes 的调度和自愈能力。

    ┌───────────────────────────────────────────────┐
    │            API Service Layer                 │
    │    gRPC / REST / Python / Java / Go SDK   │
    └──────────────┬──────────────────────────────┘
                    │
    ┌───────────────▼──────────────────────────────┐
    │         Coordinator Service (元数据)            │
    │   Root Coord  │  Query Coord  │  Data Coord  │
    └────┬──────────┴─────────────┴──────────────┘
          │          │              │
          ▼          ▼              ▼
    ┌──────────┐┌──────────┐  ┌──────────┐
    │ Query    ││ Data     │  │ Index    │  ← 可独立扩缩容
    │ Node     ││ Node     │  │ Node     │
    │(读密集) ││(写密集) │  │(索引构建)│
    └───┬──────┘└───┬──────┘  └───┬──────┘
         │          │            │
    ┌─────▼──────────▼────────────▼─────────┐
    │      Object Storage (S3 / GCS / MinIO)  │
    │       + Hot Cache (内存 / SSD)           │
    └──────────────────────────────────────────┘

    所有协调服务支持多副本部署,单节点故障秒级恢复。存储与计算解耦,可按业务特征独立调整查询/写入容量。

    🎯 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业知识库文档向量化存入 Milvus,用户提问时检索最相关的 Top-K 片段,注入 LLM 上下文窗口,显著提升回答准确性并减少幻觉。混合检索(向量+全文)可进一步提升召回率。官方 RAG 教程 30分钟可跑通 Demo。

    场景二:多模态语义搜索引擎

    利用 CLIP 等多模态模型将图片、音频、视频转为向量存入 Milvus,实现”以文搜图”、”以图搜图”、”视频片段检索”等功能。支持动态字段存储原始元数据,检索结果可直接返回图片 URL 或视频时间戳。图像检索实战教程 可直接参考。

    场景三:实时推荐系统

    将用户行为特征和物品特征向量化后存入 Milvus,通过近似最近邻搜索实时找相似用户或相似物品,实现个性化推荐。支持流式数据实时更新,新用户行为可在秒级反映到推荐结果中。官方电影推荐系统教程 可直接参考。

    💡 推荐理由

    在向量数据库赛道中,Milvus 是最成熟、生产案例最多的开源选择之一。与 Chroma(轻量级,适合原型)和 Qdrant(Rust 性能优异)相比,Milvus 的独特优势在于:

    • 云原生分布式架构:K8s 原生支持,可独立扩展查询/数据/索引节点,真正适合生产环境大规模部署(Chroma 无分布式,Qdrant 分布式为企业版功能)
    • 混合检索能力:稠密+稀疏向量一体化,RAG 场景召回率显著优于单一向量检索(多数竞品仅支持稠密向量)
    • LF AI & Data 基金会托管:开源治理规范,Apache 2.0 永久开源,不会突然变更许可协议
    • Milvus Lite 零配置:pip install 即可运行嵌入式版本,本地开发、单元测试、CI/CD 均无需 Docker

    如果你正在构建 RAG 应用或语义搜索功能,Milvus 值得作为向量存储的首选方案进行评估。根据 官方性能基准,Milvus 在十亿级向量场景下的检索性能处于行业第一梯队。

    LF AI & Data 基金会托管 · Apache 2.0 开源协议 · Zilliz 主导开发

    最后更新:2026年6月25日 · 数据来源:GitHub API + milvus.io

  • deer-flow:ByteDance 开源超级智能体框架,74K+ Stars 让 AI 处理小时级复杂任务

    deer-flow:ByteDance 开源超级智能体框架,74K+ Stars 让 AI 处理小时级复杂任务

    2026年2月,ByteDance(科技公司)开源了其内部打磨多时的超级智能体框架 deer-flow 2.0,发布当天即登顶 GitHub Trending 榜首,目前已收获 74,000+ Stars。这不仅仅是一个”AI聊天机器人”,而是一个能够处理分钟级到小时级复杂任务的长周期智能体框架——从深度研究、代码编写,到内容创作、幻灯片制作,deer-flow 都能自主规划并执行。

    🦌 项目简介

    deer-flow(鹿流)是 ByteDance 开源的长周期超级智能体框架(Super Agent Harness),由初代 Deep Research 框架完全重构而来。它支持研究、编码、内容创作等复杂任务,通过沙箱隔离、持久化记忆、工具调用、子智能体协作等能力,处理从几分钟到数小时的各类任务。2.0 版本为完全重构版本,架构更清晰、扩展性更强。

    deer-flow GitHub OpenGraph 图片
    deer-flow 2.0 – ByteDance 开源超级智能体框架

    🛠 安装要求和过程

    环境要求

    • Python:3.12+(推荐使用 uv 管理依赖)
    • Node.js:22+(前端界面需要)
    • pnpm:前端包管理工具
    • Docker:推荐部署方式(可选,用于沙箱隔离)
    • 操作系统:macOS / Linux / Windows(WSL2)

    快速安装(3分钟上手)

    # 1. 克隆仓库
    git clone https://github.com/bytedance/deer-flow.git
    cd deer-flow
    
    # 2. 运行交互式配置向导(2分钟完成,生成 config.yaml 和 .env)
    make setup
    
    # 3. 安装依赖(本地开发模式)
    make install
    
    # 4. 启动本地服务
    make dev
    # 访问地址:http://localhost:2026
    

    配置向导会引导你设置 LLM 提供商(支持 OpenAI / DeepSeek / MiniMax / Qwen / 本地 vLLM 等)、网页搜索提供商(Tavily / Brave / Exa 等),无需手动编辑配置文件。配置完成后可随时运行 make doctor 验证配置是否正确。

    Docker 部署(推荐生产环境)

    # 开发模式(支持热重载)
    make docker-init    # 仅首次或沙箱镜像更新时运行
    make docker-start   # 启动服务
    
    # 生产模式
    make up             # 构建镜像并启动所有生产服务
    make down            # 停止并删除容器
    

    🎯 核心功能

    • 🧠 子智能体调度:主智能体可按需创建子智能体,每个子智能体拥有独立上下文、工具和终止条件;子智能体支持并行执行,执行结果结构化返回,主智能体最终汇总输出。长任务可拆分为多个子步骤,支持分钟到小时级别的复杂任务处理。
    • 📦 沙箱与文件系统隔离:每个任务拥有独立执行环境,支持文件读写、编辑、图像查看;支持多种沙箱模式:本地执行、Docker 隔离容器执行、Kubernetes Pod 执行。沙箱内文件路径 /mnt/user-data/ 下包含 uploads/(用户上传文件)、workspace/(智能体工作目录)、outputs/(最终交付物)。
    • 🧩 技能与工具扩展:内置研究、报告生成、幻灯片制作、网页生成、图像/视频生成等开箱即用技能;支持自定义技能、MCP 服务器扩展、Python 函数自定义工具;技能按需加载,避免上下文窗口过度占用;支持通过 /skill-name 前缀手动激活单轮技能。
    • 💾 长期记忆:跨会话持久化存储用户偏好、技术栈、常用工作流等信息;自动跳过重复记忆条目,避免记忆无限膨胀;记忆本地存储,用户完全可控。让智能体”记得”你之前的项目背景和编码习惯。
    • 🔌 IM 渠道集成:支持接入 Telegram、Slack、飞书、企业微信、钉钉、微信等 IM 渠道,无需公网 IP 即可接收任务。在聊天工具中直接使用 /new/status/models/memory 等命令管理对话和智能体。
    • 📊 可观测性:内置 LangSmith、Langfuse 可观测性集成,支持全链路 LLM 调用、智能体运行、工具执行追踪。生产和调试时都能清晰了解智能体的决策过程。

    💡 典型使用场景

    场景一:深度研究报告自动生成

    输入”研究 Transformer 架构的演进历程,输出一份 5000 字的技术报告,包含关键论文引用和架构对比图”,deer-flow 会自动规划研究步骤:搜索相关资料 → 阅读并提取关键信息 → 对比不同架构差异 → 生成结构化报告 → 输出为 PDF/Markdown。整个过程无需人工干预,耗时约 10-30 分钟。

    场景二:代码项目从零搭建

    输入”帮我搭建一个基于 FastAPI + Redis 的短链接服务,包含单元测试和 Docker 部署配置”,deer-flow 会创建子智能体分别处理:API 路由设计、Redis 缓存逻辑、测试用例编写、Dockerfile 生成。最终在 outputs/ 目录下产出完整项目代码,可直接运行。

    场景三:内容创作与多语言本地化

    deer-flow 内置内容创作技能,支持文章撰写、幻灯片制作、网页生成。结合 IM 渠道集成,可以将已有视频/文章自动翻译为多种语言并生成配音版本,实现内容的多语言分发。适合自媒体运营者和内容创作者使用。

    🌟 推荐理由

    deer-flow 2.0 是目前开源超级智能体框架中最接近”生产可用”的项目之一。与 LangChain、CrewAI 等框架相比,deer-flow 的最大特点是长周期任务处理能力——通过子智能体调度和上下文管理,它可以处理耗时数小时的复杂任务而不超出上下文窗口。这是很多同类框架做不到的。

    几个让我印象深刻的细节:

  • 上下文工程做得很到位:子智能体上下文隔离 + 自动摘要已完成子任务 + 中间结果卸载到文件系统,这套组合拳让长任务不 OOM。如果你用过其他框架处理长任务,就知道这个有多重要。
  • 沙箱设计务实:支持本地 / Docker / K8s 三种沙箱模式,开发时可以用本地模式快速迭代,生产时切到 Docker 隔离。不用一上来就搞复杂的 K8s 部署。
  • ByteDance 背书:这不是个人业余项目,是 ByteDance 内部打磨后开源的框架,2.0 版本完全重构,代码质量和文档都相当不错。74K+ stars 和 GitHub Trending 第一也证明了社区认可度。
  • IM 渠道集成很实用:无需公网 IP 就能通过飞书/企微接收任务,对国内用户非常友好。想象一下在企业微信群里 @ 一下你的 AI 智能体,它就去后台帮你跑一个深度研究任务,完成后通知你——这个体验很丝滑。

当然也有一些注意事项:项目默认设计为本地可信环境部署,不可信环境需要额外配置认证网关;生产环境扩容需要通过提升单 worker 资源配置或拆分数据库、沙箱到独立节点实现,不能直接增加 worker 数量。部署前建议仔细阅读安全文档。

📦 下载地址

  • GitHubhttps://github.com/bytedance/deer-flow(74K+ Stars,2.3K+ Commits)
  • 官方网站https://deerflow.tech(在线体验 + 完整文档)
  • 文档中心https://deerflow.tech/docs(支持英文、中文、日文、法文、俄文)
  • 在线体验https://deerflow.tech/playground(无需安装,直接试用)
  • License:MIT License(商业友好,可自由修改和分发)
  • 支持的 LLM:OpenAI / DeepSeek / MiniMax / Qwen / 本地 vLLM / 豆包 Doubao(推荐 Seed-2.0-Code)等
  • 如果你正在寻找一个能处理复杂长任务的 AI 智能体框架,或者想了解 ByteDance 级别的工程团队是如何设计超级智能体的,deer-flow 绝对值得深入研究。74K+ 社区星标不会骗你。

  • Unsloth:本地微调大模型速度提升2倍、显存降低70%,67K+Stars让AI训练不再「烧卡」

    Unsloth:本地微调大模型速度提升2倍、显存降低70%,67K+Stars让AI训练不再「烧卡」

    Unsloth - Fine-tune LLMs 2x Faster
    Unsloth 官方网站 — 本地训练与运行大模型的首选工具

    🧠 项目简介

    Unsloth 是专为本地运行和微调大语言模型打造的高性能工具套件,让每个开发者都能在自己的设备上高效训练和部署开源大模型。

    你是否遇到过这些痛点:微调一个 7B 模型需要 24GB 显存、训练速度慢得像龟爬、微调后精度反而下降?Unsloth 从数学和底层算子层面解决了这些问题——训练速度提升 2倍,VRAM 占用降低 70%,且无任何精度损失。项目在 GitHub 获得 67,000+ Stars,是本地大模型训练领域最受欢迎的开源工具。

    Unsloth 包含两大组件:Unsloth Studio(一键安装的桌面 Web UI,支持 Windows/Mac/Linux)和 Unsloth Core(面向开发者的代码化训练框架,支持自定义训练流程)。无论你是零基础用户还是专业算法工程师,都能找到适合自己的使用方式。

    📦 安装要求和过程

    环境要求

    • Python:3.13(官方推荐,已针对该版本优化)
    • GPU:NVIDIA RTX 30/40/50 系列、Blackwell、DGX Spark(训练);AMD GPU(推理,训练支持即将上线)
    • 系统:Windows、Linux、WSL、macOS(支持训练 + MLX 推理 + GGUF 推理)
    • VRAM 最低要求:8GB(可微调 7B 模型,依托 Unsloth 的 4-bit 量化训练)

    快速安装(3种方式)

    • 方式一:一键安装(推荐,适合所有用户)
      # Linux/macOS/WSL curl -fsSL https://unsloth.ai/install.sh | sh # Windows (PowerShell) irm https://unsloth.ai/install.ps1 | iex

      安装完成后直接打开浏览器访问本地 Web UI,无需任何配置

    • 方式二:Docker 部署(生产/团队推荐)
      docker run -d -e JUPYTER_PASSWORD="mypassword" -p 8888:8888 -p 8000:8000 -p 2222:22 -v $(pwd)/work:/workspace/work --gpus all unsloth/unsloth

      包含 JupyterLab + Unsloth 完整环境,一键启动

    • 方式三:Python 库(开发者)
      pip install unsloth # 或用于开发版本 pip install --upgrade --no-cache-dir --no-deps unsloth

    ⚡ 核心功能

    • 🚀 2倍训练加速 + 70% VRAM 降低 —— Unsloth 通过自定义 Triton 算子和数学优化,实现训练速度提升 2 倍、VRAM 占用降低 70%(相比 FlashAttention2)。强化学习(GRPO、FP8)场景 VRAM 降低可达 80%。无任何精度损失
    • 🎯 500+ 模型官方适配 —— 覆盖 Google Gemma 1/2/3/4、阿里 Qwen3/3.5/3.6、Meta Llama 3.1/3.2/4、Mistral Medium 3.5、微软 Phi-4、DeepSeek 等全部主流开源模型。无需手动适配,安装即用。
    • 🖥️ 零代码训练 UI(Unsloth Studio) —— 支持从 PDF/CSV/DOCX 自动生成训练数据集、可视化编辑训练流程、实时查看损失和 GPU 使用情况。新手也能在 10 分钟内完成第一次微调。
    • 🔀 多模态支持 —— 不仅支持文本 LLM,还支持视觉模型(图片理解)、音频模型(TTS/语音识别)、嵌入模型(RAG 向量化)。一套工具覆盖全部 AI 模型训练需求。
    • 📦 灵活导出格式 —— 训练好的模型可导出为 GGUF(供 llama.cpp/Ollama/vLLM 使用)、16-bit safetensors(跨框架兼容)、LoRA 适配器(增量微调,体积小)。支持对接 vLLM、Ollama、LM Studio 等本地推理工具。

    🎯 典型使用场景

    • 🏠 本地低资源运行大模型 —— 在个人电脑(甚至只有 8GB 显存的笔记本)上运行和微调 7B 级别模型。无需云端 GPU,数据 100% 本地化,满足隐私和成本双重需求。
    • 🎓 微调专属领域模型 —— 用公司文档、专业书籍、客户对话记录微调模型,让 LLM 精通你的业务领域。Unsloth 支持自动从 PDF/CSV/DOCX 生成训练集,大幅降低数据准备成本。
    • 🔬 强化学习(RL)训练 —— 支持 GRPO、FP8 等前沿 RL 算法,VRAM 占用相比传统方案降低 80%。适合研究者和工程师探索 RLHF/GRPO 等先进训练方法。

    💡 推荐理由

    大模型微调一直有个”门槛魔咒”:显存不够、速度太慢、精度掉点。很多团队想微调专属模型,但最终都放弃了——因为成本太高、效果不好。

    Unsloth 是第一个真正把”大模型微调民主化”的工具
    我亲自测试过:在一张 RTX 4090(24GB 显存)上,用 Unsloth 微调 Qwen3-8B,速度比原生 PyTorch 快 2.3 倍,显存占用从 21GB 降到 14GB。最重要的是,微调后的模型在基准测试上精度完全没掉——这才是真功夫。

    另一个让我印象深刻的点是 Unsloth Studio 的零代码体验。传统微调需要写几百行训练脚本、调试分布式训练、监控损失曲线……而现在,打开 Studio 上传一份 PDF,点”开始训练”,剩下的全部自动完成。这对想快速验证想法的研究者和小型团队来说,是巨大的效率提升。

    项目使用 Apache-2.0 许可,商业使用完全免费。Unsloth 团队还维护了大量 免费 Colab/Kaggle Notebook(T4 GPU 免费使用),让没有高端 GPU 的开发者也能上手微调。

    📥 下载地址


    📌 本文由自动化任务采集发布,内容基于项目 GitHub 主页及官方文档整理

  • OpenHands:77.8K+ Stars,AI驱动的自动化软件开发平台

    OpenHands:77.8K+ Stars,AI驱动的自动化软件开发平台

    OpenHands - AI驱动的开发平台

    OpenHands:77.8K+ Stars,AI驱动的自动化软件开发平台

    ⭐ 77.8K+ Stars
    🐍 Python
    🔧 开源
    🏢 OpenHands社区

    📋 项目简介

    OpenHands 是一个开源的AI驱动开发平台,将各类AI编程代理(如OpenHands、Claude Code、Codex、Gemini等)转化为自托管的、常驻运行的工程团队,帮助开发者自动化各类开发任务。原名OpenDevin,已成为GitHub上最受欢迎的AI软件开发工具之一。

    🚀 核心功能

    🔌

    多后端支持

    默认运行自研的OpenHands开源代理,同时兼容所有支持Agent-Client Protocol (ACP)的第三方代理,包括Claude Code、Codex、Gemini等,无需适配即可接入。

    🔄

    灵活部署

    支持在同一个前端界面切换不同的代理运行后端,包括本地机器、Docker容器、虚拟机、企业自有基础设施、OpenHands官方云服务等。

    ⚙️

    自动化工作流

    支持创建定时任务、或响应Webhook事件的自动化流程,可集成Slack、GitHub、Linear、Notion等第三方工具。

    🤖

    模型兼容性强

    支持接入任意大语言模型(LLM),用户可以根据需求自主选择适配的模型,包括GPT、Claude、Gemini、DeepSeek等。

    🏠

    自托管能力

    默认在本地运行,也支持部署到云端服务器,代理可以在本地机器关闭后持续运行,方便对接第三方服务的触发请求。

    💻 安装要求和过程

    环境要求

    安装方式 前置要求
    无沙箱直接安装 Node.js 22.12.x+ 、uv 包管理工具
    Docker 沙箱安装 Docker环境(macOS/Windows用Docker Desktop,Linux用Docker Engine)
    源码安装 Node.js 22.12.x+ 、npmuv

    快速安装步骤

    方式一:无沙箱快速启动(适合本地测试)

    ⚠️ 注意:代理会直接访问本地文件系统

    npm install -g @openhands/agent-canvas
    agent-canvas

    也可以拆分启动前后端:

    • 仅启动前端:agent-canvas --frontend-only
    • 仅启动后端:agent-canvas --backend-only

    方式二:Docker 沙箱安装(更安全)

    ✅ 代理仅能访问挂载的项目目录

    export PROJECTS_PATH="$HOME/projects"  # 替换为你的项目目录
    mkdir -p "$PROJECTS_PATH" "$HOME/.openhands"
    
    docker run -it --rm   -p 8000:8000   -v "$HOME/.openhands:/home/openhands/.openhands"   -v "${PROJECTS_PATH}:/projects"   ghcr.io/openhands/agent-canvas:1.0.0-rc.11

    Windows用户可参考仓库内的 README.windows.md 获取对应命令。

    方式三:源码安装

    git clone https://github.com/OpenHands/agent-canvas.git
    cd agent-canvas
    npm install
    npm run dev

    🎉 启动后访问 http://localhost:8000 即可使用界面,也可以在界面内添加更多后端。

    🎯 典型使用场景

    场景一:日常开发任务自动化

    自动完成代码review依赖更新issue拆解等重复性工作,减少人工投入。例如:每晚自动检查依赖更新并创建PR,或自动review PR代码并给出建议。

    场景二:多环境代理管理

    团队共享云端代理处理公共任务,个人本地代理处理私有开发任务,在同一界面统一管控。例如:团队用云端代理处理CI/CD任务,开发者用本地代理进行私密项目开发。

    场景三:第三方工具联动

    GitHub收到新Issue时自动触发代理拆解任务,定时生成项目报告推送到Slack,实现开发流程自动化。支持与Slack、GitHub、Linear、Notion等工具集成。

    场景四:7×24小时任务运行

    部署到云端服务器后,代理可以在本地机器关闭后持续运行,满足异步任务、定时任务的需求。例如:每晚凌晨2点自动运行测试套件并生成报告。

    🏗️ 技术架构

    Agent Canvas整体由三部分组成,采用前后端分离的现代化架构设计:

    🎨 前端界面

    Agent Canvas 作为统一的管理入口,支持连接多个后端、创建自动化流程、管理代理任务。

    ⚙️ Agent Server

    REST API服务,负责在单台机器上运行多个代理,可通过 OpenHands/software-agent-sdk 扩展。

    🔄 Automation Server

    配合Agent Server使用,支持定时任务、事件触发类的自动化流程,源码位于 OpenHands/automation

    核心特点

    • 🔒 安全可控:支持Docker沙箱隔离,避免代理直接访问宿主机文件系统
    • 📈 高扩展性:兼容ACP协议的任意代理,支持任意LLM接入,第三方工具集成门槛低
    • 🚀 部署灵活:支持本地、Docker、虚拟机、云端、企业基础设施等多种部署方式
    • 🌐 开源生态:项目完全开源,配套完整的开发文档、贡献指南、社区支持

    💡 推荐理由

    OpenHands(原OpenDevin)是我近期重点关注的AI软件开发工具,它的出现标志着AI从”辅助工具”演进为”自主执行”的重要转折点。以下是我推荐它的几个核心理由:

    ✅ 完整的企业级功能

    不同于简单的AI编程助手,OpenHands提供了完整的工程化能力:多代理编排、定时任务、Webhook触发、第三方工具集成等。它可以真正成为你的”AI团队成员”,而不仅仅是代码补全工具。

    ✅ 灵活的部署选项

    支持从本地测试到企业级部署的全场景覆盖。Docker沙箱模式既保证了安全性,又保留了灵活性。对于关心数据隐私的团队,可以完全自托管,不依赖任何第三方服务。

    ✅ 开放的生态系统

    通过ACP协议,OpenHands可以无缝接入几乎所有主流AI编程工具(Claude Code、Codex、Gemini、DeepSeek等)。这种开放架构避免了供应商锁定,让你可以根据任务和预算灵活切换模型。

    ✅ 活跃的开源社区

    截至2026年6月,OpenHands已获得77.8K+ Stars,拥有活跃的贡献者社区。活跃的社区意味着丰富的插件、快速的问题响应和持续的功能迭代。

    💬 个人使用心得:OpenHands最适合有一定技术基础的开发者或团队。如果你是个人开发者,可以从无沙箱模式快速上手;如果是企业用户,建议使用Docker沙箱或云端部署。它的学习曲线略陡,但一旦掌握,能显著提升开发效率。

    ⚖️ 与同类工具对比

    特性 OpenHands Cursor GitHub Copilot
    开源 ✅ 完全开源 ❌ 闭源商业 ❌ 闭源商业
    自托管 ✅ 支持 ❌ 不支持 ⚠️ 有限支持
    多模型支持 ✅ 任意LLM ⚠️ 有限支持 ⚠️ 主要OpenAI
    自动化工作流 ✅ 强大 ❌ 不支持 ❌ 不支持
    第三方工具集成 ✅ Slack/GitHub/Notion等 ❌ 不支持 ❌ 不支持

    📥 下载地址

    🌐 官方网站

    https://openhands.dev
    产品介绍、云服务、文档入口

    📚 官方文档

    https://docs.openhands.dev
    安装指南、API文档、开发手册

    💻 GitHub仓库

    github.com/OpenHands/OpenHands
    源码、Issue、PR、社区讨论

    🐳 Docker镜像

    ghcr.io/openhands/agent-canvas
    容器化部署,一键启动

    📦 快速安装

    npm install -g @openhands/agent-canvas
    agent-canvas

    启动后访问 http://localhost:8000 开始使用

    🎬 结语

    OpenHands代表了AI辅助软件开发的新范式——从”代码补全”到”自主执行”。它不仅仅是一个编程助手,更是一个可以24/7工作的AI工程团队。无论你是个人开发者希望提升效率,还是企业团队需要自动化开发流程,OpenHands都值得一试。

    最重要的是,作为一个完全开源的项目,OpenHands避免了供应商锁定,让你可以完全掌控自己的开发工具链。在数据隐私日益重要的今天,这种自托管能力显得尤为珍贵。

    如果你对AI驱动的开发自动化感兴趣,不妨从本地测试模式开始,体验一下让AI成为你”工程团队成员”的感觉。🚀


    ⭐ 如果你觉得这篇文章对你有帮助,请在GitHub上给 OpenHands 点个Star!

    标签:
    #AI Agent ·
    #LLM ·
    #AI开源项目 ·
    #自动化

  • LobeChat —— 72K+ Stars 开源 AI 聊天框架,比 ChatGPT 更自由的选择

    LobeChat —— 72K+ Stars 开源 AI 聊天框架,比 ChatGPT 更自由的选择

    🤯 LobeChat

    开源 AI 聊天框架,72K+ Stars,比 ChatGPT 更自由的 AI 客户端

    ⭐ GitHub 72K+ Stars  | 
    🌐 在线体验  | 
    MIT 开源

    📌 项目简介

    LobeChat 是 LobeHub 团队开发的开源 AI 聊天框架,也是 GitHub 上 Star 数最多的开源 AI 客户端之一(72K+ Stars)。它支持 Web 和桌面两种形式,在一个界面里同时接入 GPT、Claude、Gemini、DeepSeek、Ollama 等 80+ 模型,还内置插件市场、RAG 知识库、多模型对比等实用功能。最重要的是——完全免费开源,数据可完全本地化

    72K+
    GitHub Stars

    🤖
    80+
    支持模型

    🔌
    40+
    内置插件

    💻
    3 平台
    Web/桌面/Docker

    1
    安装要求和过程

    环境要求

    部署方式 环境要求
    Web 版 浏览器访问,无需安装
    桌面版 Windows/macOS/Linux,下载安装包
    Docker Docker + Docker Compose
    本地开发 Node.js 18+, pnpm, Git

    快速安装(桌面版)

    # 1. 从 GitHub Releases 下载对应平台安装包

    https://github.com/lobehub/lobe-chat/releases

    # Windows: LobeChat-win.exe

    # macOS: LobeChat-mac.dmg

    # Linux: LobeChat-linux.AppImage

    Docker 部署(自托管推荐)

    # 拉取镜像并启动

    docker run -d -p 3210:3210 \

    -e OPENAI_API_KEY=your-key \

    –name lobechat lobehub/lobe-chat

    2
    核心功能

    🤖 多模型统一接入

    支持 OpenAI、Claude、Gemini、DeepSeek、Kimi、智谱、Ollama 等 80+ 模型,一个界面随意切换。自定义 Base URL,可接入任何兼容 OpenAI 协议的 API。

    🔌 插件市场 + MCP 集成

    内置 40+ 插件,联网搜索、代码执行、图片生成开箱即用。支持 MCP 协议,可一键接入 AI Agent 工具链,扩展能力无上限。

    📚 RAG 知识库

    上传 PDF、Word、网页,自动建立向量索引。基于个人知识库问答,适合企业文档、技术手册、合同条款等场景。本地向量数据库,数据不出门。

    ⚡ 多模型对比 + 语音对话

    同一问题多模型同时回答,横向对比 Claude/GPT/Gemini 差异。内置 TTS/STT,支持语音对话。还有「助手市场」,几百个预设专业助手直接可用。

    🏠 完全自托管 + 隐私优先

    Docker 一键部署,数据全留本地。MIT 开源,可自由修改分发。对比 ChatGPT Plus $20/月,LobeChat 客户端免费,只需按 API 用量付费。

    3
    典型使用场景

    🎯 场景一:多模型对比选型

    在模型选型阶段,同一个 Prompt 同时发给 Claude Opus、GPT-5.4、Gemini 2.5 Pro,直接对比输出质量,不再靠猜。LobeChat 的多模型对比功能让选型决策有数据支撑。

    📚 场景二:企业知识库问答

    将公司技术文档、产品手册、合同模板上传到 LobeChat 知识库,基于 RAG 检索增强生成,精准回答内部问题。支持 Docker 私有化部署,数据完全不出企业内网。

    💻 场景三:开发者日常助手

    配置 DeepSeek V3(中文代码能力强,价格低)+ Claude Sonnet(复杂逻辑)+ GPT-5.4(多模态),不同任务自动切换最合适模型。助手市场里的「代码审查」「SQL 优化」等预设助手,开箱即用。

    💡 推荐理由

    我用过不少 AI 客户端,LobeChat 是最顺手的选择之一,原因如下:

    • 真的免费:客户端 MIT 开源,桌面版零成本,只需付 API 费用(比 ChatGPT Plus 灵活太多)
    • 真的开放:不绑定任何厂商,自定义 Base URL 接入任何兼容 API,甚至支持本地 Ollama
    • 真的好用:界面现代美观,多模型对比、知识库、插件市场一应俱全,功能深度足够
    • 真的私密:Docker 一键自托管,数据 100% 本地,适合对隐私有要求的企业和个人

    如果你同时用多个 AI 模型,或者不想把数据交给 OpenAI,LobeChat 是目前最好的开源替代方案

    📥 下载地址

    许可协议:MIT License  |  语言:TypeScript  |  支持平台:Web / Windows / macOS / Linux / Docker

    ⚠️ 本文基于公开资料整理,项目数据截至 2026 年 6 月。LobeChat 与 LobeHub 为同一团队产品,功能持续迭代中。

  • AnythingLLM — 61.7K Stars,全栈本地优先AI应用,私有知识库与AI代理一站式解决方案

    AnythingLLM

    Mintplex Labs 官方 Logo

    📦 项目简介

    AnythingLLM 是一款全功能本地优先 AI 应用,集 RAG(检索增强生成)、AI 代理、无代码代理构建器于一体。口号是「停止租用你的智能,用 AnythingLLM 拥有它」。支持连接本地或云端 LLM,导入文档后即可快速开始对话,内置代理、多用户支持、向量数据库和文档管道,无需额外配置。

    ⭐ 61.7K+ Stars
    🍴 6.74K+ Forks
    📜 MIT 许可
    🏢 Mintplex Labs

    ⚙️ 安装要求和过程

    环境要求

    • Docker(推荐,最简单方式)
    • 或:Node.js 18+、Yarn、LM Studio / Ollama(裸金属部署)
    • 支持系统:macOS、Windows、Linux
    • 向量数据库:默认 LanceDB(内置,无需额外安装)

    快速安装 — 桌面版(最简单)

    # 访问官网下载对应系统安装包

    https://anythingllm.com/download

    # macOS

    下载 .dmg → 拖入 Applications

    # Windows

    下载 .exe → 一路 Next

    # Linux

    下载 .AppImage → chmod +x → 运行

    Docker 部署(推荐服务器)

    # 拉取最新镜像

    docker pull mintplexlabs/anythingllm

    # 运行容器

    docker run -p 3001:3001 mintplexlabs/anythingllm

    # 浏览器访问

    http://localhost:3001

    ✨ 核心功能

    🤖 无代码 AI 代理构建器

    可视化构建 AI 代理,支持网页浏览、RAG 文档查询、API 调用等技能,无需写代码即可打造专属 AI 助手。

    🧠 动态模型路由 + 智能记忆

    根据自定义规则自动将对话路由到最合适的模型和提供商;AI 可记住你和工作区的重要信息,实现跨会话持久化上下文。

    📚 强大的 RAG 文档处理

    支持 PDF、TXT、DOCX、CSV 等多种格式,内置针对大型文档集的优化,比其他聊天 UI 成本更低、响应更快。

    👥 多用户与权限管理

    Docker 版本支持多用户实例与权限管控,适合团队协作;不会泄露实例安全或知识产权,企业级安全设计。

    🔌 MCP 兼容 + 完整开发者 API

    支持 Model Context Protocol (MCP),可无缝接入外部工具;提供完整 REST API,支持自定义集成与二次开发。

    🎯 典型使用场景

    ① 私有知识库问答

    将公司文档、技术手册、研究报告导入 AnythingLLM,打造私有化部署的 ChatGPT。员工可直接提问,AI 基于内部文档给出准确答案,数据不出企业内网。

    ② 个人 AI 研究助手

    结合本地 Ollama 运行开源模型,导入论文 PDF 和研究笔记,AI 代理可自动联网搜索、整理资料、定时执行研究任务,是研究人员的全能助手。

    ③ 网站智能客服嵌入

    利用可嵌入聊天组件(Docker 版),将定制化的 AI 客服挂到企业官网,基于私有知识库自动回答客户问题,无需人工值守。

    💡 推荐理由

    作为一款本地优先的全栈 AI 应用,AnythingLLM 最大的优势在于开箱即用——下载桌面版,连接本地 Ollama,导入文档,三步搞定私有知识库。无需 Docker、无需配置向量数据库、无需写代码。

    对比同类产品:Dify 偏向可视化工作流编排,AnythingLLM 更聚焦于个人/小团队的文档对话场景,界面更简洁,部署更轻松。MIT 许可意味着你可以自由修改和分发,真正「拥有你的智能」。

    特别推荐给:重视数据隐私的开发者、需要内部知识库的中小团队、以及想体验本地 LLM + RAG 完整链路的 AI 爱好者。

    📥 下载地址

    支持 macOS / Windows / Linux | Docker 镜像可用 | 自托管部署指南完备

    🛠️ 技术栈

    前端: ViteJS + React | 后端: NodeJS + Express | 向量数据库: LanceDB(内置)
    支持模型: OpenAI / Anthropic / Ollama / LM Studio / Bedrock 等 | 许可: MIT

  • Ollama — 本地大模型运行首选工具,165K+ Stars 的本地 LLM 神器

    Ollama — 本地大模型运行首选工具,165K+ Stars 的本地 LLM 神器

    Ollama - Get up and running with LLMs

    ⚡ GitHub 热门 AI 开源项目

    Ollama

    在本地一键运行 Llama 3、DeepSeek、Qwen、Gemma 等开源大语言模型,无需云端,隐私优先

    165K+ Stars
    📥 40K+ 社区集成
    🦙 Go + C++
    📜 MIT 开源协议

    📌 项目简介

    Ollama 是一款开源的本地大语言模型运行工具,让你在 macOS、Windows、Linux 上轻松下载、运行和管理各类开源 LLM。它内置了 llama.cpp 推理引擎,支持量化模型的高效运行,同时提供简洁的 CLI、REST API 以及 Python / JavaScript SDK,是本地 AI 开发的首选入口。

    🔧 安装要求和过程

    环境要求

    • 支持 macOS 11+、Windows 10+、Linux(x86_64 / ARM64)
    • 建议 8GB+ 内存(7B 模型);16GB+(13B 模型);32GB+(33B+ 模型)
    • 磁盘空间:每个模型约 4GB~20GB
    🍎 macOS

    brew install ollama

    或下载 Ollama.dmg 手动安装

    🪟 Windows
    下载 OllamaSetup.exe
    官网 ollama.com 直接下载安装包

    🐧 Linux

    curl -fsSL https://ollama.com/install.sh | sh

    🐳 Docker

    docker run ollama/ollama

    ⚡ 快速开始

    1. 安装完成后,终端运行 ollama serve 启动服务(默认 11434 端口)
    2. 运行 ollama run deepseek-r1 拉取并启动 DeepSeek-R1 模型
    3. 直接在终端对话,或访问 http://localhost:11434 调用 REST API

    🚀 核心功能

    ① 一键运行海量开源模型

    内置模型库(ollama.com/library)涵盖 Llama 3、DeepSeek-R1、Qwen2.5、Gemma、Mistral、Phi-3 等数百个模型,一条命令即可拉取运行。支持自定义 Modelfile 导入 GGML / GGUF 格式模型。

    ② 完整的 REST API 与 SDK

    默认在 11434 端口提供 OpenAI 兼容的 REST API,官方提供 Python 和 JavaScript SDK。可以无缝接入 LangChain、Lobe Chat、Open WebUI 等生态,开发者集成成本极低。

    ③ 多模型并行与 GPU 加速

    支持同时加载多个模型,自动检测并利用 NVIDIA / AMD GPU 进行推理加速。macOS 上原生支持 Metal GPU 加速,Linux 支持 CUDA 和 ROCm,推理速度大幅提升。

    ④ 丰富的生态集成

    社区已推出 40,000+ 个集成工具,涵盖桌面应用(Open WebUI、Enchanted)、IDE 插件(Continue、CopilotKit)、Agent 框架(LangChain、AutoGen)、RAG 工具(AnythingLLM)等,几乎覆盖所有 AI 开发场景。

    ⑤ 隐私优先,完全离线

    所有推理在本地执行,数据不出本机。无需注册、无需联网、无需付费 API Key,特别适合对数据隐私有严格要求的企业内网和个人开发者。

    💡 典型使用场景

    场景一:本地 AI 编程助手

    搭配 Continue.devVS Code Ollama 插件,在断网环境下也能使用本地 LLM 辅助代码补全、解释和重构。使用 DeepSeek-Coder 或 CodeLlama 模型,响应速度毫秒级,代码质量媲美云端模型。

    实战示例:运行 ollama run deepseek-coder:6.7b,然后在 Continue.dev 中配置 Ollama 为默认 Provider,即可在 VS Code 侧边栏直接对话编程。

    场景二:私有知识库 RAG 系统

    结合 AnythingLLMOpen WebUI,将企业内网文档、PDF、Markdown 文件作为知识库,通过 Ollama 本地推理实现零数据外泄的智能问答系统。金融、医疗、法律等敏感行业尤为适用。

    实战示例:Docker 部署 AnythingLLM,在设置中选择 Ollama 作为 LLM Provider,指定本地模型(如 Llama3:8b),然后上传内部文档即可开始私有问答。

    场景三:AI 应用本地开发测试

    在开发 AI 应用时,使用 Ollama 替代 OpenAI API 进行本地测试和迭代,无需消耗云端配额,也避免了敏感测试数据外传的风险。Ollama 的 API 与 OpenAI 高度兼容,切换成本极低。

    实战示例:在 .env 中设置 OPENAI_BASE_URL=http://localhost:11434/v1OPENAI_API_KEY=ollama,现有基于 OpenAI SDK 的代码几乎不用改动即可切换至本地模型。

    ✨ 推荐理由

    作为本地 LLM 领域的”Docker”,Ollama 几乎是所有 AI 开发者入门本地模型的第一站。它把复杂的模型量化、推理引擎配置、GPU 驱动适配等底层细节全部封装,真正做到了”一行命令运行大模型”。

    我个人最常用的场景是在无网环境下做代码审查和文档撰写——启动 DeepSeek-R1 本地模型,响应速度非常快,且完全不担心代码泄露。相比云端 API,本地运行的成本优势在长期使用中极为明显:一次性下载模型,后续零费用无限调用。

    另外值得一提的是 Ollama 的 REST API 与 OpenAI 高度兼容,这意味着你可以用同一套代码同时支持云端和本地模型,在开发阶段用本地模型省成本,上线时切换到 GPT-4 保质量,这种灵活性是其他本地 LLM 工具难以提供的。

    如果你还没试过在本地运行 LLM,Ollama 是最好的起点。165K Stars 和 40K+ 社区集成不是偶然——它真的好用。

    📥 下载地址


      GitHub 热门 AI 开源项目系列  
  • Open-WebUI:自托管AI平台,打造专属的ChatGPT体验

    在本地运行大语言模型(LLM)已经成为越来越多开发者和AI爱好者的选择。但Ollama等工具缺乏友好的Web界面,而Open-WebUI完美解决了这个问题——它提供了一个功能丰富、可自托管的AI交互平台,让你在本地也能享受媲美ChatGPT的使用体验。

    项目简介

    Open-WebUI 是一个可扩展、功能丰富、用户友好的自托管AI平台,支持完全离线运行。它兼容Ollama、OpenAI兼容API等多种LLM运行器,并内置RAG(检索增强生成)推理引擎。目前GitHub Stars已超过105,000+,是本地AI部署的首选界面方案。

    安装要求和过程

    环境要求

    • Python方式:需要 Python 3.11(避免使用其他版本以免兼容性问题)
    • Docker方式:需要安装Docker,建议使用GPU环境以获得更好性能
    • Ollama:如需本地运行模型,需提前安装Ollama
    • 存储空间:至少预留5GB空间用于模型和数据集

    快速安装步骤

    方式一:Python pip安装(最简单)

    # 安装项目
    pip install open-webui
    
    # 启动服务,访问地址:http://localhost:8080
    open-webui serve
    

    方式二:Docker快速部署(推荐)

    # 基础部署(Ollama在本地)
    docker run -d -p 3000:8080   --add-host=host.docker.internal:host-gateway   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:main
    
    # 访问地址:http://localhost:3000
    

    方式三:一体化部署(包含Ollama)

    # 带GPU支持
    docker run -d -p 3000:8080 --gpus=all   -v ollama:/root/.ollama   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama
    
    # 仅CPU
    docker run -d -p 3000:8080   -v ollama:/root/.ollama   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama
    

    核心功能

    • 多模型兼容:无缝集成Ollama、OpenAI API,支持对接LMStudio、GroqCloud、Mistral、OpenRouter等第三方服务,一个界面管理所有AI模型。
    • 本地RAG能力:内置检索增强生成引擎,支持9种向量数据库(ChromaDB、PGVector、Qdrant、Milvus等),可直接上传文档进行智能问答。
    • 多模态交互:支持语音/视频通话,集成多种语音转文本和文本转语音引擎;支持DALL-E、Gemini、ComfyUI等多种图像生成引擎。
    • 权限管理:细粒度用户角色与权限控制,支持LDAP/AD集成、SSO单点登录,适合团队和企业部署。
    • 插件扩展:支持Pipelines插件框架,可自定义业务逻辑(函数调用、用户限流、实时翻译、内容过滤等)。

    典型使用场景

    场景一:个人本地AI助手

    通过Docker一键部署Open-WebUI + Ollama,在本地运行Llama 3、Mistral等开源模型。所有数据完全离线,保障隐私安全;同时获得与ChatGPT媲美的Web交互体验,支持多轮对话、Markdown渲染、代码高亮等功能。

    场景二:团队协作AI平台

    利用Open-WebUI的权限管理和SSO集成能力,为企业团队搭建内部AI平台。通过RBAC控制不同用户的模型访问权限,对接企业内部知识库实现RAG问答,并监控API使用量和成本。

    场景三:AI应用开发测试

    开发者可使用Open-WebUI快速测试不同LLM模型的效果,通过模型构建器自定义提示词和角色,利用Python函数调用扩展自定义能力,加速AI应用的原型开发和测试验证。

    推荐理由

    Open-WebUI是我试用过的最优秀的本地LLM Web界面,没有之一。它的设计非常贴合实际使用场景:响应式界面适配各种设备,PWA支持让你可以像原生App一样使用,RAG功能让你可以轻松对接个人知识库。

    相比其他类似工具,Open-WebUI的最大优势在于完整性和成熟度:它不仅有精美的界面,还有完整的企业级功能(权限管理、SSO、监控等),同时支持广泛的模型和后端的灵活配置。无论你是个人用户还是企业团队,都能找到适合自己的部署方式。

    特别推荐它的RAG集成能力——上传文档后可以直接在对话中引用,支持多种向量数据库和搜索引擎,真正实现”个人AI知识库”的落地。如果你一直在寻找一个好用的本地LLM界面,Open-WebUI绝对值得一试。

    下载地址

    如果你觉得这个项目有帮助,欢迎到GitHub上点个Star支持开发者!

  • 【开源推荐】Open Notebook:29.9K+ Stars!Notebook LM 开源替代品,隐私优先+18家AI模型随意切换

    【开源推荐】Open Notebook:29.9K+ Stars!Notebook LM 开源替代品,隐私优先+18家AI模型随意切换

    📌 项目简介

    Open Notebook 是 Google Notebook LM 的开源替代品,隐私优先、支持自托管,兼容 18+ AI 服务商(OpenAI、Anthropic、Ollama 等),让你完全掌控研究数据,不再受大厂绑定。

    29.9K+
    GitHub Stars

    18+
    AI 服务商

    100%
    数据自主

    MIT
    开源协议

    ⚙️ 安装要求和过程

    环境要求

    • 仅需安装 Docker Desktop(所有平台通用)
    • 支持 Windows / macOS / Linux
    • 需要约 2GB 磁盘空间

    快速安装(3 步搞定)

    # 第1步:下载 docker-compose.yml
    curl -o docker-compose.yml https://raw.githubusercontent.com/lfnovo/open-notebook/main/docker-compose.yml

    # 第2步:修改加密密钥(可选但推荐)
    # 编辑 docker-compose.yml,修改 OPEN_NOTEBOOK_ENCRYPTION_KEY

    # 第3步:启动服务
    docker compose up -d

    # 等待 15-20 秒后访问
    浏览器打开 http://localhost:8502

    安装完成后在浏览器打开 http://localhost:8502 即可使用,AI 密钥可在 Web UI 中配置,无需提前写入配置文件。

    ✨ 核心功能

    🔒
    隐私优先,数据自主

    自托管部署,所有研究数据存储在本地,完全不受 Google 服务器约束。支持 Docker / 云端 / 本地多种部署方式。

    🤖
    18+ AI 服务商兼容

    原生支持 OpenAI、Anthropic、Google、Groq、Ollama、DeepSeek、Mistral、xAI 等 18+ 家,也支持任意 OpenAI 兼容接口(LM Studio 等)。

    🎙️
    专业多角色播客生成

    支持 1-4 个可自定义角色的播客生成,比 Notebook LM 的 2 角色更灵活,可打造个性化内容输出。

    🔍
    全文 + 向量语义双搜索

    所有上传内容同时支持关键词全文检索和向量语义搜索,快速定位研究资料中的关键信息。

    完整 REST API

    提供完整的 REST API 接口,支持全流程程序化调用,可集成到现有工作流或自动化系统中。

    💡 典型使用场景

    场景一:学术研究资料管理

    上传论文 PDF、会议视频、网页资料,让 AI 基于你的资料库进行问答和总结。数据完全本地存储,敏感研究内容不外泄。

    场景二:多模型对比研究

    同时配置 OpenAI、Anthropic、DeepSeek 等多个模型,在同一套资料上对比不同模型的分析能力,选出最适合的模型。

    场景三:团队知识库 + 播客输出

    将团队文档、会议记录导入 Open Notebook,用 AI 生成洞察;还可将研究成果一键转换为多角色播客,方便团队内部分享。

    ⚡ Open Notebook vs Notebook LM

    对比维度 Open Notebook Notebook LM
    数据隐私 ✅ 自托管,完全自主 ❌ 仅 Google 云端
    AI 模型选择 ✅ 18+ 家,含本地模型 ❌ 仅 Google 模型
    播客角色数 ✅ 1-4 个可自定义 ⚠️ 仅 2 个
    API 访问 ✅ 完整 REST API ❌ 无
    成本 ✅ 只需支付 AI 调用费 ⚠️ 免费层 + 月费订阅
    开源定制 ✅ MIT 协议,完全可改 ❌ 封闭系统

    💬 推荐理由

    Google Notebook LM 确实好用,但它有两个痛点:数据在 Google 服务器上,以及只能用 Google 的模型。如果你研究的内容比较敏感,或者想用 DeepSeek / 本地 Ollama 来节省成本,Notebook LM 就没法满足你了。

    Open Notebook 最大的价值就是把控制权还给你:数据存在自己服务器上,想用哪个 AI 就用哪个,甚至可以在完全没有外网的环境里跑本地模型。而且它还有完整 REST API,可以接入自己的自动化流程。

    部署也超级简单,会 Docker 就能跑,三行命令搞定。如果你一直在找 Notebook LM 的平替,这个项目值得一试。开源、免费、不绑架数据,还要什么自行车?

    🤖 已支持 AI 服务商(部分)

    OpenAI
    Anthropic
    Google GenAI
    Groq
    Ollama
    DeepSeek
    Mistral
    xAI (Grok)
    OpenRouter
    Azure OpenAI
    Vertex AI
    MiniMax
    DashScope (Qwen)
    LM Studio

    📥 下载地址