标签: RAG

  • Semantic Kernel:微软企业级 AI 编排 SDK,28K+ Stars 让多语言 AI 应用开发变得简单

    Semantic Kernel:微软企业级 AI 编排 SDK,28K+ Stars 让多语言 AI 应用开发变得简单

    Semantic Kernel
    Microsoft 企业级 AI 编排 SDK
    Python · C# · Java · RAG · Multi-Agent · MCP

    📌 项目简介
    模型无关的企业级 AI 编排 SDK,让开发者快速将前沿 LLM 技术集成到应用中

    Semantic Kernel(简称 SK)是微软推出的模型无关企业级 AI 编排 SDK,支持 Python、C#、Java 三大主流语言。
    它帮助开发者快速构建、编排和部署 AI 智能体及多智能体系统,可兼容任意主流大模型,兼顾企业级可靠性与灵活性。

    ⚠️ 重要提示:项目已升级为微软官方企业级智能体框架 Microsoft Agent Framework(MAF)
    MAF 是 SK 的继任者,已发布 1.0 生产级稳定版本。新项目建议使用 MAF,SK 后续仅提供最低限度的安全更新和 bug 修复。

    ⚙️ 安装要求和过程
    💻 环境要求
    • Python:3.10 及以上
    • .NET:.NET 8.0 及以上(推荐 .NET 10.0)
    • Java:JDK 17 及以上
    • 支持系统:Windows / macOS / Linux
    🔑 前置配置

    需先设置 AI 服务环境变量:

    # Azure OpenAI
    export AZURE_OPENAI_API_KEY=你的密钥
    export AZURE_OPENAI_ENDPOINT=你的端点
    
    # OpenAI
    export OPENAI_API_KEY=你的密钥

    📦 快速安装
    Python(推荐)
    pip install semantic-kernel

    .NET(C#)
    dotnet add package Microsoft.SemanticKernel
    dotnet add package Microsoft.SemanticKernel.Agents.Core

    Java
    <dependency>
      <groupId>com.microsoft.semantickernel</groupId>
      <artifactId>semantickernel-core</artifactId>
      <version>1.0.0</version>
    </dependency>

    ✨ 核心功能
    🔗 模型无关设计
    原生支持 OpenAI、Azure OpenAI、Hugging Face、NVIDIA NIM 等主流大模型,也可接入 Ollama、LM Studio、ONNX 等本地部署模型,无需绑定特定厂商

    🤖 智能体全能力
    支持构建单智能体、多智能体协作系统,智能体可集成工具/插件、记忆能力、规划能力,满足从简单对话到复杂业务流程编排的需求

    🔌 丰富插件生态
    支持原生代码函数、提示词模板、OpenAPI 规范、Model Context Protocol(MCP)等多种插件形式,可快速扩展智能体能力

    🗄️ 向量数据库集成
    无缝对接 Azure AI Search、Elasticsearch、Chroma 等主流向量数据库,快速实现 RAG(检索增强生成)场景

    🏢 企业级能力
    内置可观测性、安全机制,提供稳定的 API 接口,满足企业级生产环境要求。支持 Azure Monitor、OpenTelemetry 等监控方案

    🔄 流程编排框架
    提供结构化工作流引擎,可建模复杂业务流程,实现 AI 能力的可控编排。支持顺序、并行、条件分支等多种执行模式

    🚀 典型使用场景
    场景一:企业客服多智能体系统
    构建「工单分流智能体 + 账单处理智能体 + 退款处理智能体」的协作系统。
    当用户发送复杂需求时,主智能体自动规划并委派给专业子智能体处理,完成后汇总回复用户。
    Semantic Kernel 的 Agent Framework 原生支持多智能体协作,每个智能体拥有独立上下文和工具集。

    场景二:RAG 企业知识库问答
    结合向量数据库(如 Azure AI Search 或 Chroma),为企业内部文档构建知识库问答系统。
    通过 Semantic Kernel 的 Vector Store 抽象层,仅需修改配置即可切换不同向量数据库,无需重写代码。
    支持文本分块、向量化、混合检索(向量 + 关键词)等完整 RAG 管线。

    场景三:跨平台 AI 应用(Python + C# + Java 三语通用)
    企业技术栈多样,Semantic Kernel 提供 Python、C#、Java 三大语言 SDK,API 设计高度一致。
    无论是 Python 数据科学团队、.NET 企业应用团队,还是 Java 后端团队,都可以用相同的概念(Kernel、Plugin、Agent)开发 AI 功能。
    Microsoft 官方提供 100+ 示例代码,覆盖所有主流场景。

    💡 推荐理由

    作为一名 AI 开发者,Semantic Kernel 是我用过的最”企业友好”的 AI 编排框架。它的模型无关设计让我可以随时切换底层 LLM,而不用改业务代码——这在企业采购谈判中非常有优势。

    三语言 SDK(Python/C#/Java)的设计一致性是一大亮点。我们团队后端用 Java、AI 服务用 Python、桌面端用 C#,Semantic Kernel 让三者共享相同的 AI 编排逻辑,大幅降低了跨团队沟通成本。

    插件系统非常灵活。除了写代码函数,还支持 OpenAPI 规范直接导入(自动生成插件),这让集成第三方 API 变得极其简单。MCP 协议的支持也让智能体能力扩展变得更加标准化。

    需要注意的是,微软已宣布将 SK 升级为 Microsoft Agent Framework(MAF),MAF 是SK的正式继任者并已发布 1.0 稳定版。如果是全新项目,建议直接评估 MAF;但 SK 的现有用户不必担心,API 高度兼容,迁移成本很低。

    ⭐ 如果你在用 .NET 技术栈,Semantic Kernel 是目前唯一有微软官方长期支持的企业级 AI 框架,强烈推荐!

    28.2K+
    GitHub Stars

    4.6K+
    Forks

    3
    语言 SDK

    100+
    官方示例

    📥 下载地址 & 相关链接
    许可协议:MIT License(商业友好,可自由修改和分发)


      由 AI 自动整理,数据来源 GitHub  
  • Flowise:可视化构建AI智能体的低代码平台,54K+Stars让AI Agent开发变得简单

    Flowise:可视化构建AI智能体的低代码平台,54K+Stars让AI Agent开发变得简单

    📦 项目简介

    Flowise 是一款可视化构建 AI 智能体的低代码平台,让你通过拖拽节点的方式组装 AI Agent 工作流,无需编写代码即可串联大模型、知识库和外部工具。基于 LangChain 生态构建,支持几乎所有主流 LLM,是构建 RAG 应用和 AI 自动化工作流的首选工具之一。

    54K+
    GitHub Stars

    24K+
    Forks

    v3.1.3
    最新版本

    TypeScript
    语言

    ⚙️ 安装要求和过程

    环境要求

    • Node.js ≥ 20.0.0(推荐 v20.20.2)
    • PNPM(可选,用于本地开发)
    • Docker(可选,用于容器化部署)

    方式一:全局安装(最简单)

    # 安装 Flowise
    npm install -g flowise
    
    # 启动服务
    npx flowise start
    
    # 访问地址
    http://localhost:3000

    方式二:Docker 部署

    # 克隆项目
    git clone https://github.com/FlowiseAI/Flowise.git
    cd Flowise/docker
    
    # 配置环境变量
    cp .env.example .env
    
    # 启动容器
    docker compose up -d

    方式三:本地开发

    # 安装 PNPM
    npm i -g pnpm
    
    # 克隆仓库
    git clone https://github.com/FlowiseAI/Flowise.git
    cd Flowise
    
    # 安装依赖
    pnpm install
    
    # 构建项目
    pnpm build
    
    # 启动开发服务器
    pnpm dev

    ⚠️ 如果构建时出现内存溢出,运行 export NODE_OPTIONS="--max-old-space-size=4096" 后重试

    ✨ 核心功能

    🎨 可视化工作流编排

    通过拖拽节点、连线的可视化方式组装 AI Agent,支持 AgentFlow V2(迭代节点、条件节点、HTTP节点),无需编写代码即可构建复杂 AI 工作流。支持导出/导入工作流,方便分享与协作。

    🤖 多模型支持

    支持 OpenAI、Claude、Gemini、HuggingFace、Ollama 等几乎所有主流 LLM,同时支持 AWS Bedrock 全模型目录和自定义模型接入。Mistral AI FunctionAgent 支持工具调用流式输出。

    📚 知识库与 RAG

    原生支持向量存储和嵌入模型接入,可给 Agent 添加知识库,实现 RAG(检索增强生成)。支持多种向量数据库(Pinecone、Weaviate、Qdrant、Chroma 等)。

    🔌 MCP 协议支持

    支持 Model Context Protocol (MCP),可接入各种 MCP 服务器,扩展 Agent 能力。同时支持自定义工具集成,真正实现对外部系统的无缝对接。

    🔐 细粒度权限控制

    API 密钥支持细粒度权限控制,可按用户权限限定 API 密钥权限范围。支持用户名密码认证,凭证字段类型安全优化,避免敏感信息泄露。

    🚀 典型使用场景

    场景一:构建企业知识库聊天机器人

    上传企业文档(PDF、Word、Markdown等),Flowise 自动解析并建立向量索引。通过可视化界面组装”文档加载 → 文本分割 → 向量存储 → 检索 → LLM 生成”的完整 RAG 链路,一键部署为聊天接口,嵌入企业微信/官网/APP。

    场景二:AI 工作流自动化

    利用 AgentFlow V2 的迭代节点和条件节点,构建复杂的 AI 自动化工作流。例如:自动抓取网页内容 → 用 LLM 提取关键信息 → 判断内容类型 → 分别存储到不同数据库 → 发送通知。整个流程可视化编排,支持人工审核节点。

    场景三:多模型对比与路由

    在同一个工作流中接入多个 LLM,通过条件节点实现智能路由(简单问题用 GPT-3.5,复杂推理用 Claude Opus),或对同一个 Prompt 并行调用多个模型,对比输出质量后选择最佳答案。

    💡 推荐理由

    • 低代码、零门槛:可视化拖拽编排,产品/运营同学也能上手,不再依赖专业开发者
    • LangChain 生态加持:基于 LangChain 构建,享受其丰富的组件和工具生态,同时弥补了 LangChain 代码复杂的短板
    • 活跃社区:54K+ Stars,3600+ Commits,频繁更新(最近一次提交 2026-06-30),社区支持完善
    • 多部署方式:支持本地部署、Docker、Railway、Render、HuggingFace Spaces、Sealos 等一键部署,满足不同场景需求
    • 开放协议:Apache-2.0 许可,可完全自托管,数据不出内网,满足企业合规要求

    📥 下载地址

    ● ● ●

    📌 本文由自动化任务定时发布 | 数据来源:GitHub API | 更新时间:2026-07-01

    🔗 项目 GitHub: github.com/FlowiseAI/Flowise

  • MinerU:让LLM读懂复杂文档的高精度解析引擎,72.5K+ Stars将PDF/Office转为AI可用格式

    MinerU:让LLM读懂复杂文档的高精度解析引擎,72.5K+ Stars将PDF/Office转为AI可用格式

    📄

    MinerU

    高精度文档解析引擎 · 专为 LLM / RAG / Agent 设计

    72.5K+ Stars
    🏷️ Python
    📜 MinerU License (Apache 2.0扩展)
    🏢 OpenDataLab 出品

    📌 项目简介

    MinerU 是一个将 PDF、DOCX、PPTX、XLSX、图片、网页等复杂格式文档,高精度转换为 Markdown / JSON 格式的开源工具,让 LLM 和 RAG 系统能够真正”读懂”非结构化文档。采用 VLM+OCR 双引擎,支持 109 种语言,是 AI 工作流中文档预处理的首选方案。

    🚀 核心功能

    📑

    多格式支持

    原生支持 PDF、DOCX、PPTX、XLSX、图片、网页,输出 Markdown / JSON 格式

    🔣

    公式+表格精准识别

    公式自动转为 LaTeX,表格自动转为 HTML,精准还原文档布局

    🌐

    109 种语言 OCR

    VLM+OCR 双引擎,支持扫描件、手写内容、多栏布局、跨页表格合并

    🔌

    原生 MCP / RAG 集成

    原生支持 MCP Server、LangChain、LlamaIndex、RAGFlow、Dify、FastGPT

    💻

    国产 AI 芯片适配

    支持昇腾、寒武纪、燧原、沐曦、摩尔线程、昆仑芯等 10+ 款国产芯片

    🐋

    多推理后端

    支持 pipeline / vlm-engine / hybrid-engine 三种后端,适配不同精度与速度需求

    ⚙️ 安装要求和过程

    环境要求

    依赖项 要求
    操作系统 Linux (2019+)、Windows 10+、macOS 14.0+
    Python 3.10 ~ 3.13(Windows 仅支持 3.10~3.12)
    内存 最低 16GB,推荐 32GB+
    GPU 显存 pipeline 后端最低 4GB;vlm/hybrid 后端最低 8GB

    快速安装(推荐)

    # 使用 uv 安装(推荐)
    pip install --upgrade pip
    pip install uv
    uv pip install -U "mineru[all]"
    
    # 命令行使用
    mineru -p <输入文件/目录> -o <输出路径>
    
    # 纯 CPU 运行
    mineru -p <输入> -o <输出> -b pipeline

    Docker 部署

    # 仅支持 Linux / WSL2
    docker run -p 8000:8000 --gpus all opendatalab/mineru:latest

    💡 典型使用场景

    📚 RAG 知识库文档预处理

    将企业知识库中的 PDF 技术文档、Word 操作手册、PPT 培训材料批量转换为 Markdown,注入 RAG 系统,使 LLM 能够基于真实文档内容作答,避免幻觉。

    🤖 AI Agent 文档理解增强

    AI Agent 在回答用户问题时,先通过 MinerU 解析相关文档,提取结构化内容后再进行推理,大幅提升回答的准确性和可溯源性。原生 MCP Server 可直接对接 Claude/Cursor/Windsurf。

    🌏 多语言文档批量处理

    处理跨国企业的多语言合同、技术规格书(支持 109 种语言),通过 OCR+VLM 双引擎准确识别双语混排、公式、表格等复杂内容。

    ✨ 推荐理由

    MinerU 解决了 AI 工作流中一个极其关键的痛点:非结构化文档的精准解析。对于 RAG 应用来说,文档解析质量直接决定最终效果——解析出错,检索再准也没用。

    我个人最喜欢它的三个设计:① 双引擎架构(pipeline 速度快,vlm-engine 精度高,可按需切换);② 原生 MCP 支持,直接让 AI 编程助手具备文档理解能力;③ 国产芯片适配,真正自主可控。

    相比同类工具(如 Unstructured、PyPDF2),MinerU 在复杂布局还原、公式识别、表格合并等方面明显更胜一筹,这也是它能获得 72.5K Stars 的核心原因。

    自动化任务 于 2026-07-01 发布 · 数据来源:GitHub

  • LocalAI:免费开源OpenAI替代方案,在本地硬件上运行全模态AI模型,47K+ Stars让AI彻底私有化

    LocalAI:免费开源OpenAI替代方案,在本地硬件上运行全模态AI模型,47K+ Stars让AI彻底私有化

    今天介绍一个让AI彻底私有化的开源神器——LocalAI。它被誉为”免费的开源OpenAI替代方案”,可以在任意硬件上运行各类AI模型(LLM、视觉、语音、图像、视频),无需GPU,数据完全本地化。

    项目简介

    LocalAI 是开源AI引擎,可作为OpenAI/Anthropic API的直接替代品。它采用”小核心+按需加载后端”的可组合架构,支持在消费级硬件上运行大语言模型、图像生成、语音识别、语音合成等各类AI模型,数据完全留在本地,无需云服务。

    LocalAI Logo
    LocalAI – 免费开源AI引擎

    安装要求和过程

    环境要求

    • 操作系统:macOS、Linux、Windows
    • GPU:无需GPU!支持NVIDIA、AMD、Intel、Apple Silicon、Vulkan、纯CPU
    • 内存:8GB+ RAM(运行小模型);16GB+(运行中大模型)
    • 存储:至少10GB可用空间(模型文件较大)

    快速安装(Docker推荐)

    # CPU环境(最常用)
    docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
    
    # NVIDIA GPU环境(CUDA 12)
    docker run -ti --name local-ai -p 8080:8080 --gpus all \
      localai/localai:latest-gpu-nvidia-cuda-12
    
    # macOS(下载DMG直接安装)
    # 从 GitHub Releases 下载 LocalAI.dmg
    

    快速开始

    # 启动LocalAI
    docker run -p 8080:8080 -ti localai/localai:latest
    
    # 在另一个终端,运行模型
    local-ai run llama-3.2-1b-instruct:q4_k_m
    
    # 启动交互式聊天
    local-ai chat --model llama-3.2-1b-instruct:q4_k_m
    
    # 从HuggingFace加载模型
    local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
    
    # 从Ollama仓库加载
    local-ai run ollama://gemma:2b
    

    核心功能

    1. OpenAI API完全兼容:可作为OpenAI API的直接替代品,现有应用和库无需修改即可迁移。支持文本生成、嵌入、图像处理、语音识别、语音合成等全套API。
    2. 无需GPU,消费级硬件即可运行:优化后的推理引擎(llama.cpp等)可在CPU上高效运行,无需昂贵GPU。支持Intel/AMD/Apple Silicon等各平台。
    3. 支持全模态AI模型:不仅支持LLM,还支持图像生成(Stable Diffusion)、语音识别(Whisper)、语音合成(TTS)、音乐生成(MusicGen)、目标检测等,真正的”全模态AI引擎”。
    4. 内置AI智能体:集成LocalAGI(自主智能体平台),支持工具调用、RAG、MCP协议、技能扩展。内置Agent Hub社区,可分享和下载智能体配置。
    5. 企业级功能:支持多用户、API密钥认证、用户配额、基于角色的访问控制(RBAC)。支持分布式模式(通过PostgreSQL+NATS实现水平扩展),适合企业生产环境。
    LocalAI Demo
    LocalAI 项目导览演示

    典型使用场景

    • 私有化AI助手部署:企业内部需要AI助手但担心数据泄露?LocalAI让你在内网部署完全私有的AI服务,支持OpenAI API兼容,现有应用无缝迁移。可用于代码辅助、文档问答、知识库检索等场景。
    • 替代云API降低成本:OpenAI API按调用次数收费,长期使用成本高昂。LocalAI让你在本地硬件上运行开源模型,一次部署无限使用,特别适合高频调用场景(如客服机器人、内容生成流水线)。

    推荐理由

    LocalAI 是我见过的最完整的本地AI部署解决方案。与Ollama相比,LocalAI支持更多模态(图像、语音、视频);与vLLM相比,LocalAI无需GPU且更易用;与text-generation-webui相比,LocalAI有完整的API兼容性和企业级功能。

    我最喜欢的设计是“小核心+按需加载后端”的架构。核心只有很小的基础功能,每个后端(llama.cpp、vLLM、whisper.cpp、stable-diffusion等)都是独立的OCI镜像,仅在需要时才拉取。这意味着你不会安装任何用不到的组件,资源占用极小。

    另外,MCP协议支持让LocalAI可以无缝对接各类AI智能体工具,而分布式模式则让它能够水平扩展,处理大规模并发请求。对于需要私有化部署AI服务的企业来说,LocalAI是目前最好的选择。

    下载地址

    许可协议:MIT License(完全开源,可自由使用、修改、分发)

    支持后端:llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX、TensorRT等60+推理后端


    如果你喜欢本地部署AI,LocalAI绝对值得一试。它让”私有化AI”变得简单可行,再也不用担心数据泄露和API费用了。

  • cognee:为AI智能体打造的开源记忆平台,跨会话持久记忆+自托管知识图谱,23K+Stars让AI真正拥有长期记忆

    cognee:为AI智能体打造的开源记忆平台,跨会话持久记忆+自托管知识图谱,23K+Stars让AI真正拥有长期记忆

    🧠 项目简介

    Cognee 是为 AI 智能体打造的开源记忆平台,通过自托管知识图谱引擎,为智能体提供跨会话的持久长期记忆。它支持任意格式的数据摄入,构建可动态演进的知识图谱,让智能体能够基于完整上下文进行回忆、关联和行动。结合向量嵌入、图推理和认知科学基础的本体生成能力,Cognee 让文档既支持语义搜索,又能通过关系关联,且知识图谱会随知识积累动态演进。


    📦 安装要求和过程

    环境要求

    • Python:3.10 ~ 3.14
    • 可选:Docker(用于本地 MCP 服务或完整部署)
    • LLM API Key:默认支持 OpenAI,也可对接其他 LLM 提供商

    快速安装

    # 使用 uv 安装(推荐)
    uv pip install cognee
    
    # 使用 pip 安装
    pip install cognee
    
    # 如需使用 Postgres 作为后端,安装对应依赖
    pip install "cognee[postgres]"
    

    环境配置

    # 复制环境变量模板
    cp .env.template .env
    
    # 配置 LLM API Key(默认 OpenAI)
    echo 'LLM_API_KEY="your_openai_api_key"' > .env
    

    Docker 一键部署

    # 克隆仓库并配置
    git clone https://github.com/topoteretes/cognee.git
    cd cognee
    cp .env.template .env
    
    # 启动 API 服务(默认端口 8000)
    docker compose up
    
    # 同时启动前端(端口 3000)
    docker compose --profile ui up
    
    # 启动 MCP 服务(端口 8001)
    docker compose --profile mcp up
    

    ⭐ 核心功能

    1. 跨会话持久记忆

    AI 智能体的记忆不会随会话结束而丢失。Cognee 提供两种存储模式:永久存储(直接写入知识图谱,执行完整处理流程)和会话存储(先写入快速缓存,后台异步同步到知识图谱)。

    2. 自托管知识图谱引擎

    知识关系可动态演进,随知识积累自动更新。Cognee 1.0 支持在单个 Postgres 实例上运行完整记忆层(关系存储 + 向量嵌入 + 会话缓存 + 元数据存储),无需维护多组件栈,性能比分离式图+向量方案快约 10%。

    3. 多后端支持

    默认使用 Postgres 全栈运行记忆层,也可按需切换 Neo4j、Neptune、Redis、Qdrant 等专用后端。灵活适配不同规模的部署需求。

    4. 多语言官方客户端

    除 Python 主客户端外,还提供 Rust(cognee-rs,可通过 cargo add cognee 安装)和 TypeScript(@cognee/cognee-ts,可通过 npm install 安装)官方客户端,覆盖更多开发场景。

    5. 多智能体工具集成

    支持 Claude Code、OpenClaw 等智能体工具集成,也支持对接 Cognee Cloud 托管服务。提供 MCP 服务器原生支持,可无缝接入 AI 编程助手。


    🚀 典型使用场景

    场景一:客服智能体

    目标:结合用户的金融、客服、产品历史等个人数据,解决客户问题。

    示例交互

    • 用户提问:”我的发票有问题,而且问题一直没解决”
    • 智能体响应:”我找到 2 个上个月解决的类似账单问题,原因是支付和发票系统同步延迟,我们已经在你的账户上应用了修复方案。”

    底层逻辑:统一整合企业多渠道数据源 → 重建交互时间线 → 检索相似已解决案例 → 匹配最优解决方案 → 执行后更新记忆。

    场景二:专家知识蒸馏(SQL 助手)

    目标:帮助初级分析师复用专家的查询、模式和推理逻辑,完成数据分析任务。

    示例交互

    • 用户提问:”我该怎么为这个数据集计算客户留存率?”
    • 智能体响应:”这是高级分析师解决类似留存查询的方法,Cognee 将你的数据表结构和已知结构做了匹配,把专家的逻辑适配到了你的数据集上。”

    底层逻辑:提取并存储专家 SQL 查询 → 将当前数据表结构映射到已识别的结构 → 检索相似任务和成功实现方案 → 将专家推理逻辑适配到当前上下文。


    💡 推荐理由

    Cognee 解决了 AI 智能体领域一个根本性问题:如何让智能体拥有持久、可演进的记忆。在大模型应用从”单次对话”走向”长期协作”的今天,记忆层已成为 AI 智能体不可或缺的基础设施。

    最打动我的几点

    • Single Postgres 架构:Cognee 1.0 的巧妙设计让整个记忆层运行在单个 Postgres 实例上,极大降低了运维复杂度,同时性能不输专用分离方案。
    • 动态演进的知识图谱:不同于静态 RAG,Cognee 的知识图谱会随知识积累自动更新关系,真正实现”越用越聪明”。
    • 基准测试领先:在长上下文记忆基准测试 BEAM 中,Cognee 得分 0.79(开启按问题路由后 >0.8),优于之前的 SOTA 方案(0.735)和 RAG 基线(~0.33)。
    • 多语言客户端:同时提供 Python、Rust、TypeScript 官方客户端,覆盖从 AI 应用开发到高性能系统集成的全场景。
    • 活跃社区:8426+ 次提交,304 个开放 Issues(说明使用人数多、反馈活跃),Apache-2.0 永久开源。

    如果你正在构建需要”记住用户”的 AI 应用——无论是客服机器人、个人助手还是企业知识助手,Cognee 值得一试。23K+ Stars 和本周新增 5000+ Stars 的趋势,已经说明了开发者的认可。


    📥 下载地址


    📌 许可协议:Apache License 2.0(永久开源,可自由使用、修改和分发)

    👥 维护团队:topotherete 社区(8426+ 次提交,活跃开发中)

    📄 相关研究Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning(arXiv 2025)

  • Sentence Transformers:RAG与语义搜索的基石,18.8K+Stars让文本嵌入变得简单

    Sentence Transformers:RAG与语义搜索的基石,18.8K+Stars让文本嵌入变得简单

    📌 项目速览
    项目名称: Sentence Transformers
    GitHub: huggingface/sentence-transformers
    ⭐ Stars: 18.8K+ | 🍴 Forks: 2.8K+
    编程语言: Python | 许可证: Apache-2.0
    维护方: Hugging Face (原 UKP Lab)
    官网: sbert.net

    🎯 项目简介

    Sentence Transformers 是计算文本嵌入(Embeddings)的事实标准框架,让语义搜索、RAG 检索和文本相似度计算变得极其简单。由德国达姆施塔特工业大学 UKP Lab 首创,现由 Hugging Face 团队维护,是每一个做 RAG、语义搜索、向量检索工程师的必备工具箱。

    只需两行代码,就能把任意句子转换成高质量稠密向量;再配合一行相似度计算,即可实现语义级别的文本匹配。支持 100+ 语言、15000+ 预训练模型、多模态(文本/图像/音频/视频)嵌入,堪称 AI 时代的”文本向量化瑞士军刀”。

    💡 为什么重要? 大语言模型虽强,但无法直接处理超长文本或实时检索。Sentence Transformers 将文本转化为固定维度的向量,使语义搜索、去重、聚类、推荐等任务速度提升 100 倍,是 RAG 系统的第一块基石。

    ⚙️ 安装要求和过程

    环境要求

    • Python: 3.10+
    • PyTorch: 1.11.0+
    • transformers: 4.41.0+
    • 硬件: CPU 可用,GPU(CUDA)可加速 10-50 倍

    快速安装

    # 基础安装(仅核心功能)
    pip install -U sentence-transformers
    
    # 带扩展功能(图像/音频/视频/训练/ONNX)
    pip install sentence-transformers[image,audio,video,train,onnx]
    
    # 使用 uv 快速安装
    uv pip install sentence-transformers
    
    # Conda 安装
    conda install -c conda-forge sentence-transformers
    

    验证安装:

    python -c "from sentence_transformers import SentenceTransformer; print('✅ 安装成功')"
    

    🌟 核心功能

    1. 稠密嵌入(Dense Embeddings)—— RAG 的核心

    将句子、段落甚至整篇文档转换为固定维度的稠密向量(通常 384-1024 维),使得语义相似的文本在向量空间中距离更近。支持 Matryoshka 嵌入(可变尺寸,大向量拆小不降性能)和 嵌入量化压缩(降低 4-8 倍存储)。

    2. 交叉编码器重排序(Cross-Encoder Reranking)—— 精准召回

    稠密检索快速召回 Top-100 后,用 Cross-Encoder 对查询-文档对进行精细打分,重排序后 Top-5 准确率可提升 15-30%。这是生产级 RAG 系统的标配二阶段检索策略。

    3. 稀疏嵌入(Sparse Embeddings)—— 关键词 + 语义混合

    基于 SPLADE 等模型生成稀疏向量(维度 = 词表大小,但 99.8% 以上元素为 0),兼具 BM25 的关键词匹配能力和稠密向量的语义理解能力,实现真正的 混合检索

    4. 多模态嵌入 —— 图文音视统一向量空间

    通过统一 API 支持文本、图像、音频、视频四种模态的嵌入模型。例如用 AI-ModelScope/CLIP-ViT-bigG-patch14 可实现图文跨模态检索,用 laion/clap-htsat-unfused 实现音频语义搜索。

    5. 模型训练/微调 —— 适配你的业务场景

    提供 20+ 种嵌入模型损失函数(余弦相似度、三元组、对比学习等)、10+ 种重排序损失函数、10+ 种稀疏编码损失函数。支持多语言、多任务联合训练,仅需几十对标注样本即可微调出业务级模型。

    🚀 典型使用场景

    场景一:RAG 知识库检索(最流行)

    企业文档问答系统的标准做法:用 Sentence Transformers 将知识库切片编码为向量存入向量数据库(Chroma/Milvus/Qdrant),用户提问时实时编码查询向量,召回最相关的 Top-K 文档片段送给 LLM 生成答案。

    from sentence_transformers import SentenceTransformer
    from qdrant_client import QdrantClient
    
    # 1. 加载嵌入模型
    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
    
    # 2. 编码知识库文档
    docs = ["公司报销流程...", "年假申请方法...", "IT设备申领..."]
    doc_embeddings = model.encode(docs)
    
    # 3. 存入向量数据库
    client = QdrantClient(":memory:")
    client.add(collection_name="kb", vectors=doc_embeddings, payload=docs)
    
    # 4. 用户提问检索
    query = "怎么申请年假?"
    query_vec = model.encode(query)
    results = client.search(collection_name="kb", query_vector=query_vec, limit=3)
    print(results[0].payload)  # 返回最相关文档
    

    场景二:语义搜索与去重(电商平台/内容平台)

    电商平台的商品搜索(用户输入”红色运动鞋”能匹配”红跑步鞋”)、新闻推荐系统去重、简历与岗位描述的语义匹配,都依赖 Sentence Transformers 的语义编码能力。

    场景三:跨语言语义匹配(全球化应用)

    支持 100+ 语言的预训练多语言模型(如 paraphrase-multilingual-MiniLM-L12-v2),可将中文、英文、日文等不同语言的相同语义映射到向量空间的相近位置,实现跨语言检索和匹配。

    💡 推荐理由

    1. RAG 工程师的”Hello World”

    几乎所有 RAG 教程的第一个代码示例都是 Sentence Transformers。它把复杂的 Transformer 编码、池化、归一化等步骤封装成一行 model.encode(),让开发者专注业务逻辑而非模型细节。langchain、LlamaIndex 等框架的底层检索默认就用它。

    2. Hugging Face 生态深度整合

    作为 Hugging Face 官方库,可直接 model = SentenceTransformer("your-model-name") 加载 Hub 上任意模型,也轻松将本地模型 push_to_hub() 分享给社区。15000+ 预训练模型即搜即用,覆盖从轻量级的 MiniLM(80MB)到旗舰级的 gte-Qwen3(数 GB)。

    3. 性能与精度的完美平衡

    all-MiniLM-L6-v2(仅 80MB)在 MTEB 排行榜上达到中上水平,推理速度却是最强模型的 10 倍。配合 Matryoshka 训练,768 维向量可截断为 384/256/128 维使用,存储和检索速度提升数倍,精度损失极小。

    4. 生产级可靠性

    2019 年开源至今,历经 6 年迭代,2800+ Fork、1300+ 贡献者,PyPI 月下载量超百万。Apache-2.0 许可完全免费商用,被 Google、Microsoft、Amazon、Meta 等大厂的内部系统广泛采用。

    🎯 适用人群: RAG 开发者、搜索工程师、NLP 算法工程师、推荐系统工程师、AI 全栈工程师。如果你正在构建任何需要”理解文本语义”的系统,Sentence Transformers 都是首选工具。

    📥 下载地址

    本文由 AI 自动整理,数据截至 2026 年 6 月。项目持续更新中,建议访问官方仓库获取最新信息。

  • Haystack:构建生产级 LLM 应用的首选 AI 编排框架,25K+ Stars 让 RAG 和 Agent 工作流完全透明可控

    Haystack:构建生产级 LLM 应用的首选 AI 编排框架,25K+ Stars 让 RAG 和 Agent 工作流完全透明可控

    Haystack Banner

    Haystack 是由 deepset 团队(已被 Cohere 收购)开发的开源 AI 编排框架,专为构建生产级 LLM 应用而设计。它让开发者以显式控制的方式设计模块化 Pipeline 和 Agent 工作流,覆盖 RAG、多模态、语义搜索、问答系统和自主智能体等场景。

    📦 安装要求和过程

    环境要求

    • Python >= 3.9(推荐 3.10+)
    • pip 包管理器
    • 可选:Docker(用于容器化部署)
    • 可选:GPU(用于本地模型推理加速)

    快速安装

    # 安装稳定版
    pip install haystack-ai

    # 安装 nightly 预览版(尝鲜最新功能)
    pip install –pre haystack-ai

    # 验证安装
    python -c “import haystack; print(haystack.__version__)”

    💡 可选依赖:pip install haystack-ai[openai,anthropic,mistral] 可一次性安装主流模型提供商支持。

    🚀 核心功能

    🧠

    上下文工程优先

    显式控制信息检索、排序、过滤、组合、结构化和路由的全流程。Pipeline 和 Agent 工作流完全透明、可追踪。

    🔄

    模型与厂商无关

    集成 OpenAI、Mistral、Anthropic、Cohere、HuggingFace、Azure、AWS Bedrock、本地模型等。切换模型或基础设施无需重写系统。

    🧩

    模块化与可定制

    内置检索、索引、工具调用、记忆、评估等组件,也可自定义。支持循环、分支和条件逻辑,精确控制上下文流转。

    🌐

    可扩展生态系统

    通过统一接口构建和共享自定义组件,社区和第三方可轻松扩展 Haystack。支持 Hayhooks 将 Pipeline 包装为 REST API 或 MCP 服务器。

    💡 典型使用场景

    1

    企业级 RAG 知识库系统

    某德国联邦部委使用 Haystack 构建了面向公众的语义搜索系统,支持多语言文档检索和精准问答。通过 Haystack 的混合检索(稠密+稀疏向量)和重排序功能,实现了比传统关键词搜索高出 3 倍的准确率。系统部署在私有云上,数据完全合规。

    2

    多模态 AI 客服助手

    某欧洲航空公司使用 Haystack 构建了支持文本+图片输入的客服 Agent,客户可以上传行李损坏照片,Agent 自动检索相关政策文档并生成处理建议。Haystack 的多模态 Pipeline 设计让文本和视觉信息在统一框架下协同工作,大幅缩短了投诉处理周期。

    🌟 推荐理由

    💬 笔者心得

    在尝试了 LangChain、LlamaIndex 等多个 LLM 应用框架后,Haystack 给我留下的印象是「透明」和「可控」。与 LangChain 的「黑盒」链式调用不同,Haystack 的 Pipeline 是显式定义的——每个组件的输入输出、数据流向都一目了然,调试起来非常直观。

    特别值得一提的是 Haystack 对上下文工程(Context Engineering)的重视。在 RAG 系统中,如何精准控制检索策略、如何组合多路召回结果、如何设计记忆机制,这些才是决定效果的关键。Haystack 把这些控制权交给了开发者,而不是封装成不可见的「魔法」。

    另外,Haystack 的企业级基因也很突出——它诞生于 deepset 的商业化实践,从第一天就考虑了生产部署、可观测性、访问控制等现实需求。现在 deepset 被 Cohere 收购,Haystack 企业版(Haystack Enterprise Platform)更是提供了托管化生产 setup,对的企业用户来说是很好的选择。

    📥 下载地址

    🌐 官方网站

    haystack.deepset.ai

    🐙 GitHub 仓库

    github.com/deepset-ai/haystack

    25,730+ Stars · 2,884+ Forks

    📚 官方文档

    docs.haystack.deepset.ai

    💬 Discord 社区

    discord.gg/qZxjM4bAHU

    🐍 PyPI 安装

    pip install haystack-ai

    🍳 Cookbook 食谱

    haystack.deepset.ai/cookbook

    📊 项目速览
    ⭐ Stars:25,730+
    🍴 Forks:2,884+
    📅 创建时间:2019-11
    🔄 最近更新:2026-06-26
    📝 开源许可:Apache-2.0
    💻 主要语言:Python
    🏢 维护团队:deepset(Cohere 旗下)
    🌟 用户案例:Apple、Meta、NVIDIA、Netflix、Airbus 等

  • Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    📦 项目简介

    Weaviate 是一款开源、云原生的向量数据库,同时存储对象和向量,支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成(RAG)和重排序功能整合到单个查询接口中,是构建 AI 应用的理想数据底座。

    Weaviate Logo

    ⚙️ 安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 内存:最低 4GB RAM,生产环境建议 8GB+
    • 客户端:Python 3.8+、Node.js 16+、Java 11+、Go 1.18+

    快速安装(Docker 本地部署)

    第一步:创建 docker-compose.yml

    services:
      weaviate:
        image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
        ports:
          - "8080:8080"
          - "50051:50051"
        environment:
          ENABLE_MODULES: text2vec-model2vec
          MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080
      text2vec-model2vec:
        image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
    

    第二步:启动 & 安装客户端

    docker compose up -d
    pip install -U weaviate-client
    

    也可使用 Weaviate Cloud 免费试用,或部署到 Kubernetes/AWS/GCP。

    🚀 核心功能

    ⚡ 毫秒级十亿向量搜索

    基于 Go 构建,HNSW 索引,十亿级向量语义搜索毫秒返回。

    🔀 混合检索(向量+关键词+过滤)

    单接口同时支持语义搜索、BM25 关键词搜索、图像搜索,内置 hybrid 查询自动融合分数。

    🤖 内置 RAG & 重排序

    无需额外工具,直接支持生成式搜索(RAG)和重排序,快速构建 Q&A、聊天机器人。

    📈 生产级可扩展性

    支持水平扩展、多租户隔离、副本、RBAC 权限控制,Kubernetes 原生编排。

    💾 向量压缩 & TTL

    内置标量/二进制/产品量化,大幅降低内存占用;支持对象 TTL 自动清理过期数据。

    💡 典型使用场景

    场景一:RAG 检索增强生成系统

    将企业文档导入 Weaviate,结合 LLM 构建精准问答系统,大幅降低幻觉率。

    import weaviate
    from weaviate.classes.query import Filter
    
    client = weaviate.connect_to_local()
    results = client.collections.get("Document").query.near_text(
        query="如何申请退款?", limit=5,
        filters=Filter.by_property("category").equal("help")
    )
    for obj in results.objects:
        print(obj.properties["content"])
    

    场景二:语义搜索 & 推荐引擎

    电商/内容平台实现”理解意图”的搜索,支持多模态(文本+图像)检索。

    📌 推荐理由

    • 生态最完整:Python/JS/Java/Go/C# 五大官方 SDK
    • AI Agent 集成:官方提供 Agent Skills,支持 Claude Code/Cursor
    • 商业友好:BSD-3-Clause 许可,可自由修改和分发
    • 云原生架构:存储计算分离,Kubernetes 原生,水平扩展无忧

    📥 下载地址 & 相关链接

    ✝️ BSD 3-Clause License | Go | 2016年发布

  • Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    📦 项目简介

    Weaviate 是一款开源、云原生的向量数据库,同时存储对象和向量,支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成(RAG)和重排序功能整合到单个查询接口中,是构建 AI 应用的理想数据底座。

    Weaviate Logo

    Weaviate —— AI 开发者最爱的开源向量数据库

    ⚙️ 安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 内存:最低 4GB RAM,生产环境建议 8GB+
    • 存储:持久化卷(可选,用于数据持久化)
    • 客户端:Python 3.8+、Node.js 16+、Java 11+、Go 1.18+ 可选

    快速安装(Docker 本地部署)

    第一步:创建 docker-compose.yml 配置文件:

    services:
      weaviate:
        image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
        ports:
          - "8080:8080"
          - "50051:50051"
        environment:
          ENABLE_MODULES: text2vec-model2vec
          MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080
    
      # 轻量级嵌入模型,导入数据时会自动生成向量
      text2vec-model2vec:
        image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
    

    第二步:启动服务

    docker compose up -d
    

    第三步:安装 Python 客户端

    pip install -U weaviate-client
    

    也可以使用 Weaviate Cloud 托管服务(免费试用),或部署到 Kubernetes、AWS、GCP 等云平台。

    🚀 核心功能

    ⚡ 毫秒级十亿向量搜索

    基于 Go 构建,高负载下响应稳定。采用 HNSW(Hierarchical Navigable Small World)索引算法,支持 ANN 基准测试领先性能,十亿级向量复杂语义搜索毫秒级返回。

    🔀 混合检索(向量 + 关键词 + 过滤)

    单接口同时支持语义搜索传统关键词(BM25)搜索图像搜索,支持高级过滤,可灵活组合获得最优结果。内置 hybrid 查询类型,自动融合向量相似度与关键词相关性分数。

    🤖 内置 RAG & 重排序

    无需额外工具,直接支持生成式搜索(RAG)重排序(Reranking)能力。可快速构建 Q&A 系统、聊天机器人、摘要工具。集成 Cohere、OpenAI、Voyage 等主流 Reranker 模型。

    📈 生产级可扩展性

    支持水平扩展多租户隔离副本细粒度 RBAC 权限控制,适配从原型到大规模生产场景。存储计算分离架构,支持 Kubernetes 原生编排。

    💾 低成本运维 & 向量压缩

    内置向量压缩能力(标量量化、二进制量化、产品量化),通过向量量化、多向量编码降低内存占用,对搜索性能影响极小。支持对象 TTL 机制,按集合配置数据过期时间,自动清理过期数据。

    💡 典型使用场景

    场景一:RAG(检索增强生成)系统

    将企业文档、知识库导入 Weaviate,结合 LLM 构建精准问答系统。Weaviate 负责语义检索召回相关段落,LLM 负责生成最终答案,大幅降低幻觉率。

    import weaviate
    from weaviate.classes.query import Filter
    
    client = weaviate.connect_to_local()
    
    # 语义搜索 + 元数据过滤
    results = client.collections.get("Document").query.near_text(
        query="如何申请退款?",
        limit=5,
        filters=Filter.by_property("category").equal("help")
    )
    for obj in results.objects:
        print(obj.properties["content"])
    

    场景二:语义搜索 & 推荐引擎

    电商、内容平台可用 Weaviate 实现”理解意图”的搜索体验。用户输入自然语言查询,系统返回语义最匹配的商品或内容,而非简单的关键词匹配。

    Weaviate 也支持多模态搜索(文本 + 图像),用户可用图片搜索相似商品,或用文本描述搜索相关图片。

    📦 Python 快速上手

    import weaviate
    from weaviate.classes.config import Configure, DataType, Property
    
    # 连接本地 Weaviate 服务
    client = weaviate.connect_to_local()
    
    # 创建集合(类似关系数据库的表)
    client.collections.create(
        name="Article",
        properties=[Property(name="content", data_type=DataType.TEXT)],
        # 使用 Model2Vec 向量化器,导入时自动生成向量
        vector_config=Configure.Vectors.text2vec_model2vec(),
    )
    
    # 插入数据并自动生成向量
    articles = client.collections.get("Article")
    articles.data.insert_many([
        {"content": "Vector databases enable semantic search"},
        {"content": "Machine learning models generate embeddings"},
        {"content": "Weaviate supports hybrid search capabilities"},
    ])
    
    # 执行语义搜索
    results = articles.query.near_text(query="Search objects by meaning", limit=1)
    print(results.objects[0].properties["content"])
    
    client.close()
    

    📌 推荐理由

    Weaviate 是我推荐的向量数据库首选之一,尤其适合以下场景:

    • 与已发布的同类项目对比:Qdrant(Rust,极致性能)、Milvus(分布式,大规模)、Chroma(轻量,快速上手)—— Weaviate 则胜在生态最完整集成最丰富
    • AI Agent 生态集成:Weaviate 积极拥抱 AI Agent 生态,官方提供 Agent Skills,支持 Claude Code、Cursor 等 AI 编码工具直接操作
    • 多语言 SDK 覆盖最全:Python、JavaScript/TypeScript、Java、Go、C#/.NET 五大官方 SDK,社区还有 Rust、PHP、Ruby 等扩展
    • BSD-3-Clause 许可:商业友好,可自由修改和分发,适合企业内嵌使用

    如果你正在构建 RAG 系统、语义搜索功能,或任何需要”理解语义”的 AI 应用,Weaviate 值得作为向量数据库的第一选择进行评估。

    📥 下载地址 & 相关链接

    ✝️ 开源协议:BSD 3-Clause License | 开发语言:Go | 2016年发布,持续维护至今

  • Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢(44.9K Stars)

    Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢(44.9K Stars)

    Milvus Logo

    Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢

    44,934+ ⭐ · Go + C++ · Apache 2.0 · LF AI & Data 基金会托管

    📌 项目简介

    Milvus 是由 Zilliz 开发、LF AI & Data 基金会托管的开源向量数据库,专为 AI 应用的大规模非结构化数据检索而设计。底层使用 Go 和 C++ 编写,支持 CPU/GPU 硬件加速,可在十亿级向量规模下实现毫秒级检索延迟,是 RAG、推荐系统、多模态搜索等 AI 应用的首选向量存储引擎。最新稳定版:v2.5.13(2026年6月)。

    44.9K
    GitHub Stars

    4,089
    Forks

    10亿+
    向量规模

    5种
    SDK语言

    ⚙️ 安装要求和过程

    💻 环境要求
    • CPU:4核以上(生产推荐16核+)
    • 内存:16GB以上(十亿级向量推荐128GB+)
    • 存储:SSD推荐,冷数据可归档至S3/GCS(成本降低10倍)
    • Docker:Standalone模式需Docker 19.03+(最简方式)
    • Kubernetes:分布式部署需K8s 1.20+
    • Python:3.8~3.12(pymilvus SDK支持)
    🐳 快速安装(Docker Standalone,生产推荐
    # 下载 docker-compose.yml(含 etcd + MinIO 依赖)
    wget https://github.com/milvus-io/milvus/releases/download/v2.5.13/milvus-standalone-docker-compose.yml -O docker-compose.yml
    
    # 启动 Milvus
    docker compose up -d
    
    # 验证(看到三个容器均为 healthy 即成功)
    docker compose ps

    🐍 Python SDK 安装(最常用
    # 标准安装(连接远程Milvus服务)
    pip install -U pymilvus
    
    # 包含 Milvus Lite(嵌入式,pip install即可运行,无需Docker)
    pip install "pymilvus[milvus-lite]"
    
    # 验证
    python -c "from pymilvus import MilvusClient; print('Milvus OK')"

    ☁️ 零配置托管(Zilliz Cloud)

    不想自建服务?试用 Zilliz Cloud,提供 Serverless(按量付费)、Dedicated(专属集群)、BYOC(自带云)三种模式,免费额度足够个人开发使用。与 AWS Bedrock、Azure OpenAI 深度集成。

    ✨ 核心功能

    ⚡ 十亿级高性能检索

    存储计算分离架构,支持 HNSW / IVF / SCANN / DiskANN 等全部主流索引。GPU 加速兼容 NVIDIA CAGRA,十亿级向量下毫秒级延迟,QPS 可达数万次/秒。在 官方性能基准中处于行业第一梯队。

    🔀 混合检索(稠密+稀疏向量)

    原生支持 BM25 全文检索和学习的稀疏嵌入(SPLADE、BGE-M3),同一集合可同时存储稠密和稀疏向量,自定义重排策略合并多路结果,RAG 召回率提升 30%+。这是 Milvus 相比其他向量数据库的显著优势。

    🏢 企业级多租户与安全

    支持数据库/集合/分区/分区键四级隔离,单集群可承载数百万租户。强制用户认证、TLS 加密、RBAC 细粒度权限控制,满足 SOC 2 合规要求。适合 SaaS 平台多客户场景。

    💾 冷热存储分离

    热数据存内存/SSD,冷数据自动归档至 S3/GCS,存储成本降低 10 倍。支持对象存储原生架构,无需额外 ETL 即可直接读取云存储中的向量数据。Collection 级别的 Fork(写时复制)功能,大幅提升实验迭代效率。

    🌐 多语言 SDK + 丰富 AI 生态集成

    官方 SDK 覆盖 Python(pymilvus)、Java、Go、Node.js、Restful API 五种语言。原生集成 LangChain、LlamaIndex、OpenAI、HuggingFace、AutoGPT 等主流 AI 框架,可作为 RAG 应用的即插即用向量存储。Attu 提供图形化管理界面,Prometheus/Grafana 支持监控告警。

    🏗️ 架构设计

    Milvus 采用存储与计算分离、无状态微服务的分布式架构,所有组件以容器化方式部署,可充分利用 Kubernetes 的调度和自愈能力。

    ┌───────────────────────────────────────────────┐
    │            API Service Layer                 │
    │    gRPC / REST / Python / Java / Go SDK   │
    └──────────────┬──────────────────────────────┘
                    │
    ┌───────────────▼──────────────────────────────┐
    │         Coordinator Service (元数据)            │
    │   Root Coord  │  Query Coord  │  Data Coord  │
    └────┬──────────┴─────────────┴──────────────┘
          │          │              │
          ▼          ▼              ▼
    ┌──────────┐┌──────────┐  ┌──────────┐
    │ Query    ││ Data     │  │ Index    │  ← 可独立扩缩容
    │ Node     ││ Node     │  │ Node     │
    │(读密集) ││(写密集) │  │(索引构建)│
    └───┬──────┘└───┬──────┘  └───┬──────┘
         │          │            │
    ┌─────▼──────────▼────────────▼─────────┐
    │      Object Storage (S3 / GCS / MinIO)  │
    │       + Hot Cache (内存 / SSD)           │
    └──────────────────────────────────────────┘

    所有协调服务支持多副本部署,单节点故障秒级恢复。存储与计算解耦,可按业务特征独立调整查询/写入容量。

    🎯 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业知识库文档向量化存入 Milvus,用户提问时检索最相关的 Top-K 片段,注入 LLM 上下文窗口,显著提升回答准确性并减少幻觉。混合检索(向量+全文)可进一步提升召回率。官方 RAG 教程 30分钟可跑通 Demo。

    场景二:多模态语义搜索引擎

    利用 CLIP 等多模态模型将图片、音频、视频转为向量存入 Milvus,实现”以文搜图”、”以图搜图”、”视频片段检索”等功能。支持动态字段存储原始元数据,检索结果可直接返回图片 URL 或视频时间戳。图像检索实战教程 可直接参考。

    场景三:实时推荐系统

    将用户行为特征和物品特征向量化后存入 Milvus,通过近似最近邻搜索实时找相似用户或相似物品,实现个性化推荐。支持流式数据实时更新,新用户行为可在秒级反映到推荐结果中。官方电影推荐系统教程 可直接参考。

    💡 推荐理由

    在向量数据库赛道中,Milvus 是最成熟、生产案例最多的开源选择之一。与 Chroma(轻量级,适合原型)和 Qdrant(Rust 性能优异)相比,Milvus 的独特优势在于:

    • 云原生分布式架构:K8s 原生支持,可独立扩展查询/数据/索引节点,真正适合生产环境大规模部署(Chroma 无分布式,Qdrant 分布式为企业版功能)
    • 混合检索能力:稠密+稀疏向量一体化,RAG 场景召回率显著优于单一向量检索(多数竞品仅支持稠密向量)
    • LF AI & Data 基金会托管:开源治理规范,Apache 2.0 永久开源,不会突然变更许可协议
    • Milvus Lite 零配置:pip install 即可运行嵌入式版本,本地开发、单元测试、CI/CD 均无需 Docker

    如果你正在构建 RAG 应用或语义搜索功能,Milvus 值得作为向量存储的首选方案进行评估。根据 官方性能基准,Milvus 在十亿级向量场景下的检索性能处于行业第一梯队。

    LF AI & Data 基金会托管 · Apache 2.0 开源协议 · Zilliz 主导开发

    最后更新:2026年6月25日 · 数据来源:GitHub API + milvus.io