标签: 向量数据库

  • PixelRAG:用网页截图做检索增强,让模型“看图说话”

    PixelRAG:用网页截图做检索增强,让模型“看图说话”

    PixelRAG 配图

    项目简介

    PixelRAG 是伯克利 SkyLab / BAIR 团队开源的视觉检索增强生成框架。它把网页、PDF、图片渲染成截图块,再用视觉语言模型直接在“像素”上检索,从而绕过传统文本 RAG 的 HTML 解析问题,把表格、图表、版式、信息图原样保留给读者模型。仓库还附带一个已建好的 828 万维基百科页面视觉索引,以及免费的在线 API,真正做到了开箱即用。

    安装要求和过程

    环境要求

    • Python 3.10+
    • Linux(CUDA)或 macOS(Apple Silicon / MPS),CPU 亦可作为 fallback
    • 可选:Playwright / CDP 用于网页渲染
    • 可选:用于本地索引构建的 GPU,或直接使用 api.pixelrag.ai 线上服务

    快速安装

    # 1. 基础包:像素化截图工具 pixelshot
    pip install pixelrag
    
    # 2. 带向量化:用于本地构建 FAISS 索引
    pip install 'pixelrag'
    
    # 3. 完整流水线:source → ingest → embed → index
    pip install 'pixelrag[index]'
    
    # 4. 本地搜索 API 服务
    pip install 'pixelrag[serve]'
    

    如果想让 pixelshot 始终处在 PATH 里供 Claude 调用,官方推荐用 uv toolpipx

    uv tool install pixelrag   # pipx install pixelrag
    

    核心功能

    1. 像素级文档渲染: 通过 pixelshot 把网页、PDF 转成截图块,保留文本 RAG 会丢失的视觉结构与版式。
    2. 视觉语义检索: 基于 Qwen3-VL-Embedding-2B 微调后的嵌入模型,将页面图片映射到可检索向量空间。
    3. 828 万维基百科预建索引: 官方已建好并托管了 api.pixelrag.ai,无需任何配置即可搜索,还支持“以图搜图”。
    4. 本地自建索引: 通过 pixelrag index build 处理本地文档(网页 / PDF / 图片),再 pixelrag serve 启动 FastAPI 搜索服务。
    5. Claude Code 插件: pixelbrowse skill 让 Claude 直接截图并阅读页面,告别原始 HTML。

    传统文本RAG vs PixelRAG

    传统文本RAG会丢失表格等视觉结构,PixelRAG通过截图块保留完整版式。

    PixelRAG 关键速览

    典型使用场景

    场景 1:财报 / 论文中的表格问答

    传统文本 RAG 把 PDF 表格拆成凌乱文字后,模型经常找不到数字。PixelRAG 直接截取表格区域截图,检索相关页并交给 VLM 读取,数字、单位、行列关系一目了然。

    场景 2:Claude 浏览复杂网页

    安装 pixelbrowse skill 后,Claude 能够对任意页面执行 /screenshot https://example.com,然后“看图”总结新闻、解读产品页或提取图表结论,而不再受限于 HTML 标签提取不全的问题。

    场景 3:内部知识库可视化搜索

    把企业内的产品手册、设计稿、UI 截图、架构图做成 PixelRAG 索引。用户上传一张截图或输入图片描述,即可召回相关视觉文档,适用于设计系统、运维监控面板、竞品分析资料库。

    推荐理由

    PixelRAG 给我最大的启发是:当大家都在卷“更好的 HTML 解析器”时,它直接换了一条赛道——让模型像人一样“看”网页。这不是炫技,而是切中了 RAG 的实际痛点:大量网页的表格、图表、公式和交互组件一旦转成纯文本就面目全非。配合已经训练好的视觉嵌入模型和 828 万维基百科索引,从实验到落地只需要几条命令。

    对于 Claude / Cursor / Codex 等 Coding Agent 用户来说,pixelbrowse skill 是一个润物细无声的能力升级:它不需要 MCP server,也不依赖后端服务,只是让 Agent 多了一双“眼睛”。如果你正在做多模态知识库、网页问答或文档理解,PixelRAG 值得放进候选清单。

    下载地址

    —— 本文由 WorkBuddy 整理发布。

  • Claude Cookbooks:Anthropic 官方维护的 Claude 实战范例集(50K+ Stars)

    Claude Cookbooks:Anthropic 官方维护的 Claude 实战范例集(50K+ Stars)

    Claude Cookbooks

    Claude Cookbooks 是 Anthropic 官方在 GitHub 上开源维护的 Jupyter Notebook 范例集,已收获 50.4K+ Stars5.9K+ Forks,MIT 许可证。它像一本持续更新的”Claude 实战菜谱”,用可以直接复制运行的代码片段,手把手教开发者把 Claude API 用到生产里——覆盖文本分类、RAG、工具调用、Agent SDK、Skills、多模态、扩展思考、第三方集成等几乎所有主流场景。

    无论是刚接触 Claude API 的新手,还是要把 Claude 嵌入自家产品的资深工程师,都能在这里找到即拿即用的最佳实践。所有 Notebook 都用 Python 写成,但概念同样适用于任何支持 Claude API 的语言。

    Claude Cookbooks 内容地图

    为什么需要它?

    很多人第一次调用 Claude API 只能写出”问个问题拿个回答”的脚本——但生产里要面对的是:结构化输出、上下文管理、长文档解析、Agent 工作流、RAG 检索、工具调用循环、子智能体拆分…这些工程化能力的最佳范式,往往不是 API 文档里那几段示例能覆盖的。Cookbooks 正是 Anthropic 工程师团队把生产经验沉淀下来的”答案库”。

    安装要求和过程

    环境要求

    • Python 3.10+(项目用 uv 管理依赖)
    • Jupyter Lab / VS Code Jupyter 扩展
    • 一个 Anthropic API Key(前往 anthropic.com 免费注册)

    快速安装

    # 1. 克隆仓库
    git clone https://github.com/anthropics/claude-cookbooks.git
    cd claude-cookbooks
    
    # 2. 安装依赖(项目使用 uv,也可用 pip)
    pip install -r requirements-dev.txt
    # 或:uv sync
    
    # 3. 配置密钥
    cp .env.example .env
    # 编辑 .env 填入你的 ANTHROPIC_API_KEY
    
    # 4. 启动 Jupyter
    jupyter lab

    三步快速上手

    核心功能

    1. 基础能力 Recipes

    capabilities/ 目录里包含文本分类、RAG 检索增强、长文摘要、结构化 JSON 输出四大基础用法。每个 Recipe 都配了独立 Notebook,从最小调用示例一路演化到生产级实现。

    2. 工具调用与函数集成

    tool_use/ 演示了 Claude 如何调用外部工具——从最简单的计算器、SQL 查询,到完整的多步骤客服智能体。这是把 Claude 从”聊天机器人”升级成”可执行 Agent”的关键能力。

    3. Claude Agent SDK

    claude_agent_sdk/ 是新近加入的官方 Agent SDK 范例,示范如何用 Python SDK 构建可独立运行的智能体应用、调度工具、规划子任务。

    4. Agent Skills 技能系统

    skills/ 目录展示如何为 Claude 编写模块化技能——把专业能力封装成可复用的 Skills,让 Agent 在不同场景下按需调用。

    5. 多模态能力

    multimodal/ 覆盖图像理解、图表解读、表单/PDF 内容提取、视觉最佳实践等,配合 Claude 强大的视觉模型可直接处理扫描件、合同、PPT。

    6. 扩展思考与设计模式

    extended_thinking/patterns/ 深入推理模式、子智能体协作、提示词缓存、评估驱动开发(Eval-Driven Development)等高阶范式。

    7. 第三方集成

    third_party/ 给出Pinecone 向量数据库、Wikipedia、VoyageAI Embeddings等流行服务的对接范例,把 Claude 嵌入现有技术栈成本极低。

    8. 微调与可观测性

    finetuning/observability/ 提供模型微调生产链路观测的端到端代码,是把 Claude 部署到线上服务的最后一块拼图。

    典型使用场景

    场景 1:快速搭建企业知识库 RAG

    复制 capabilities/retrieval_augmented_generationthird_party/Pinecone 两个 Notebook,半天就能搭起一个基于 Pinecone + Claude 的企业知识问答系统。Notebook 里连如何切分文档、嵌入、检索、重排序、生成都一步步跑通。

    场景 2:构建带工具调用的客服 Agent

    参考 tool_use/customer_service_agent.ipynb 的代码结构,把你的订单查询 API、退款流程、商品库存接口注册成 Claude 可调用的工具,立即得到一个能回答”我的订单到哪了”的多轮 Agent。

    场景 3:批量处理 PDF/扫描件

    multimodal/ 里的 PDF 解析与表单提取 Recipe,配合 Claude 视觉模型,搭建合同关键条款抽取、发票识别、报告摘要等自动化工作流。

    场景 4:评估驱动的提示词迭代

    misc/building_evals.ipynb 给出用 Claude 自身来评估另一批 Claude 输出质量的工程范式——适合团队协作打磨生产级 Prompt,让提示词的优化变成可量化、可回归的过程。

    推荐理由

    用 Cookbooks 这半年,最大的感受是:它不是”玩具示例”,而是真正从生产里长出来的代码

    • 覆盖全面:从基础调用到 Agent SDK,从 RAG 到微调,几乎所有 Claude 应用方向都有现成 Recipe,避免重复造轮子。
    • 持续更新:紧跟 Anthropic 的功能发布(比如 Claude 4 系列、扩展思考、Agent SDK、Skills 都是最近几个月加入的新章节)。
    • 可读性极强:每个 Notebook 都是”一段说明 + 一段代码 + 一段输出”的节奏,能当教程读,也能当模板抄。
    • 社区友好:MIT 许可,欢迎提 PR;CLAUDE.md 里甚至写了让 Claude 帮忙做贡献的指南(meta!)
    • 企业可商用:MIT 协议允许商业使用,没有 Apache-2.0 那种专利条款的顾虑。

    对国内开发者来说,唯一需要注意的是 Anthropic API 的访问渠道——可以走官方、AWS Bedrock、Vertex AI 或合规中转服务。模型本身支持中文,是 Claude 进军中文 AI 应用开发的官方”最佳实践手册”。

    下载地址

    用 Cookbook 抄答案,把 Claude 真正用进生产——这可能是 2026 年最值得收藏的 AI 工程仓库之一。

  • MemPalace:57.7K Stars 的本地优先开源 AI 记忆系统,逐字存储 + 96.6% 检索召回,零 API 成本

    MemPalace:57.7K Stars 的本地优先开源 AI 记忆系统,逐字存储 + 96.6% 检索召回,零 API 成本

    MemPalace Logo

    项目简介

    MemPalace 是一款本地优先(Local-first)的开源 AI 记忆系统:它把你与 AI 的对话历史、项目文档以”逐字原文”的方式存进一座结构化的”记忆宫殿”,再用语义搜索精准召回——在权威长期记忆基准 LongMemEval 上,纯本地检索(不调用任何 LLM、不需要任何 API Key)就拿下了 96.6% R@5 的成绩,号称”基准测试打得最透明的开源 AI 记忆系统”。项目 2026 年 4 月上线,短短三个多月即斩获 57.7K+ Stars,MIT 许可,完全免费。

    与 Mem0、Zep 等”摘要式”记忆方案不同,MemPalace 的哲学是不摘要、不改写、不提炼——原文进、原文出。它借用”记忆宫殿”的记忆术概念组织索引:人物和项目是”侧厅(wings)”,主题是”房间(rooms)”,原始内容躺在”抽屉(drawers)”里,搜索可以按范围限定,而不是在一个扁平语料库里大海捞针。

    安装要求和过程

    环境要求:

    • Python 3.9+
    • 向量存储后端(默认内置 ChromaDB,零配置)
    • 约 300 MB 磁盘空间用于本地嵌入模型(推荐多语言的 embeddinggemma-300m,支持 100+ 语言;也可选 30 MB 的英文版 all-MiniLM-L6-v2)
    • 核心功能无需任何 API Key

    快速安装(推荐 uv,隔离环境防依赖冲突):

    # 方式一:uv(推荐)
    uv tool install mempalace
    mempalace init ~/projects/myapp
    
    # 方式二:pipx
    pipx install mempalace
    
    # 方式三:pip(虚拟环境内)
    python -m venv .venv && source .venv/bin/activate
    pip install mempalace

    Docker 部署(可直接作为 MCP 服务器运行):

    docker build -t mempalace .
    # MCP 服务器(stdio 模式,注意 -i 参数)
    docker run -i --rm -v mempalace-data:/data mempalace
    # 或直接跑 CLI 命令
    docker run --rm -v mempalace-data:/data mempalace search "why GraphQL"

    30 秒上手:

    # 把项目文件"挖"进记忆宫殿
    mempalace mine ~/projects/myapp
    # 挖掘 Claude Code 历史会话
    mempalace mine ~/.claude/projects/ --mode convos
    # 语义搜索
    mempalace search "当初为什么改用 GraphQL"
    # 新会话开始时加载上下文
    mempalace wake-up

    核心功能

    • 逐字原文存储 + 语义检索:不摘要、不改写,对话与文档按原文入库;LongMemEval 上纯语义检索 R@5 达 96.6%,混合管线(关键词加权 + 时间邻近加权)在留出集上达 98.4%,加 LLM 重排后 ≥99%——全部结果可用仓库内脚本复现。
    • 可插拔存储后端:默认 ChromaDB 零配置开箱即用,另支持 SQLite(精确匹配)、Milvus、Qdrant、pgvector,一个环境变量即可切换,接口契约独立于任何单一厂商。
    • 36 个 MCP 工具 + 时序知识图谱:内置 MCP 服务器覆盖宫殿读写、知识图谱操作(带有效期窗口的实体关系:添加/查询/失效/时间线)、跨侧厅导航和智能体日记,本地 SQLite 支撑。
    • 自动保存钩子(Auto-save Hooks):为 Claude Code、Codex CLI、Cursor IDE 提供钩子,定期保存并在上下文压缩前抢救现场——专治”Claude Code 会话 30 天过期”之痛。
    • 彻底本地、彻底免费:嵌入模型本地运行,数据不出机器(除非你主动选择),MIT 许可,无任何付费墙。

    典型使用场景

    场景一:给 Claude Code / Cursor 装上”永久记忆”。AI 编程工具的会话记录会过期、上下文会被压缩,三周前”为什么放弃方案 A 改用方案 B”的讨论早已无处可寻。装上 MemPalace 的自动保存钩子后,每次对话都逐字入库,新会话里一句 mempalace wake-up 或通过 MCP 工具即可召回全部历史决策。

    场景二:团队/个人的项目决策考古。把项目代码、文档、历史会话统统 mine 进宫殿,之后用自然语言问”当初为什么选 PostgreSQL 而不是 MongoDB”,直接命中当时的原始讨论原文——而不是某个 LLM 事后脑补的摘要。

    场景三:隐私敏感环境下的 AI 记忆层。法务、医疗、金融等不能把数据传到云端的场景,MemPalace 全链路本地运行(嵌入模型本地、向量库本地、检索本地),配合 Ollama 等本地模型即可搭出完全离线的”有记忆的 AI 助手”。

    推荐理由

    AI 记忆赛道今年异常拥挤(Mem0、Zep、Supermemory、Letta……),MemPalace 能三个月冲到 57K Stars,我认为靠的是两个字:诚实。它是少数把基准测试方法论、每道题的原始结果文件全部提交到仓库、并且主动说明”最后 0.6% 是看着错题调出来的所以我们不宣传 100%”的项目——甚至拒绝与竞品做不对等的表格对比。这种工程品味在营销味浓重的 AI 开源圈里非常稀缺。

    实际体验上,”逐字存储”这个反直觉的设计恰恰是最大亮点:摘要式记忆一旦摘错,信息就永久丢失;而 MemPalace 永远保留原文,检索层再怎么迭代都能吃到红利。加上零 API 成本、五种后端随意切换、36 个 MCP 工具即插即用,把它接进 Claude Code / Cursor 的成本极低。如果你只想给自己的 AI 工作流加一层”不会失忆”的保险,这是目前开箱体验最好的选择之一。唯一要提醒的是:官方明确警告有大量仿冒网站,请只从 GitHub、PyPI 和 mempalaceofficial.com 获取。

    下载地址

  • Zvec:阿里开源轻量级进程内向量数据库,一行 pip install 搞定十亿级向量检索

    Zvec:阿里开源轻量级进程内向量数据库,一行 pip install 搞定十亿级向量检索

    📌 项目简介

    Zvec 是阿里巴巴开源的轻量级进程内向量数据库(In-process Vector Database)——无需启动独立服务,直接嵌入你的应用代码中运行。它以闪电般的速度完成数十亿级向量的相似性搜索,同时支持密集向量、稀疏向量、混合检索和全文搜索,是构建 RAG 应用、AI Agent 记忆系统和语义搜索引擎的理想底层引擎。

    经过阿里巴巴集团内部生产环境验证,Zvec 在保持极简部署的同时提供了企业级的低延迟和高吞吐能力。

    ⚙️ 安装要求和过程

    环境要求

    • 操作系统:Linux(x86_64 / ARM64)、macOS(ARM64)、Windows(x86_64)
    • Python 版本:3.10 ~ 3.14(pip 安装方式)
    • Node.js / Go / Rust / Dart:均有官方 SDK 支持

    快速安装(Python)

    # 一行命令安装
    pip install zvec
    
    # 验证安装
    python -c "import zvec; print('Zvec OK')"

    一分钟上手示例

    import zvec
    
    # 定义集合 Schema
    schema = zvec.CollectionSchema(
        name="example",
        vectors=zvec.VectorSchema("embedding", zvec.DataType.VECTOR_FP32, 4),
    )
    
    # 创建集合
    collection = zvec.create_and_open(path="./zvec_example", schema=schema)
    
    # 插入文档
    collection.insert([
        zvec.Doc(id="doc_1", vectors={"embedding": [0.1, 0.2, 0.3, 0.4]}),
        zvec.Doc(id="doc_2", vectors={"embedding": [0.2, 0.3, 0.4, 0.1]}),
    ])
    
    # 向量相似度搜索
    results = collection.query(
        zvec.Query(field_name="embedding", vector=[0.4, 0.3, 0.3, 0.1]),
        topk=10
    )
    print(results)

    📦 其他语言 SDK

    • Node.jsnpm install @zvec/zvec
    • Rustzvec-rust
    • Gozvec-go
    • Dart/Flutterflutter pub add zvec

    🔥 核心功能

    1. 极速检索 —— 十亿级向量毫秒级响应
      基于 HNSW 等高效索引算法,在数十亿向量规模下仍能实现毫秒级延迟的相似度搜索。
    2. 密集 + 稀疏向量双模态支持
      同时支持 Dense Vector(浮点密集向量)和 Sparse Vector(稀疏向量),适配不同 Embedding 模型输出格式。
    3. 原生全文搜索(FTS)
      v0.5.0 新增!可为任意字符串字段附加 FTS 索引,支持自然语言或结构化表达式查询,无需外部搜索引擎。
    4. 混合检索(Hybrid Search)
      单次 MultiQuery 融合向量相似度、全文搜索、标量过滤和多维度排序,返回精确结果。
    5. DiskANN 磁盘索引
      v0.5.0 新增!将大部分索引数据放在磁盘上,大幅降低大规模数据集的内存占用。
    6. 持久化存储(WAL 日志)
      Write-Ahead Logging 保证崩溃安全——即使进程异常退出或断电,数据也绝不丢失。
    7. 多语言生态 + 可视化工具
      官方提供 Python / Node.js / Go / Rust / Dart 五种 SDK,另有 Zvec Studio 图形化管理工具。

    💡 典型使用场景

    场景一:RAG 检索增强生成系统

    将文档切片后的 Embedding 向量存入 Zvec,用户提问时先做语义检索召回相关片段,再送入 LLM 生成回答。Zvec 的本地化特性意味着零网络延迟、零外部依赖,特别适合隐私敏感的企业 RAG 场景。

    场景二:AI Agent 长期记忆

    为 AI Agent 构建持久化的记忆库——将用户交互、偏好、历史决策编码为向量存入 Zvec,Agent 启动时自动加载记忆上下文。WAL 持久化确保记忆永不丢失,混合检索支持按时间、主题、情感等多维度精准回忆。

    场景三:边缘设备 / 本地优先语义搜索

    作为进程内库嵌入到笔记本 App、IoT 设备或 CLI 工具中,实现离线语义搜索能力。无服务端依赖资源占用极小,支持 ARM64 和 RISC-V 架构,从云端到边缘全覆盖。

    ✨ 推荐理由

    用过不少向量数据库后,Zvec 的设计哲学让我印象深刻:“Just Works”——不需要配置服务器、不需要 Docker、不需要外部依赖。一个 pip install zvec 就能开始使用。

    对比同类方案:

    特性 Zvec 传统向量数据库
    部署方式 一行 pip install 独立服务 + 配置集群
    外部依赖 零依赖 Redis/Elasticsearch 等
    全文搜索 内置 FTS 需额外集成 ES
    混合检索 原生支持 需自行编排
    适用场景 RAG / Agent / 本地应用 大规模分布式检索

    v0.5.0 更是加入了全文搜索 + DiskANN + 多语言 SDK三大重磅功能,让 Zvec 从一个纯粹的向量数据库进化为全能型本地搜索引擎。对于正在搭建 RAG 系统、AI Agent 或需要本地语义搜索能力的开发者来说,Zvec 是目前最值得尝试的选择之一。

    🔗 下载地址

  • cognee:为AI智能体打造的开源记忆平台,跨会话持久记忆+自托管知识图谱,23K+Stars让AI真正拥有长期记忆

    cognee:为AI智能体打造的开源记忆平台,跨会话持久记忆+自托管知识图谱,23K+Stars让AI真正拥有长期记忆

    🧠 项目简介

    Cognee 是为 AI 智能体打造的开源记忆平台,通过自托管知识图谱引擎,为智能体提供跨会话的持久长期记忆。它支持任意格式的数据摄入,构建可动态演进的知识图谱,让智能体能够基于完整上下文进行回忆、关联和行动。结合向量嵌入、图推理和认知科学基础的本体生成能力,Cognee 让文档既支持语义搜索,又能通过关系关联,且知识图谱会随知识积累动态演进。


    📦 安装要求和过程

    环境要求

    • Python:3.10 ~ 3.14
    • 可选:Docker(用于本地 MCP 服务或完整部署)
    • LLM API Key:默认支持 OpenAI,也可对接其他 LLM 提供商

    快速安装

    # 使用 uv 安装(推荐)
    uv pip install cognee
    
    # 使用 pip 安装
    pip install cognee
    
    # 如需使用 Postgres 作为后端,安装对应依赖
    pip install "cognee[postgres]"
    

    环境配置

    # 复制环境变量模板
    cp .env.template .env
    
    # 配置 LLM API Key(默认 OpenAI)
    echo 'LLM_API_KEY="your_openai_api_key"' > .env
    

    Docker 一键部署

    # 克隆仓库并配置
    git clone https://github.com/topoteretes/cognee.git
    cd cognee
    cp .env.template .env
    
    # 启动 API 服务(默认端口 8000)
    docker compose up
    
    # 同时启动前端(端口 3000)
    docker compose --profile ui up
    
    # 启动 MCP 服务(端口 8001)
    docker compose --profile mcp up
    

    ⭐ 核心功能

    1. 跨会话持久记忆

    AI 智能体的记忆不会随会话结束而丢失。Cognee 提供两种存储模式:永久存储(直接写入知识图谱,执行完整处理流程)和会话存储(先写入快速缓存,后台异步同步到知识图谱)。

    2. 自托管知识图谱引擎

    知识关系可动态演进,随知识积累自动更新。Cognee 1.0 支持在单个 Postgres 实例上运行完整记忆层(关系存储 + 向量嵌入 + 会话缓存 + 元数据存储),无需维护多组件栈,性能比分离式图+向量方案快约 10%。

    3. 多后端支持

    默认使用 Postgres 全栈运行记忆层,也可按需切换 Neo4j、Neptune、Redis、Qdrant 等专用后端。灵活适配不同规模的部署需求。

    4. 多语言官方客户端

    除 Python 主客户端外,还提供 Rust(cognee-rs,可通过 cargo add cognee 安装)和 TypeScript(@cognee/cognee-ts,可通过 npm install 安装)官方客户端,覆盖更多开发场景。

    5. 多智能体工具集成

    支持 Claude Code、OpenClaw 等智能体工具集成,也支持对接 Cognee Cloud 托管服务。提供 MCP 服务器原生支持,可无缝接入 AI 编程助手。


    🚀 典型使用场景

    场景一:客服智能体

    目标:结合用户的金融、客服、产品历史等个人数据,解决客户问题。

    示例交互

    • 用户提问:”我的发票有问题,而且问题一直没解决”
    • 智能体响应:”我找到 2 个上个月解决的类似账单问题,原因是支付和发票系统同步延迟,我们已经在你的账户上应用了修复方案。”

    底层逻辑:统一整合企业多渠道数据源 → 重建交互时间线 → 检索相似已解决案例 → 匹配最优解决方案 → 执行后更新记忆。

    场景二:专家知识蒸馏(SQL 助手)

    目标:帮助初级分析师复用专家的查询、模式和推理逻辑,完成数据分析任务。

    示例交互

    • 用户提问:”我该怎么为这个数据集计算客户留存率?”
    • 智能体响应:”这是高级分析师解决类似留存查询的方法,Cognee 将你的数据表结构和已知结构做了匹配,把专家的逻辑适配到了你的数据集上。”

    底层逻辑:提取并存储专家 SQL 查询 → 将当前数据表结构映射到已识别的结构 → 检索相似任务和成功实现方案 → 将专家推理逻辑适配到当前上下文。


    💡 推荐理由

    Cognee 解决了 AI 智能体领域一个根本性问题:如何让智能体拥有持久、可演进的记忆。在大模型应用从”单次对话”走向”长期协作”的今天,记忆层已成为 AI 智能体不可或缺的基础设施。

    最打动我的几点

    • Single Postgres 架构:Cognee 1.0 的巧妙设计让整个记忆层运行在单个 Postgres 实例上,极大降低了运维复杂度,同时性能不输专用分离方案。
    • 动态演进的知识图谱:不同于静态 RAG,Cognee 的知识图谱会随知识积累自动更新关系,真正实现”越用越聪明”。
    • 基准测试领先:在长上下文记忆基准测试 BEAM 中,Cognee 得分 0.79(开启按问题路由后 >0.8),优于之前的 SOTA 方案(0.735)和 RAG 基线(~0.33)。
    • 多语言客户端:同时提供 Python、Rust、TypeScript 官方客户端,覆盖从 AI 应用开发到高性能系统集成的全场景。
    • 活跃社区:8426+ 次提交,304 个开放 Issues(说明使用人数多、反馈活跃),Apache-2.0 永久开源。

    如果你正在构建需要”记住用户”的 AI 应用——无论是客服机器人、个人助手还是企业知识助手,Cognee 值得一试。23K+ Stars 和本周新增 5000+ Stars 的趋势,已经说明了开发者的认可。


    📥 下载地址


    📌 许可协议:Apache License 2.0(永久开源,可自由使用、修改和分发)

    👥 维护团队:topotherete 社区(8426+ 次提交,活跃开发中)

    📄 相关研究Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning(arXiv 2025)

  • Sentence Transformers:RAG与语义搜索的基石,18.8K+Stars让文本嵌入变得简单

    Sentence Transformers:RAG与语义搜索的基石,18.8K+Stars让文本嵌入变得简单

    📌 项目速览
    项目名称: Sentence Transformers
    GitHub: huggingface/sentence-transformers
    ⭐ Stars: 18.8K+ | 🍴 Forks: 2.8K+
    编程语言: Python | 许可证: Apache-2.0
    维护方: Hugging Face (原 UKP Lab)
    官网: sbert.net

    🎯 项目简介

    Sentence Transformers 是计算文本嵌入(Embeddings)的事实标准框架,让语义搜索、RAG 检索和文本相似度计算变得极其简单。由德国达姆施塔特工业大学 UKP Lab 首创,现由 Hugging Face 团队维护,是每一个做 RAG、语义搜索、向量检索工程师的必备工具箱。

    只需两行代码,就能把任意句子转换成高质量稠密向量;再配合一行相似度计算,即可实现语义级别的文本匹配。支持 100+ 语言、15000+ 预训练模型、多模态(文本/图像/音频/视频)嵌入,堪称 AI 时代的”文本向量化瑞士军刀”。

    💡 为什么重要? 大语言模型虽强,但无法直接处理超长文本或实时检索。Sentence Transformers 将文本转化为固定维度的向量,使语义搜索、去重、聚类、推荐等任务速度提升 100 倍,是 RAG 系统的第一块基石。

    ⚙️ 安装要求和过程

    环境要求

    • Python: 3.10+
    • PyTorch: 1.11.0+
    • transformers: 4.41.0+
    • 硬件: CPU 可用,GPU(CUDA)可加速 10-50 倍

    快速安装

    # 基础安装(仅核心功能)
    pip install -U sentence-transformers
    
    # 带扩展功能(图像/音频/视频/训练/ONNX)
    pip install sentence-transformers[image,audio,video,train,onnx]
    
    # 使用 uv 快速安装
    uv pip install sentence-transformers
    
    # Conda 安装
    conda install -c conda-forge sentence-transformers
    

    验证安装:

    python -c "from sentence_transformers import SentenceTransformer; print('✅ 安装成功')"
    

    🌟 核心功能

    1. 稠密嵌入(Dense Embeddings)—— RAG 的核心

    将句子、段落甚至整篇文档转换为固定维度的稠密向量(通常 384-1024 维),使得语义相似的文本在向量空间中距离更近。支持 Matryoshka 嵌入(可变尺寸,大向量拆小不降性能)和 嵌入量化压缩(降低 4-8 倍存储)。

    2. 交叉编码器重排序(Cross-Encoder Reranking)—— 精准召回

    稠密检索快速召回 Top-100 后,用 Cross-Encoder 对查询-文档对进行精细打分,重排序后 Top-5 准确率可提升 15-30%。这是生产级 RAG 系统的标配二阶段检索策略。

    3. 稀疏嵌入(Sparse Embeddings)—— 关键词 + 语义混合

    基于 SPLADE 等模型生成稀疏向量(维度 = 词表大小,但 99.8% 以上元素为 0),兼具 BM25 的关键词匹配能力和稠密向量的语义理解能力,实现真正的 混合检索

    4. 多模态嵌入 —— 图文音视统一向量空间

    通过统一 API 支持文本、图像、音频、视频四种模态的嵌入模型。例如用 AI-ModelScope/CLIP-ViT-bigG-patch14 可实现图文跨模态检索,用 laion/clap-htsat-unfused 实现音频语义搜索。

    5. 模型训练/微调 —— 适配你的业务场景

    提供 20+ 种嵌入模型损失函数(余弦相似度、三元组、对比学习等)、10+ 种重排序损失函数、10+ 种稀疏编码损失函数。支持多语言、多任务联合训练,仅需几十对标注样本即可微调出业务级模型。

    🚀 典型使用场景

    场景一:RAG 知识库检索(最流行)

    企业文档问答系统的标准做法:用 Sentence Transformers 将知识库切片编码为向量存入向量数据库(Chroma/Milvus/Qdrant),用户提问时实时编码查询向量,召回最相关的 Top-K 文档片段送给 LLM 生成答案。

    from sentence_transformers import SentenceTransformer
    from qdrant_client import QdrantClient
    
    # 1. 加载嵌入模型
    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
    
    # 2. 编码知识库文档
    docs = ["公司报销流程...", "年假申请方法...", "IT设备申领..."]
    doc_embeddings = model.encode(docs)
    
    # 3. 存入向量数据库
    client = QdrantClient(":memory:")
    client.add(collection_name="kb", vectors=doc_embeddings, payload=docs)
    
    # 4. 用户提问检索
    query = "怎么申请年假?"
    query_vec = model.encode(query)
    results = client.search(collection_name="kb", query_vector=query_vec, limit=3)
    print(results[0].payload)  # 返回最相关文档
    

    场景二:语义搜索与去重(电商平台/内容平台)

    电商平台的商品搜索(用户输入”红色运动鞋”能匹配”红跑步鞋”)、新闻推荐系统去重、简历与岗位描述的语义匹配,都依赖 Sentence Transformers 的语义编码能力。

    场景三:跨语言语义匹配(全球化应用)

    支持 100+ 语言的预训练多语言模型(如 paraphrase-multilingual-MiniLM-L12-v2),可将中文、英文、日文等不同语言的相同语义映射到向量空间的相近位置,实现跨语言检索和匹配。

    💡 推荐理由

    1. RAG 工程师的”Hello World”

    几乎所有 RAG 教程的第一个代码示例都是 Sentence Transformers。它把复杂的 Transformer 编码、池化、归一化等步骤封装成一行 model.encode(),让开发者专注业务逻辑而非模型细节。langchain、LlamaIndex 等框架的底层检索默认就用它。

    2. Hugging Face 生态深度整合

    作为 Hugging Face 官方库,可直接 model = SentenceTransformer("your-model-name") 加载 Hub 上任意模型,也轻松将本地模型 push_to_hub() 分享给社区。15000+ 预训练模型即搜即用,覆盖从轻量级的 MiniLM(80MB)到旗舰级的 gte-Qwen3(数 GB)。

    3. 性能与精度的完美平衡

    all-MiniLM-L6-v2(仅 80MB)在 MTEB 排行榜上达到中上水平,推理速度却是最强模型的 10 倍。配合 Matryoshka 训练,768 维向量可截断为 384/256/128 维使用,存储和检索速度提升数倍,精度损失极小。

    4. 生产级可靠性

    2019 年开源至今,历经 6 年迭代,2800+ Fork、1300+ 贡献者,PyPI 月下载量超百万。Apache-2.0 许可完全免费商用,被 Google、Microsoft、Amazon、Meta 等大厂的内部系统广泛采用。

    🎯 适用人群: RAG 开发者、搜索工程师、NLP 算法工程师、推荐系统工程师、AI 全栈工程师。如果你正在构建任何需要”理解文本语义”的系统,Sentence Transformers 都是首选工具。

    📥 下载地址

    本文由 AI 自动整理,数据截至 2026 年 6 月。项目持续更新中,建议访问官方仓库获取最新信息。

  • Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    📦 项目简介

    Weaviate 是一款开源、云原生的向量数据库,同时存储对象和向量,支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成(RAG)和重排序功能整合到单个查询接口中,是构建 AI 应用的理想数据底座。

    Weaviate Logo

    ⚙️ 安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 内存:最低 4GB RAM,生产环境建议 8GB+
    • 客户端:Python 3.8+、Node.js 16+、Java 11+、Go 1.18+

    快速安装(Docker 本地部署)

    第一步:创建 docker-compose.yml

    services:
      weaviate:
        image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
        ports:
          - "8080:8080"
          - "50051:50051"
        environment:
          ENABLE_MODULES: text2vec-model2vec
          MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080
      text2vec-model2vec:
        image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
    

    第二步:启动 & 安装客户端

    docker compose up -d
    pip install -U weaviate-client
    

    也可使用 Weaviate Cloud 免费试用,或部署到 Kubernetes/AWS/GCP。

    🚀 核心功能

    ⚡ 毫秒级十亿向量搜索

    基于 Go 构建,HNSW 索引,十亿级向量语义搜索毫秒返回。

    🔀 混合检索(向量+关键词+过滤)

    单接口同时支持语义搜索、BM25 关键词搜索、图像搜索,内置 hybrid 查询自动融合分数。

    🤖 内置 RAG & 重排序

    无需额外工具,直接支持生成式搜索(RAG)和重排序,快速构建 Q&A、聊天机器人。

    📈 生产级可扩展性

    支持水平扩展、多租户隔离、副本、RBAC 权限控制,Kubernetes 原生编排。

    💾 向量压缩 & TTL

    内置标量/二进制/产品量化,大幅降低内存占用;支持对象 TTL 自动清理过期数据。

    💡 典型使用场景

    场景一:RAG 检索增强生成系统

    将企业文档导入 Weaviate,结合 LLM 构建精准问答系统,大幅降低幻觉率。

    import weaviate
    from weaviate.classes.query import Filter
    
    client = weaviate.connect_to_local()
    results = client.collections.get("Document").query.near_text(
        query="如何申请退款?", limit=5,
        filters=Filter.by_property("category").equal("help")
    )
    for obj in results.objects:
        print(obj.properties["content"])
    

    场景二:语义搜索 & 推荐引擎

    电商/内容平台实现”理解意图”的搜索,支持多模态(文本+图像)检索。

    📌 推荐理由

    • 生态最完整:Python/JS/Java/Go/C# 五大官方 SDK
    • AI Agent 集成:官方提供 Agent Skills,支持 Claude Code/Cursor
    • 商业友好:BSD-3-Clause 许可,可自由修改和分发
    • 云原生架构:存储计算分离,Kubernetes 原生,水平扩展无忧

    📥 下载地址 & 相关链接

    ✝️ BSD 3-Clause License | Go | 2016年发布

  • Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    Weaviate:AI 开发者最爱的开源向量数据库,语义搜索与 RAG 的首选数据底座

    📦 项目简介

    Weaviate 是一款开源、云原生的向量数据库,同时存储对象和向量,支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成(RAG)和重排序功能整合到单个查询接口中,是构建 AI 应用的理想数据底座。

    Weaviate Logo

    Weaviate —— AI 开发者最爱的开源向量数据库

    ⚙️ 安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 内存:最低 4GB RAM,生产环境建议 8GB+
    • 存储:持久化卷(可选,用于数据持久化)
    • 客户端:Python 3.8+、Node.js 16+、Java 11+、Go 1.18+ 可选

    快速安装(Docker 本地部署)

    第一步:创建 docker-compose.yml 配置文件:

    services:
      weaviate:
        image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
        ports:
          - "8080:8080"
          - "50051:50051"
        environment:
          ENABLE_MODULES: text2vec-model2vec
          MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080
    
      # 轻量级嵌入模型,导入数据时会自动生成向量
      text2vec-model2vec:
        image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
    

    第二步:启动服务

    docker compose up -d
    

    第三步:安装 Python 客户端

    pip install -U weaviate-client
    

    也可以使用 Weaviate Cloud 托管服务(免费试用),或部署到 Kubernetes、AWS、GCP 等云平台。

    🚀 核心功能

    ⚡ 毫秒级十亿向量搜索

    基于 Go 构建,高负载下响应稳定。采用 HNSW(Hierarchical Navigable Small World)索引算法,支持 ANN 基准测试领先性能,十亿级向量复杂语义搜索毫秒级返回。

    🔀 混合检索(向量 + 关键词 + 过滤)

    单接口同时支持语义搜索传统关键词(BM25)搜索图像搜索,支持高级过滤,可灵活组合获得最优结果。内置 hybrid 查询类型,自动融合向量相似度与关键词相关性分数。

    🤖 内置 RAG & 重排序

    无需额外工具,直接支持生成式搜索(RAG)重排序(Reranking)能力。可快速构建 Q&A 系统、聊天机器人、摘要工具。集成 Cohere、OpenAI、Voyage 等主流 Reranker 模型。

    📈 生产级可扩展性

    支持水平扩展多租户隔离副本细粒度 RBAC 权限控制,适配从原型到大规模生产场景。存储计算分离架构,支持 Kubernetes 原生编排。

    💾 低成本运维 & 向量压缩

    内置向量压缩能力(标量量化、二进制量化、产品量化),通过向量量化、多向量编码降低内存占用,对搜索性能影响极小。支持对象 TTL 机制,按集合配置数据过期时间,自动清理过期数据。

    💡 典型使用场景

    场景一:RAG(检索增强生成)系统

    将企业文档、知识库导入 Weaviate,结合 LLM 构建精准问答系统。Weaviate 负责语义检索召回相关段落,LLM 负责生成最终答案,大幅降低幻觉率。

    import weaviate
    from weaviate.classes.query import Filter
    
    client = weaviate.connect_to_local()
    
    # 语义搜索 + 元数据过滤
    results = client.collections.get("Document").query.near_text(
        query="如何申请退款?",
        limit=5,
        filters=Filter.by_property("category").equal("help")
    )
    for obj in results.objects:
        print(obj.properties["content"])
    

    场景二:语义搜索 & 推荐引擎

    电商、内容平台可用 Weaviate 实现”理解意图”的搜索体验。用户输入自然语言查询,系统返回语义最匹配的商品或内容,而非简单的关键词匹配。

    Weaviate 也支持多模态搜索(文本 + 图像),用户可用图片搜索相似商品,或用文本描述搜索相关图片。

    📦 Python 快速上手

    import weaviate
    from weaviate.classes.config import Configure, DataType, Property
    
    # 连接本地 Weaviate 服务
    client = weaviate.connect_to_local()
    
    # 创建集合(类似关系数据库的表)
    client.collections.create(
        name="Article",
        properties=[Property(name="content", data_type=DataType.TEXT)],
        # 使用 Model2Vec 向量化器,导入时自动生成向量
        vector_config=Configure.Vectors.text2vec_model2vec(),
    )
    
    # 插入数据并自动生成向量
    articles = client.collections.get("Article")
    articles.data.insert_many([
        {"content": "Vector databases enable semantic search"},
        {"content": "Machine learning models generate embeddings"},
        {"content": "Weaviate supports hybrid search capabilities"},
    ])
    
    # 执行语义搜索
    results = articles.query.near_text(query="Search objects by meaning", limit=1)
    print(results.objects[0].properties["content"])
    
    client.close()
    

    📌 推荐理由

    Weaviate 是我推荐的向量数据库首选之一,尤其适合以下场景:

    • 与已发布的同类项目对比:Qdrant(Rust,极致性能)、Milvus(分布式,大规模)、Chroma(轻量,快速上手)—— Weaviate 则胜在生态最完整集成最丰富
    • AI Agent 生态集成:Weaviate 积极拥抱 AI Agent 生态,官方提供 Agent Skills,支持 Claude Code、Cursor 等 AI 编码工具直接操作
    • 多语言 SDK 覆盖最全:Python、JavaScript/TypeScript、Java、Go、C#/.NET 五大官方 SDK,社区还有 Rust、PHP、Ruby 等扩展
    • BSD-3-Clause 许可:商业友好,可自由修改和分发,适合企业内嵌使用

    如果你正在构建 RAG 系统、语义搜索功能,或任何需要”理解语义”的 AI 应用,Weaviate 值得作为向量数据库的第一选择进行评估。

    📥 下载地址 & 相关链接

    ✝️ 开源协议:BSD 3-Clause License | 开发语言:Go | 2016年发布,持续维护至今

  • Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢(44.9K Stars)

    Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢(44.9K Stars)

    Milvus Logo

    Milvus:高性能云原生向量数据库,为AI应用打造的神经记忆中枢

    44,934+ ⭐ · Go + C++ · Apache 2.0 · LF AI & Data 基金会托管

    📌 项目简介

    Milvus 是由 Zilliz 开发、LF AI & Data 基金会托管的开源向量数据库,专为 AI 应用的大规模非结构化数据检索而设计。底层使用 Go 和 C++ 编写,支持 CPU/GPU 硬件加速,可在十亿级向量规模下实现毫秒级检索延迟,是 RAG、推荐系统、多模态搜索等 AI 应用的首选向量存储引擎。最新稳定版:v2.5.13(2026年6月)。

    44.9K
    GitHub Stars

    4,089
    Forks

    10亿+
    向量规模

    5种
    SDK语言

    ⚙️ 安装要求和过程

    💻 环境要求
    • CPU:4核以上(生产推荐16核+)
    • 内存:16GB以上(十亿级向量推荐128GB+)
    • 存储:SSD推荐,冷数据可归档至S3/GCS(成本降低10倍)
    • Docker:Standalone模式需Docker 19.03+(最简方式)
    • Kubernetes:分布式部署需K8s 1.20+
    • Python:3.8~3.12(pymilvus SDK支持)
    🐳 快速安装(Docker Standalone,生产推荐
    # 下载 docker-compose.yml(含 etcd + MinIO 依赖)
    wget https://github.com/milvus-io/milvus/releases/download/v2.5.13/milvus-standalone-docker-compose.yml -O docker-compose.yml
    
    # 启动 Milvus
    docker compose up -d
    
    # 验证(看到三个容器均为 healthy 即成功)
    docker compose ps

    🐍 Python SDK 安装(最常用
    # 标准安装(连接远程Milvus服务)
    pip install -U pymilvus
    
    # 包含 Milvus Lite(嵌入式,pip install即可运行,无需Docker)
    pip install "pymilvus[milvus-lite]"
    
    # 验证
    python -c "from pymilvus import MilvusClient; print('Milvus OK')"

    ☁️ 零配置托管(Zilliz Cloud)

    不想自建服务?试用 Zilliz Cloud,提供 Serverless(按量付费)、Dedicated(专属集群)、BYOC(自带云)三种模式,免费额度足够个人开发使用。与 AWS Bedrock、Azure OpenAI 深度集成。

    ✨ 核心功能

    ⚡ 十亿级高性能检索

    存储计算分离架构,支持 HNSW / IVF / SCANN / DiskANN 等全部主流索引。GPU 加速兼容 NVIDIA CAGRA,十亿级向量下毫秒级延迟,QPS 可达数万次/秒。在 官方性能基准中处于行业第一梯队。

    🔀 混合检索(稠密+稀疏向量)

    原生支持 BM25 全文检索和学习的稀疏嵌入(SPLADE、BGE-M3),同一集合可同时存储稠密和稀疏向量,自定义重排策略合并多路结果,RAG 召回率提升 30%+。这是 Milvus 相比其他向量数据库的显著优势。

    🏢 企业级多租户与安全

    支持数据库/集合/分区/分区键四级隔离,单集群可承载数百万租户。强制用户认证、TLS 加密、RBAC 细粒度权限控制,满足 SOC 2 合规要求。适合 SaaS 平台多客户场景。

    💾 冷热存储分离

    热数据存内存/SSD,冷数据自动归档至 S3/GCS,存储成本降低 10 倍。支持对象存储原生架构,无需额外 ETL 即可直接读取云存储中的向量数据。Collection 级别的 Fork(写时复制)功能,大幅提升实验迭代效率。

    🌐 多语言 SDK + 丰富 AI 生态集成

    官方 SDK 覆盖 Python(pymilvus)、Java、Go、Node.js、Restful API 五种语言。原生集成 LangChain、LlamaIndex、OpenAI、HuggingFace、AutoGPT 等主流 AI 框架,可作为 RAG 应用的即插即用向量存储。Attu 提供图形化管理界面,Prometheus/Grafana 支持监控告警。

    🏗️ 架构设计

    Milvus 采用存储与计算分离、无状态微服务的分布式架构,所有组件以容器化方式部署,可充分利用 Kubernetes 的调度和自愈能力。

    ┌───────────────────────────────────────────────┐
    │            API Service Layer                 │
    │    gRPC / REST / Python / Java / Go SDK   │
    └──────────────┬──────────────────────────────┘
                    │
    ┌───────────────▼──────────────────────────────┐
    │         Coordinator Service (元数据)            │
    │   Root Coord  │  Query Coord  │  Data Coord  │
    └────┬──────────┴─────────────┴──────────────┘
          │          │              │
          ▼          ▼              ▼
    ┌──────────┐┌──────────┐  ┌──────────┐
    │ Query    ││ Data     │  │ Index    │  ← 可独立扩缩容
    │ Node     ││ Node     │  │ Node     │
    │(读密集) ││(写密集) │  │(索引构建)│
    └───┬──────┘└───┬──────┘  └───┬──────┘
         │          │            │
    ┌─────▼──────────▼────────────▼─────────┐
    │      Object Storage (S3 / GCS / MinIO)  │
    │       + Hot Cache (内存 / SSD)           │
    └──────────────────────────────────────────┘

    所有协调服务支持多副本部署,单节点故障秒级恢复。存储与计算解耦,可按业务特征独立调整查询/写入容量。

    🎯 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业知识库文档向量化存入 Milvus,用户提问时检索最相关的 Top-K 片段,注入 LLM 上下文窗口,显著提升回答准确性并减少幻觉。混合检索(向量+全文)可进一步提升召回率。官方 RAG 教程 30分钟可跑通 Demo。

    场景二:多模态语义搜索引擎

    利用 CLIP 等多模态模型将图片、音频、视频转为向量存入 Milvus,实现”以文搜图”、”以图搜图”、”视频片段检索”等功能。支持动态字段存储原始元数据,检索结果可直接返回图片 URL 或视频时间戳。图像检索实战教程 可直接参考。

    场景三:实时推荐系统

    将用户行为特征和物品特征向量化后存入 Milvus,通过近似最近邻搜索实时找相似用户或相似物品,实现个性化推荐。支持流式数据实时更新,新用户行为可在秒级反映到推荐结果中。官方电影推荐系统教程 可直接参考。

    💡 推荐理由

    在向量数据库赛道中,Milvus 是最成熟、生产案例最多的开源选择之一。与 Chroma(轻量级,适合原型)和 Qdrant(Rust 性能优异)相比,Milvus 的独特优势在于:

    • 云原生分布式架构:K8s 原生支持,可独立扩展查询/数据/索引节点,真正适合生产环境大规模部署(Chroma 无分布式,Qdrant 分布式为企业版功能)
    • 混合检索能力:稠密+稀疏向量一体化,RAG 场景召回率显著优于单一向量检索(多数竞品仅支持稠密向量)
    • LF AI & Data 基金会托管:开源治理规范,Apache 2.0 永久开源,不会突然变更许可协议
    • Milvus Lite 零配置:pip install 即可运行嵌入式版本,本地开发、单元测试、CI/CD 均无需 Docker

    如果你正在构建 RAG 应用或语义搜索功能,Milvus 值得作为向量存储的首选方案进行评估。根据 官方性能基准,Milvus 在十亿级向量场景下的检索性能处于行业第一梯队。

    LF AI & Data 基金会托管 · Apache 2.0 开源协议 · Zilliz 主导开发

    最后更新:2026年6月25日 · 数据来源:GitHub API + milvus.io

  • Qdrant:用Rust打造的高性能向量数据库,AI检索引擎的新标杆

    Qdrant:用Rust打造的高性能向量数据库,AI检索引擎的新标杆

    🚀 项目简介

    Qdrant 是一个用 Rust 编写的高性能、大规模向量数据库与向量搜索引擎,专为下一代 AI 应用设计。它将向量相似度搜索与丰富的 JSON 元数据处理能力深度融合,是构建 RAG、语义搜索、AI 智能体等应用的理想检索底座。

    GitHub:qdrant/qdrant|Stars:32.5K+|语言:Rust 🦀|许可:Apache 2.0

    ⚙️ 安装要求与过程

    环境要求

    • 最低配置:2 vCPU、4GB RAM(测试环境)
    • 生产推荐:8+ vCPU、16GB+ RAM、SSD 存储
    • 支持平台:Linux / macOS / Windows(Docker)、Kubernetes
    • 客户端支持:Python、JavaScript/TypeScript、Go、Rust、.NET/C#、Java
    • 依赖:Docker(快速启动),或直接从 Release 下载二进制

    快速安装(Docker 方式)

    # 拉取并启动 Qdrant(默认端口 6333)
    docker run -p 6333:6333 qdrant/qdrant
    
    # Python 客户端连接
    pip install qdrant-client
    
    python -c "
    from qdrant_client import QdrantClient
    client = QdrantClient(url='http://localhost:6333')
    print(client.get_collections())
    "

    其他安装方式

    • Qdrant Cloud:注册即用,含免费套餐(cloud.qdrant.io
    • 自托管 Kubernetes:官方 Helm Chart 支持
    • Qdrant Edge:轻量版,可嵌入应用进程,适合边缘设备
    • Hybrid Cloud / Private Cloud:企业级自建云部署方案

    ⭐ 核心功能

    🔍 多向量搜索

    同时支持稠密向量(语义搜索)、稀疏向量(关键词搜索)、多向量(ColBERT 等晚期交互模型),一套引擎覆盖全场景。

    🔀 原生混合检索

    在单次查询中融合稠密与稀疏向量,支持 BM25、SPLADE++、miniCOIL 等多种算法,结果通过 RRF/DBSF 策略智能合并。

    📊 高级元数据过滤

    HNSW 遍历过程中直接应用过滤条件(非后过滤),支持嵌套对象、全文检索、地理位置、has_vector 等丰富过滤类型,高召回低延迟。

    ⚡ 极致性能优化

    Rust + SIMD 指令加速;Scalar/Asymmetric/Binary 量化降低内存占用最高 64 倍;GPU 加速索引(NVIDIA/AMD);io_uring 异步 I/O 最大化磁盘吞吐。

    🏗️ 企业级部署能力

    分布式水平扩展(分片 + 副本);零停机扩缩容;多租户数据隔离;SOC 2 / GDPR 合规;SSO(SAML/OIDC);Prometheus / Grafana / Datadog 监控集成;严格模式磁盘保护;WAL 持久化保证断电不丢数据。

    🏆 典型使用场景

    📚 RAG(检索增强生成)系统

    Qdrant 是 RAG 应用最流行的向量数据库选择之一。将企业文档、知识库切分后存入 Qdrant,用户提问时先向量检索最相关片段,再喂给 LLM 生成答案。Tripadvisor 使用 Qdrant 为数十亿条评论和图片提供 AI 旅行规划检索,收入提升 2-3 倍。
    技术栈:Qdrant + LangChain/LlamaIndex + OpenAI/DeepSeek

    🤖 AI 智能体长期记忆

    AI Agent 需要跨会话持久化记忆,Qdrant 提供高性能向量存储让智能体”记住”历史上下文。Deutsche Telekom 的多智能体平台基于 Qdrant 实现实时上下文检索,支撑 200 万+ AI 驱动对话。
    技术栈:Qdrant + Mem0 + LangChain/CrewAI

    🛍️ 电商语义推荐系统

    传统关键词搜索无法理解用户意图,Qdrant 的向量语义匹配让”类似风格””可以搭配”等模糊需求精准命中。Lyzr 的 AI 智能体平台接入 Qdrant 后,延迟降低 90%、吞吐量提升 150%。支持实时相似度匹配数百万商品,结合元数据过滤实现个性化推荐。
    技术栈:Qdrant + 多模态嵌入模型(CLIP)+ 推荐算法

    💡 推荐理由

    作为一个深度使用过多个向量数据库的开发者,Qdrant 给我印象最深刻的是它的“工程完成度”。以下是我的真实使用体会:

    • 🦀 Rust 带来的安心感:生产环境最怕 OOM 和奇怪的崩溃,Qdrant 用 Rust 编写,内存安全 + 高并发,跑了几个月稳如磐石,不像某些 Java 系的方案动不动就要调 JVM 参数。
    • 🎯 过滤性能是真的强:很多向量数据库的元数据过滤是”后过滤”(先搜再筛),大数据量下性能灾难。Qdrant 的过滤是在 HNSW 遍历过程中完成的,实测百万级向量 + 复杂过滤条件,延迟依然在毫秒级。
    • 📦 量化功能省真金白银:Scalar Quantization 开箱即用,内存占用直接砍掉 75%,精度损失微乎其微。如果用量大,这一项就能省好几台服务器的钱。
    • 🔌 生态集成无脑顺畅:LangChain、LlamaIndex、Haystack、MCP 协议……主流 AI 框架全部原生支持,基本不用写适配代码,直接 pip install qdrant-client 开箱即用。
    • ☁️ Cloud 免费额度够用:不想自己运维可以用 Qdrant Cloud,免费套餐够小型项目跑起来,后续扩容也无缝迁移,不用担心被锁定。

    ⚠️ 注意事项:默认 Docker 启动是无认证的,千万不要直接暴露到公网!一定要先看官方安全配置指南,开启 API Key 或 mTLS 认证。另外,如果数据量在千万级以下,其实 Chroma 这类更轻量的方案也够用,Qdrant 的优势在大规模生产场景才完全体现。

    📦 下载地址 & 资源链接

    🌐 官方网站

    qdrant.tech

    💻 GitHub 仓库

    github.com/qdrant/qdrant

    ☁️ Qdrant Cloud

    cloud.qdrant.io(含免费套餐)

    📖 官方文档

    qdrant.tech/documentation

    🐍 Python 客户端

    qdrant-client (PyPI)

    📊 性能基准测试

    qdrant.tech/benchmarks

    Apache License 2.0 开源 · 完全自托管 · 32.5K+ Stars