标签: 向量数据库

  • RAGFlow:83K+ Stars 的开源 RAG 引擎,为 LLM 打造卓越上下文层

    RAGFlow:83K+ Stars 的开源 RAG 引擎,为 LLM 打造卓越上下文层

    📌 项目简介

    RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,由 InfiniFlow 团队(Milvus 向量数据库原班人马)开发,将前沿 RAG 技术与 Agent 能力深度融合,为大语言模型提供卓越的上下文理解层。

    RAGFlow 架构图

    RAGFlow 系统架构概览


    ⚙️ 安装要求和过程

    环境要求(自托管)

    配置项 最低要求
    CPU ≥ 4 核
    内存 ≥ 16 GB
    磁盘 ≥ 50 GB
    Docker ≥ 24.0.0
    Docker Compose ≥ v2.26.1

    🐳 Docker 快速部署(推荐)

    # 1. 调整系统内核参数(避免 Elasticsearch 启动失败)
    sudo sysctl -w vm.max_map_count=262144
    
    # 2. 克隆项目代码
    git clone https://github.com/infiniflow/ragflow.git
    cd ragflow/docker
    
    # 3. 切换到稳定版本
    git checkout v0.26.1
    
    # 4. 启动服务(仅CPU)
    docker compose -f docker-compose.yml up -d
    
    # (可选)如需GPU加速,先执行:
    # sed -i '1i DEVICE=gpu' .env
    # docker compose -f docker-compose.yml up -d
    
    # 5. 验证服务状态
    docker logs -f docker-ragflow-cpu-1

    启动成功后,浏览器访问服务器 IP 地址(默认 HTTP 端口 80)即可进入 RAGFlow 登录页面。

    💻 源码启动(开发用途)

    # 安装依赖工具
    pipx install uv pre-commit
    
    # 克隆代码
    git clone https://github.com/infiniflow/ragflow.git
    cd ragflow/
    uv sync --python 3.13
    uv run python3 download_deps.py
    
    # 启动基础依赖服务
    docker compose -f docker/docker-compose-base.yml up -d
    
    # 启动后端
    source .venv/bin/activate
    export PYTHONPATH=$(pwd)
    bash docker/launch_backend_service.sh
    
    # 启动前端(新终端)
    cd web && npm install && npm run dev

    ✨ 核心功能

    1. 深度文档理解,输入即精准

    基于先进的文档解析技术,可从格式复杂的非结构化数据(PDF、Word、PPT、Excel、扫描件、图片等)中精准提取知识,真正做到”Quality in, Quality out”。

    2. 可视化模板化分块,答案可追溯

    分块逻辑智能可解释,提供大量预置分块模板;支持文本分块可视化,允许人工干预调整;最终答案附带可追溯的引用来源,有效降低 LLM 幻觉问题。

    3. 多源数据兼容,异构数据统一管理

    支持解析 Word、PPT、Excel、TXT、图片、扫描件、结构化数据、网页等各类异构数据源,一站式完成企业知识库构建。

    4. Agentic 工作流 + MCP 协议支持

    内置丰富 Agent 能力,支持 Agentic 工作流编排、MCP 协议接入;内置 Python/JavaScript 代码执行器组件;支持 AI Agent 记忆功能。

    5. 高精度混合检索,多路召回+融合重排

    结合向量搜索、BM25 关键词搜索和自定义评分机制,配合先进重排序算法,提供无与伦比的回答准确性和上下文相关性。


    🚀 典型使用场景

    📈 股权投资研究

    自动化收集公司数据,整合财务指标与研究洞察。通过自主规划和多智能体编排,实现高级股票分析。自动从用户查询中识别股票代码,聚合外部权威来源和内部记录中的洞察,最终结合定性洞察和财务指标生成完整投资报告。

    ⚖️ 法律判例分析

    通过检查公共来源和内部数据集中的类似法律案例,提供结构化判例分析。自动提取关键属性(如司法管辖区和法律问题)以制定搜索查询并检索可比较的先例,最终整合成结构化分析报告。

    🏭 制造业维护支持

    通过从内部手册中准确获取内容,提供结构化维护指导(外部参考作为补充支持)。输入任务后,工作流首先验证输入充分性,然后从内部维护手册中提取标准协议,整合补充外部技术数据,生成清晰的执行指令。


    💡 推荐理由

    RAGFlow 是我用过的最”务实”的 RAG 产品,没有之一。

    第一,它真正解决了 RAG 的底层痛点——文档解析。很多 RAG 框架只关注向量检索和生成,却忽略了最关键的”输入质量”问题。RAGFlow 的 DeepDoc 技术能精准解析复杂格式的 PDF、扫描件,真正做到”Garbage in, garbage out”的反面——Quality in, quality out

    第二,可视化分块 + 可追溯引用,让 AI 回答有章可循。这是企业场景的刚需。你可以清楚看到每个答案是从哪个文档的哪个位置来的,大幅降低了 LLM 幻觉带来的风险。

    第三,Agentic 能力的融合非常自然。不是简单地在 RAG 上面套一个 Agent 外壳,而是将 Agent 能力(MCP 协议、代码执行、记忆管理)深度集成到 RAG 工作流中,真正实现了”RAG + Agent”的一体化编排。

    最后,InfiniFlow 团队是 Milvus 的原班人马,技术底蕴深厚。83K+ Stars 和 9600+ Forks 的社区活跃度也证明了产品的成熟度。如果你正在构建企业级知识库或 RAG 应用,RAGFlow 绝对值得一试。


    📥 下载地址

    🌐 官方网站:https://ragflow.io

    📦 GitHub 开源地址:https://github.com/infiniflow/ragflow ⭐ 83K+ Stars

    ☁️ 云服务(快速体验):https://cloud.ragflow.io

    📚 官方文档:https://ragflow.io/docs/dev/

    💡 小贴士:RAGFlow 支持飞书、Discord、Telegram、Line 等多聊天渠道接入(2026年6月更新),可快速将企业知识库接入到日常沟通工具中!

  • 【开源推荐】LangChain:139K+ Stars!AI Agent 工程平台,构建 LLM 应用的标准框架

    【开源推荐】LangChain:139K+ Stars!AI Agent 工程平台,构建 LLM 应用的标准框架

    LangChain

    ⭐ GitHub 139K+ Stars

    LangChain

    AI Agent 工程平台 – 构建 LLM 应用的标准框架

    📝 项目简介

    LangChain 是一个强大的 AI Agent 工程平台,为构建 LLM 驱动的应用提供完整的框架和工具链。它提供模块化的组件、丰富的集成库和灵活的抽象层,让开发者能够快速原型设计、轻松集成外部数据源,并将应用规模化部署到生产环境。无论是简单的聊天机器人还是复杂的多 Agent 系统,LangChain 都能提供最佳实践和技术支撑。

    139K+
    GitHub Stars

    23.1K+
    Forks

    MIT
    开源协议

    Python
    主要语言

    ⚙️ 安装要求

    环境要求

    • Python 3.9+ (推荐 3.10 或更高版本)
    • pip 或 uv 包管理器
    • LLM API Key(OpenAI / Anthropic / Google 等)
    • 可选:向量数据库(Chroma / Pinecone / Qdrant 等)

    快速安装

    Bash
    # 使用 uv 安装(推荐)
    uv add langchain
    
    # 或使用 pip
    pip install langchain
    
    # 安装特定集成(例如 OpenAI)
    pip install langchain-openai
    
    # 安装社区集成(例如 Hugging Face)
    pip install langchain-community

    核心功能

    🔗 模块化组件架构

    提供 LLM、Chat Models、Prompt Templates、Chains、Agents、Tools、Memory、Retrievers 等标准化模块,每个组件都可独立使用和组合,支持快速搭建复杂 AI 应用。

    🔌 丰富的集成生态

    支持 100+ 模型提供商(OpenAI、Anthropic、Google、Hugging Face 等)、50+ 向量存储(Chroma、Pinecone、Qdrant、FAISS 等)、30+ 工具集成,开箱即用。

    🤖 强大的 Agent 框架

    内置多种 Agent 类型(ReAct、Plan-and-Execute、OpenAI Tools 等),支持工具调用、记忆管理、多轮对话,可构建具有推理和行动能力的智能 Agent。

    📚 RAG 完整支持

    提供从文档加载、文本分割、向量化到检索的完整 RAG 管道,支持多种文档格式(PDF、HTML、Markdown 等)和检索策略(相似度搜索、MMR、Hybrid 等)。

    🚀 生产就绪工具链

    与 LangSmith 深度集成,提供追踪、评估、调试、监控能力;支持流式输出、异步调用、批量处理,满足高并发生产场景需求。

    💡 典型使用场景

    场景 1

    📊 企业知识库问答系统

    使用 LangChain 的 RAG 能力,将企业文档(PDF、Word、HTML)向量化存储,构建能够准确引用来源的智能问答系统。支持多轮对话、上下文记忆和来源追溯。

    from langchain_community.vectorstores import Chroma
    from langchain_openai import OpenAIEmbeddings
    from langchain.chains import create_retrieval_chain
    
    # 加载文档并构建向量库
    embeddings = OpenAIEmbeddings()
    vectorstore = Chroma.from_documents(docs, embeddings)
    
    # 创建检索问答链
    retriever = vectorstore.as_retriever()
    qa_chain = create_retrieval_chain(retriever, ...)

    场景 2

    🤖 智能客服 Agent

    利用 LangChain 的 Agent 和 Tools 机制,让 AI 能够调用订单查询、物流追踪、退款处理等 API,自动完成复杂的客户服务流程,支持多步骤推理和错误处理。

    from langchain.agents import create_tool_calling_agent
    from langchain.tools import Tool
    
    tools = [
        Tool(name="订单查询", func=query_order, ...),
        Tool(name="退款处理", func=process_refund, ...)
    ]
    
    agent = create_tool_calling_agent(llm, tools, prompt)

    场景 3

    ✍️ 内容生成与摘要

    结合 Prompt Templates 和 Chains,构建自动化的内容生成流水线,支持博客文章、产品描述、会议纪要摘要等场景,可集成到现有 CMS 或自动化工作流中。

    from langchain.chains import LLMChain
    from langchain.prompts import PromptTemplate
    
    template = "根据以下要点生成博客文章:\n{points}\n文章风格:{style}"
    
    chain = LLMChain(llm=llm, prompt=PromptTemplate.from_template(template))
    result = chain.invoke({"points": "...", "style": "专业且易懂"})

    💝 推荐理由

    LangChain 是我接触过的最成熟的 LLM 应用开发框架,没有之一。它不仅仅是一个库,更是一个完整的 AI Agent 工程平台

    生态极其丰富: 无论你想接入哪个模型、哪个向量库、哪个数据源,几乎都能找到现成的集成,省去了大量重复造轮子的时间。

    抽象设计优秀: 从底层的 LLM 调用到高层的 Agent 编排,LangChain 提供了多层次的抽象,既能快速 prototyping,也能精细控制每个环节。

    社区活跃度高: 139K+ Stars 不是虚的,GitHub 上每天都有新的讨论、PR 和案例分享,遇到问题几乎都能找到答案。

    生产工具完善: LangSmith 的集成让调试和监控变得异常简单,这是很多同类框架做不到的。

    如果你正在考虑用哪个框架来构建 AI 应用,LangChain 绝对是首选。它已经成为了这个领域的”标准”,学习它永远不会错 🚀

    ···

    Tags
    #LangChain
    #AI Agent
    #LLM
    #Python
    #RAG
    #Agent工程

  • 【开源推荐】Qdrant:32.2K+ Stars!Rust 构建的高性能向量数据库,AI 应用的向量检索引擎

    【开源推荐】Qdrant:32.2K+ Stars!Rust 构建的高性能向量数据库,AI 应用的向量检索引擎

    Q
    GitHub 热门 AI 开源项目
    第 29 期

    ⭐ 32.2K+ Stars

    Qdrant —— 为 AI 应用打造的高性能向量数据库

    用 Rust 构建 · 支持稠密/稀疏/多向量 · 生产级分布式部署

    📌 项目简介

    Qdrant 是一个用 Rust 编写的高性能向量数据库和向量搜索引擎,专为新一代 AI 应用设计。它提供生产级服务与便捷 API,支持存储、搜索和管理带附加载荷的向量,是构建 RAG、语义搜索、推荐系统等 AI 应用的理想数据底座。

    32.2K+
    GitHub Stars

    Rust
    核心语言

    97%
    RAM 节省

    ⚙️
    安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 或者:Rust 1.70+ 编译环境(源码安装)
    • Python 3.8+(使用 Python 客户端时)
    • 支持 Linux / macOS / Windows (WSL2)

    快速安装(Docker 方式)


    # 1. 拉取并启动 Qdrant(无认证,开发用)
    docker run -p 6333:6333 qdrant/qdrant

    # 2. 访问 Web UI
    open http://localhost:6333/dashboard

    # 3. 使用 Python 客户端
    pip install qdrant-client

    # 4. 源码编译安装(可选)
    git clone https://github.com/qdrant/qdrant.git
    cd qdrant && cargo build --release

    生产部署建议

    • 务必配置 API Key 认证(参考官方安全指南)
    • 使用持久化卷存储向量数据(-v $(pwd)/qdrant_storage:/qdrant/storage
    • 大规模场景启用分布式模式(需要 etcd / 类似协调服务)
    • 启用 TLS 加密传输


    核心功能

    🔍 多类型向量搜索

    同时支持稠密向量(语义相似度)、稀疏向量(全文搜索)、多向量(ColBERT 等延迟交互模型)搜索,一套系统满足多种检索需求。

    🎯 强大的载荷过滤

    为向量附加任意 JSON 载荷,支持关键词匹配、全文检索、数值范围、地理位置等丰富条件过滤,支持 should / must / must_not 条件组合,精准控制搜索范围。

    🔀 混合搜索

    单查询可组合多个向量,兼顾语义理解和关键词精度,支持倒数排名融合(RRF)、基于分布的分数融合(DBSF)等可配置融合策略,搜索效果更佳。

    💾 低成本存储优化

    内置向量量化能力,可降低最高 97% 的 RAM 占用;支持在搜索速度和精度之间按需权衡;同时支持磁盘存储,大幅降低运行成本。

    🚀 分布式高可用

    支持水平扩展,通过分片和副本实现高可用,可零停机更新或调整集合大小;支持 SIMD 硬件加速和 NVIDIA/AMD GPU 加速索引,性能卓越。

    💡
    典型使用场景

    📚 场景一:RAG 知识库问答

    将文档切片向量化后存入 Qdrant,用户提问时先检索最相关的片段,再送给 LLM 生成答案。Qdrant 的混合搜索和载荷过滤能力,让 RAG 系统既能理解语义,又能精确控制知识范围,是目前最流行的 AI 应用架构之一。

    🛒 场景二:电商语义搜索与推荐

    用户搜索”适合夏天透气的跑步鞋”,传统关键词搜索无法理解意图,而 Qdrant 的语义向量搜索能直接找到最相关的商品。再结合用户行为向量做个性化推荐,可大幅提升转化率和用户体验。

    🖼️ 场景三:图像/音频相似检索

    通过 CLIP 等多模态模型将图片/音频编码为向量,存入 Qdrant 后便可实现”以图搜图”、”相似音乐推荐”等功能。短视频平台、版权图库、人脸检索等场景均有广泛应用。

    💬 推荐理由

    如果你正在构建任何需要”理解语义”的 AI 应用,Qdrant 几乎是不二之选。作为向量数据库赛道的明星项目,它用 Rust 编写,性能和安全都有保障;API 设计简洁直观,Python 客户端几分钟就能上手;最关键的是,它不只是”能跑”,而是真正为生产环境设计——分布式、高可用、量化压缩、硬件加速,这些特性在大规模部署时价值巨大。

    我个人最喜欢它的混合搜索能力:语义向量 + 关键词 BM25 融合,再结合载荷过滤,搜索结果的质量比单纯向量检索高出一大截。加上活跃的开源社区和 Qdrant Cloud 托管选项,无论个人项目还是企业落地,都能找到合适的接入方式。2026 年做 AI 应用,向量数据库是必选项,Qdrant 值得放在你的技术选型清单首位。

    🔖 标签:AI · GitHub · 开源 · 向量数据库 · RAG · LLM · Rust · 语义搜索

    ⏱️ 预计阅读时间:6 分钟 | 更新时间:2026年6月14日

  • ChatGPT Retrieval Plugin:20k+ Stars!RAG鼻祖项目,让ChatGPT拥有外部知识

    ChatGPT Retrieval Plugin:20k+ Stars!RAG鼻祖项目,让ChatGPT拥有外部知识

    📦 项目简介

    chatgpt-retrieval-plugin 是 OpenAI 官方开源的 ChatGPT 检索插件模板,它是 RAG(检索增强生成) 领域的鼻祖级项目,让 ChatGPT 能够访问自定义数据源。

    这个项目展示了如何让大模型动态访问外部知识库,而不是仅仅依赖训练数据。它是现在所有 RAG 应用的”祖师爷”。

    ⚙️ 安装要求和过程

    环境要求

    • Python:3.8+(推荐 3.10+)
    • 向量数据库:Pinecone / Weaviate / Qdrant(任选其一)
    • OpenAI API Key:必需(用于 Embedding 和 ChatGPT)
    • 内存:建议 8GB+(本地测试可降级)

    快速安装步骤

    # 1. 克隆项目
    git clone https://github.com/openai/chatgpt-retrieval-plugin.git
    cd chatgpt-retrieval-plugin
    
    # 2. 安装依赖
    pip install -r requirements.txt
    
    # 3. 配置环境变量
    cp .env.example .env
    # 编辑 .env,填入你的 OpenAI API Key 和向量数据库配置
    
    # 4. 构建向量索引
    python scripts/process_docs.py
    
    # 5. 启动服务
    uvicorn server.main:app --reload --port 8000
    

    安装完成后,在 ChatGPT Plugins 模式中添加本地插件,指向 http://localhost:8000 即可。

    🔥 核心功能

    1. 向量检索(核心能力)

    将文档切片后转化为向量,存储到 Pinecone 等向量数据库。用户提问时,系统自动检索最相关的文档片段,注入到 ChatGPT 的上下文中。

    2. 递归爬取(数据接入)

    内置 scripts/process_docs.py 支持递归爬取网站内容(基于 BeautifulSoup),自动处理 HTML、PDF、Markdown 等多种格式。

    3. 元数据过滤(精准召回)

    支持为文档添加元数据标签(来源、日期、作者等),检索时可根据元数据进行过滤,大幅提升召回精准度。

    4. 插件标准接口(OpenAI 官方规范)

    严格遵循 OpenAI Plugin 规范(/.well-known/ai-plugin.json/openapi.yaml),可作为开发自定义 ChatGPT 插件的参考模板。

    💡 典型使用场景

    场景一:企业知识库问答

    将公司内部文档(产品手册、API 文档、HR 政策)向量化后接入 ChatGPT,员工可以直接用自然语言查询,比如”我们公司的报销流程是什么?”,ChatGPT 会从知识库中精准召回答案。

    价值:替代传统关键词搜索,问答准确率提升 60%+。

    场景二:技术文档助手

    开源项目维护者可以将项目文档(README、Wiki、Issue 解答)接入插件,用户在使用 ChatGPT 时可以直接获得项目相关的准确回答,而不用担心模型产生幻觉。

    价值:降低开源项目的使用门槛,减少重复解答。

    🌟 推荐理由

    这个项目最大的价值不在于代码本身(实际上代码量并不大),而在于它 定义了 RAG 的标准范式

    1. 文档切片 → Embedding → 向量存储 → 检索召回 → 注入上下文 → 生成回答,这条链路现在是业界标配。
    2. 如果你想做知识库问答、企业 AI 助手、文档 Copilot,这个项目是最好的起点。
    3. 虽然 OpenAI 后来推出了 Assistants APIGPTs,底层逻辑依然和这个插件一脉相承。

    值得一提的是,现在很多热门项目(RAGFlow、AnythingLLM、Dify 的知识库功能)都能看到这个项目的影子。可以说,它是 RAG 应用的”黄埔军校”。

    📥 下载地址

    如果你正在做知识库问答或者企业 AI 助手,这个项目值得深入研究。它不仅是 RAG 的鼻祖,更是理解大模型如何”连接外部知识”的最佳教材。

  • Chroma:43.1K Stars!开源向量数据库,让AI应用拥有长期记忆

    Chroma Banner

    开源向量数据库 · 让AI拥有长期记忆

    📦 项目简介

    Chroma 是专为AI应用打造的开源嵌入式向量数据库,让大模型拥有”长期记忆”。它通过简单的Python/JavaScript API,帮助你快速存储、查询和检索文本Embedding向量,是构建RAG(检索增强生成)应用的首选基础设施。

    🔗 GitHub:chroma-core/chroma ⭐ Stars:43.1K+ 📄 协议:Apache 2.0

    🔧 安装要求和过程

    环境要求

    依赖 要求
    Python ≥ 3.8(推荐 3.10+)
    内存 ≥ 4GB(生产环境建议 8GB+)
    存储 ≥ 1GB 可用空间
    可选后端 SQLite(默认)、DuckDB(分析场景)

    快速安装(3行代码搞定)

    pip install chromadb
    
    import chromadb
    client = chromadb.Client()  # 开箱即用!

    Docker 部署(生产推荐)

    docker run -d --name chroma \
      -p 8000:8000 \
      ghcr.io/chroma-core/chroma:latest

    部署后访问 http://localhost:8000 即可使用 HTTP API。

    🔩 核心功能

    功能 说明
    多模态向量搜索 支持文本、图像、音频的 Embedding 存储与相似度检索
    多客户端 SDK Python、JavaScript/TypeScript、REST API 全覆盖
    全文+向量混合搜索 结合关键词匹配与语义搜索,提升召回率
    内置 Embedding 函数 默认集成 Sentence Transformers,无需外部 API
    持久化存储 支持本地持久化、DuckDB 后端,数据不丢失

    💡 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业文档、知识库存入 Chroma,用户提问时先检索相关片段,再送给 LLM 生成答案。相比直接问 LLM,准确率提升 40%+,幻觉大幅减少。

    # RAG 核心代码(不到 20 行!)
    collection = client.create_collection("docs")
    collection.add(
        documents=["公司报销流程...", "年假申请..."],
        ids=["1", "2"]
    )
    results = collection.query(query_texts=["如何报销?"], n_results=1)
    # results 包含最相关的文档片段

    场景二:AI Agent 长期记忆

    让 AutoGPT、CrewAI 等 Agent 框架拥有跨会话记忆。将历史对话的 Embedding 存入 Chroma,下次对话时自动检索上下文,实现”越用越懂你”。

    场景三:语义推荐系统

    电商、内容平台的”猜你喜欢”,用 Chroma 存储商品/内容向量,用户行为向量实时检索最相似物品,推荐相关度远超协同过滤。

    🌟 推荐理由

    Chroma 是我见过最易上手的向量数据库,没有之一。不需要学 SQL,不需要配置复杂集群,pip install 之后 3 行代码就能跑起来。

    相比 Pinecone 等托管服务,Chroma 完全开源、可自托管,数据不出门,合规零风险。相比 Faiss,它提供了完整的 CRUD API 和持久化,不用每次重启都重新建索引。

    如果你正在做 RAG、AI 搜索、推荐系统,或者想给 Agent 加上记忆,Chroma 是目前开发体验最好的选择。LangChain、LlamaIndex、Supabase 都已官方集成,生态非常成熟。

    📥 下载地址

    渠道 链接 / 命令
    GitHub 仓库 github.com/chroma-core/chroma
    官网文档 docs.trychroma.com
    PyPI 安装 pip install chromadb
    npm 安装 npm install chromadb
    Docker 镜像 ghcr.io/chroma-core/chroma:latest

    — 开源项目第52期 | 夜野飞云 —

  • Chroma:43.1K Stars!开源向量数据库,让AI应用拥有长期记忆

    Chroma:43.1K Stars!开源向量数据库,让AI应用拥有长期记忆

    Chroma Banner

    开源向量数据库 · 让AI拥有长期记忆

    📦 项目简介

    Chroma 是专为AI应用打造的开源嵌入式向量数据库,让大模型拥有”长期记忆”。它通过简单的Python/JavaScript API,帮助你快速存储、查询和检索文本Embedding向量,是构建RAG(检索增强生成)应用的首选基础设施。

    🔗 GitHub:chroma-core/chroma ⭐ Stars:43.1K+ 📄 协议:Apache 2.0

    🔧 安装要求和过程

    环境要求

    依赖 要求
    Python ≥ 3.8(推荐 3.10+)
    内存 ≥ 4GB(生产环境建议 8GB+)
    存储 ≥ 1GB 可用空间
    可选后端 SQLite(默认)、DuckDB(分析场景)

    快速安装(3行代码搞定)

    pip install chromadb
    
    import chromadb
    client = chromadb.Client()  # 开箱即用!

    Docker 部署(生产推荐)

    docker run -d --name chroma \
      -p 8000:8000 \
      ghcr.io/chroma-core/chroma:latest

    部署后访问 http://localhost:8000 即可使用 HTTP API。

    🔩 核心功能

    功能 说明
    多模态向量搜索 支持文本、图像、音频的 Embedding 存储与相似度检索
    多客户端 SDK Python、JavaScript/TypeScript、REST API 全覆盖
    全文+向量混合搜索 结合关键词匹配与语义搜索,提升召回率
    内置 Embedding 函数 默认集成 Sentence Transformers,无需外部 API
    持久化存储 支持本地持久化、DuckDB 后端,数据不丢失

    💡 典型使用场景

    场景一:RAG(检索增强生成)应用

    将企业文档、知识库存入 Chroma,用户提问时先检索相关片段,再送给 LLM 生成答案。相比直接问 LLM,准确率提升 40%+,幻觉大幅减少。

    # RAG 核心代码(不到 20 行!)
    collection = client.create_collection("docs")
    collection.add(
        documents=["公司报销流程...", "年假申请..."],
        ids=["1", "2"]
    )
    results = collection.query(query_texts=["如何报销?"], n_results=1)
    # results 包含最相关的文档片段

    场景二:AI Agent 长期记忆

    让 AutoGPT、CrewAI 等 Agent 框架拥有跨会话记忆。将历史对话的 Embedding 存入 Chroma,下次对话时自动检索上下文,实现”越用越懂你”。

    场景三:语义推荐系统

    电商、内容平台的”猜你喜欢”,用 Chroma 存储商品/内容向量,用户行为向量实时检索最相似物品,推荐相关度远超协同过滤。

    🌟 推荐理由

    Chroma 是我见过最易上手的向量数据库,没有之一。不需要学 SQL,不需要配置复杂集群,pip install 之后 3 行代码就能跑起来。

    相比 Pinecone 等托管服务,Chroma 完全开源、可自托管,数据不出门,合规零风险。相比 Faiss,它提供了完整的 CRUD API 和持久化,不用每次重启都重新建索引。

    如果你正在做 RAG、AI 搜索、推荐系统,或者想给 Agent 加上记忆,Chroma 是目前开发体验最好的选择。LangChain、LlamaIndex、Supabase 都已官方集成,生态非常成熟。

    📥 下载地址

    渠道 链接 / 命令
    GitHub 仓库 github.com/chroma-core/chroma
    官网文档 docs.trychroma.com
    PyPI 安装 pip install chromadb
    npm 安装 npm install chromadb
    Docker 镜像 ghcr.io/chroma-core/chroma:latest

    — 开源项目第52期 | 夜野飞云 —

  • Chroma:28.2K Stars!AI 开源向量数据库,让语义搜索 5 行代码搞定

    Chroma:28.2K Stars!AI 开源向量数据库,让语义搜索 5 行代码搞定

    如果你正在构建 RAG 应用、智能客服、文档问答系统,你会发现一个核心难题:如何让 AI 从海量文本中快速找到最相关的内容?

    Chroma 向量数据库
    Chroma —— 面向 AI 的开源向量数据库

    📦 项目简介

    Chroma 是专为 AI 应用设计的开源向量数据库,定位为“AI 的搜索基础设施”。它让开发者能够以极简的 API 完成文档嵌入、向量存储、语义检索的全流程,是构建 RAG(检索增强生成)系统的首选工具之一。

    Chroma 的核心设计理念是简单优先:核心 API 只有 4 个函数,5 行代码即可完成文档入库和语义搜索。同时支持 Python 和 JavaScript 双语言客户端,并提供 Chroma Cloud 托管服务(注册即送 $5 免费额度,30 秒内完成数据库创建)。

    ⚙️ 安装要求与过程

    环境要求

    • Python:3.8+(推荐 3.9+)
    • Node.js:16+(使用 JavaScript 客户端时需要)
    • 内存:最低 2GB(内存模式);生产环境建议 4GB+
    • 存储:持久化模式需要磁盘空间存放向量索引

    快速安装(3 步搞定)

    # 第1步:安装 Chroma(Python)
    pip install chromadb
    
    # 第2步:启动 Chroma 服务(可选,也可直接用内存模式)
    # chroma run --path ./chroma_db
    
    # 第3步:写 5 行代码,完成第一个语义搜索!
    import chromadb
    client = chromadb.Client()
    collection = client.create_collection("my_docs")
    collection.add(documents=["你好世界", "Hello World"], ids=["id1", "id2"])
    results = collection.query(query_texts=["greeting"], n_results=1)
    print(results)

    JavaScript/TypeScript 用户:

    # JavaScript/TypeScript 安装
    npm install chromadb
    
    # 快速使用
    import { ChromaClient } from 'chromadb';
    const client = new ChromaClient();
    const collection = await client.createCollection({ name: "my_docs" });
    await collection.add({ ids: ["id1"], documents: ["Hello World"] });
    const results = await collection.query({ queryTexts: ["greeting"], nResults: 1 });
    console.log(results);

    💡 核心功能

    🎯 极简 API 设计
    核心 API 仅 4 个函数:创建集合、添加文档、查询搜索、管理集合。学习成本几乎为零,5 行代码即可完成语义搜索全流程。

    🔍 多模态搜索能力
    支持纯向量搜索、全文搜索、混合搜索(向量+关键词)三种模式。可根据场景灵活选择,搜索精度远超单一模式。

    🧠 自动嵌入处理
    添加文档时自动完成分词 → 向量嵌入 → 索引构建全流程,内置主流 Embedding 模型(Sentence Transformers 等),也支持自定义向量传入。

    🔧 灵活部署模式
    支持内存模式(快速原型)、持久化存储(生产环境)、客户端-服务端(多应用共享)、Chroma Cloud(完全托管,免运维)。

    🏷️ 多维度过滤
    支持基于元数据(metadata)的精确过滤,和基于文档内容的包含过滤。例如:只搜索”来源为官网”的文档,或只搜索”包含特定关键词”的段落。

    🌐 多语言客户端
    官方支持 Python 和 JavaScript/TypeScript 双语言客户端,API 设计一致。社区还提供了 Go、Java、Ruby 等语言客户端,覆盖主流开发生态。

    🚀 典型使用场景

    场景一:RAG 文档问答系统

    将企业知识库、产品文档、FAQ 等文本存入 Chroma,用户提问时通过语义搜索找到最相关的片段,再交给 LLM 生成回答。这是 Chroma 最经典的应用场景,也是目前大量 AI 应用的标准架构。

    # RAG 典型代码(简化版)
    import chromadb
    from sentence_transformers import SentenceTransformer
    
    # 1. 连接 Chroma
    client = chromadb.Client()
    collection = client.get_or_create_collection("company_docs")
    
    # 2. 文档切片入库(实际项目可用更高级的分片策略)
    docs = ["退款政策:7天内可申请...", "Shipping: 2-5 business days..."]
    collection.add(documents=docs, ids=["doc1", "doc2"])
    
    # 3. 用户提问 → 语义检索 → 交给 LLM
    query = "如何申请退款?"
    results = collection.query(query_texts=[query], n_results=3)
    # results['documents'] 即为最相关的文档片段,传给 LLM 生成回答

    场景二:AI 应用语义缓存

    对 LLM 的相似问题,直接返回缓存的答案,避免重复调用大模型,可降低 30-80% 的 API 成本。Chroma 的向量相似度搜索非常适合实现语义缓存——用户问”怎么退款”和”退款流程是什么”应该命中同一个缓存。

    场景三:内容推荐与去重

    新闻推荐、电商商品推荐、短视频去重等场景,都可以通过向量相似度来实现。Chroma 的轻量特性使其非常适合作为推荐系统的向量检索层,毫秒级返回相似内容。

    🌟 推荐理由

    我推荐 Chroma 的核心原因是它把”向量数据库”这个听起来很高大上的东西,做到了真正对开发者友好。以下是我的真实使用感受:

    第一,上手速度极快。对比 Pinecone、Weaviate、Qdrant 等竞品,Chroma 的学习曲线是最平缓的。核心 API 只有 4 个函数,README 中的示例代码复制到本地,5 分钟就能跑通第一个语义搜索。对于想快速验证 RAG 想法的开发者,这非常重要。

    第二,开源 + 零依赖启动。Chroma 采用 Apache 2.0 开源协议,可以免费用于商业项目。内存模式不需要安装任何外部依赖(不需要 Docker、不需要单独装数据库),pip install chromadb 之后直接就能用,对个人开发者和小型团队极其友好。

    第三,生产路径清晰。很多”易上手”的工具到了生产环境就掉链子,但 Chroma 提供了完整的升级路径:开发阶段用内存模式快速迭代 → 部署时用持久化模式 → 规模化后用 Chroma Cloud 或自托管 HTTP 服务。这个路径非常平滑,不需要重写代码。

    什么场景不适合 Chroma?如果你需要百亿级向量规模(如千万级文档),Chroma 目前的能力可能不如专用的分布式向量数据库(如 Milvus)。但对于99% 的 AI 应用开发者(百万级向量以下),Chroma 的性能和易用性是最优平衡。

    📥 下载地址

    🌐 官方网站
    trychroma.com

    🐙 GitHub 仓库
    github.com/chroma-core/chroma
    (28.2K+ Stars)

    📦 PyPI 安装
    pip install chromadb

    📦 npm 安装
    npm install chromadb

    ☁️ Chroma Cloud
    cloud.trychroma.com
    (注册送 $5 免费额度)

    📌 本文由 WorkBuddy AI 自动采集撰写,阅读原文请访问 GitHub 仓库。

  • Qdrant:31.6K Stars!高性能向量数据库,让AI语义检索快如闪电

    Qdrant 向量数据库

    🚀 项目简介

    Qdrant 是一款用 Rust 编写的高性能开源向量数据库和向量搜索引擎,专为 AI 时代的语义检索、RAG(检索增强生成)和推荐系统而生。它在 GitHub 上已获得 31.6K+ Stars,被 TripAdvisor、HubSpot、Canva 等知名企业用于生产环境。

    不同于传统的关键词搜索,Qdrant 通过向量嵌入(Embedding)理解数据语义,让 AI 应用能够「读懂」用户意图,实现真正的智能检索。

    ⚙️ 安装要求和过程

    环境要求

    • 🖥️ 最低配置:2核CPU、4GB RAM(用于开发测试)
    • 🚀 生产推荐:4核+、16GB+ RAM、SSD存储(处理亿级向量)
    • 🐳 依赖:Docker(推荐)、或直接在 Linux/macOS 上运行二进制文件
    • 📦 客户端支持:Python、JavaScript/TypeScript、Go、Rust、Java 等主流语言

    快速安装(Docker 方式)

    # 拉取最新镜像并启动
    docker run -p 6333:6333 \
      -v $(pwd)/qdrant_storage:/qdrant/storage \
      qdrant/qdrant
    
    # 验证运行状态
    curl http://localhost:6333/health
    
    # Python 客户端安装
    pip install qdrant-client
    
    # Node.js 客户端安装
    npm install @qdrant/js-client-rest

    快速开始(Python)

    from qdrant_client import QdrantClient, models
    
    # 连接本地 Qdrant
    client = QdrantClient("localhost", port=6333)
    
    # 创建集合
    client.create_collection(
        collection_name="my_documents",
        vectors_config=models.VectorParams(
            size=384,
            distance=models.Distance.COSINE
        )
    )
    
    # 插入向量数据
    client.upsert(
        collection_name="my_documents",
        points=models.Batch(
            ids=[1, 2, 3],
            vectors=[[0.1, 0.2, ...], ...],
            payloads=[{"text": "AI 简介"}, ...]
        )
    )
    
    # 语义搜索
    results = client.search(
        collection_name="my_documents",
        query_vector=[0.15, 0.25, ...],
        limit=5
    )
    print(results)

    ✨ 核心功能

    🔍 1. 混合检索(Hybrid Search)

    原生支持 Dense(稠密)+ Sparse(稀疏)向量混合检索,兼容 BM25、SPLADE++、miniCOIL 等算法。既可以理解语义,又能精准匹配关键词,大幅提升召回率和相关性。

    ⚡ 2. 极致性能与量化

    基于 Rust 构建,内置 SIMD 优化和自研存储引擎 Gridstore。支持标量量化、二进制量化,最高可降低 64 倍内存占用,同时保持检索质量。可轻松存储数十亿级向量,延迟稳定在毫秒级。

    🔧 3. 实时索引与过滤

    新数据写入后可 立即被检索,无需全量重建索引。过滤逻辑在 HNSW 遍历过程中执行(单阶段过滤),无需前置/后置过滤,复杂条件下仍可保持高召回和低延迟。

    🚀 4. 企业级能力与云原生

    支持多租户、细粒度 RBAC 权限控制、私有网络、零停机升级、备份与时间点恢复。Qdrant Cloud 支持 AWS、GCP、Azure,自动扩缩容。已通过 SOC2、HIPAA 合规认证,符合 GDPR 标准。

    📡️ 5. 多模态与 SDK 生态

    单个对象可关联 多个向量,支持文本、图像、音频等多模态检索。提供 Python、JavaScript、Go、Rust、Java 等官方 SDK,内置 Web UI 可视化管理。

    🎯 典型使用场景

    📚 场景一:RAG(检索增强生成)—— 让 AI 回答有依据

    将企业知识库、技术文档、客服历史等数据向量化后存入 Qdrant,当用户提问时,先检索最相关的上下文,再送给 LLM 生成回答。相比直接让 AI 回答,RAG 能大幅减少幻觉,让回答有据可查。

    💡 实战案例:某 SaaS 企业将 10 万篇技术文档存入 Qdrant(768 维向量),结合 GPT-4o 实现精准问答,客户支持效率提升 3 倍,答案准确率从 62% 提升至 94%。

    🛒 场景二:推荐系统 —— 理解用户真正想要什么

    将商品、内容、用户行为都转化为向量,通过相似度匹配实现个性化推荐。Qdrant 的实时索引能力让新上架商品可被立即推荐,混合检索则兼顾了语义理解和精准匹配。

    💡 实战案例:某电商平台使用 Qdrant 替换原有推荐引擎,向量检索延迟降低 90%,吞吐量提升 150%,同时营收增长 2-3 倍。

    🔍 场景三:语义搜索 —— 突破关键词限制的智能检索

    传统搜索只能匹配关键词,而 Qdrant 的语义搜索能理解查询意图。用户搜索「如何训练大模型」,即使文档里没有这句话,而是写着「LLM 微调入门指南」,也能被准确召回。

    💝 推荐理由

    如果你正在构建 AI 应用,Qdrant 几乎是向量数据库的首选方案。我推荐它的理由很简单:

    • 🦀 Rust 带来的性能信心 —— 内存安全、无 GC 停顿、SIMD 优化,生产环境稳如磐石
    • 🌐 部署灵活 —— 本地 Docker、自建集群、全托管云服务,三种方式任意切换
    • 🔗 与 AI 生态无缝集成 —— LangChain、LlamaIndex、Haystack 等框架均有 Qdrant 适配器
    • 📈 经过生产验证 —— TripAdvisor、HubSpot、德意志电信、Canva 等企业在用,300+ 版本迭代,2.5 亿次下载
    • 💰 开源免费 —— Apache 2.0 协议,自托管完全免费,只有使用云服务才收费

    如果你用过 Pinecone 但觉得太贵,或者用过 Milvus 但觉得太重,Qdrant 会是一个「刚刚好」的选择。

    📥 下载地址


    📌 第43期 · GitHub热门AI开源项目系列 · 让AI开发不再成为瓶颈

  • Supabase:103k Stars!开源Firebase替代品,AI应用的数据底座首选

    Supabase:103k Stars!开源Firebase替代品,AI应用的数据底座首选

    Supabase - The Open Source Firebase Alternative

    Supabase – 开源 Firebase 替代品

    🚀 一句话介绍:Supabase 是基于 PostgreSQL 的开源 Firebase 替代品,提供数据库、认证、实时订阅、边缘函数、文件存储等全套后端能力,让开发者无需写后端代码即可构建完整的 Web/Mobile/AI 应用。


    ⚙️
    安装要求与过程

    环境要求

    • Docker Desktop(本地开发必备)
    • Node.js 18+(前端集成)
    • Git(获取源码)
    • 支持 macOS / Windows(WSL2) / Linux

    🚀 快速安装(3种方式)

    # 方式一:使用官方 CLI(推荐)
    npm install -g supabase
    supabase init
    supabase start
    
    # 方式二:Docker 直接运行
    docker run -p 8000:8000 supabase/supabase
    
    # 方式三:直接使用云端(零安装)
    注册即用的托管平台 → https://supabase.com/dashboard

    ✅ 本地启动后访问 http://localhost:54323 即可打开控制台



    核心功能

    🗄️

    托管 PostgreSQL 数据库

    完整 PostgreSQL 实例,支持扩展、备份、SSL 加密,直接提供生产级数据库服务。

    🔐

    身份认证与授权

    基于 JWT 的完整认证体系,支持邮箱/密码、魔法链接、OAuth(GitHub/Google/Apple 等)。

    自动生成 API

    零配置自动生成 REST API(PostgREST)和 GraphQL API,实时订阅数据库变更(Realtime)。

    🤖

    AI 向量存储

    内置 pgvector 扩展,支持向量嵌入存储与语义搜索,是构建 RAG 应用和 AI 知识库的理想数据底座。

    边缘函数

    基于 Deno 的全球边缘函数,支持 TypeScript,超低延迟执行后端逻辑,就近部署。


    💡
    典型使用场景

    场景一:AI 应用的数据底座

    利用 Supabase 内置的 pgvector 扩展存储向量嵌入,配合 Supabase 客户端库实现语义搜索。适合构建 RAG 应用、AI 聊天机器人的知识库、文档问答系统等。与 OpenAI / Anthropic API 无缝集成,是 AI 全栈开发的首选后端。

    场景二:SaaS 应用快速启动

    一个命令 supabase init 即可获得全套后端:数据库 + 认证 + API + 文件存储 + 实时订阅。不需要雇用后端团队,不需要配置服务器,专注于前端业务逻辑即可。大量 indie hackers 和创业团队用它在一周内完成 MVP 上线。

    场景三:实时协作应用

    Supabase Realtime 引擎基于 PostgreSQL 的逻辑复制,可监听数据库每行数据的 INSERT/UPDATE/DELETE 变更,并实时推送到前端。适合构建多人协作工具(如 Notion 类应用)、实时聊天、在线白板等场景。


    ❤️
    推荐理由

    作为一名 AI 开发者,我选择 Supabase 最核心的原因是:它把 PostgreSQL 的强大数据能力与 AI 应用的需求完美结合了。内置的 pgvector 扩展让我不需要额外维护一套向量数据库,所有用户数据、向量嵌入、文件存储都在一个平台搞定。

    对比使用传统的”PostgreSQL + 独立向量数据库 + 独立 Auth 服务”的组合,Supabase 帮我省掉了大量运维成本。开源 + 自托管的特性也意味着数据完全掌握在自己手里,对于有数据安全要求的企业场景尤为重要。

    目前 Supabase 在 GitHub 上已经突破 10 万 Stars,社区活跃度极高,几乎每周都有新功能和改进上线。如果你正在做 AI 应用、SaaS 产品或者任何需要后端的项目,强烈建议试试!


    🔗
    下载地址

    💡 小贴士

    Supabase 提供 免费套餐(500MB 数据库、1GB 文件存储、50K 月活用户),个人项目完全够用!付费方案从 $25/月 起。