标签：自托管

Open WebUI：自托管、可离线运行的 AI 聊天与智能体平台
项目简介

Open WebUI 是一个功能丰富、可完全离线运行的自托管 AI 平台，支持 Ollama 本地模型与 OpenAI 兼容 API，内置 RAG 检索增强、多模型对话、语音/视频通话、智能体与插件生态，是把任意大模型变成”私有 ChatGPT”的一站式前端。（GitHub ⭐ 145K+，Python，Open WebUI License）

安装要求和过程

环境要求：Python 3.11（pip 方式）；或 Docker 20.10+（容器方式）；可搭配 Ollama 本地推理，或任意 OpenAI 兼容 API Key。

方式一 · pip 安装（最简）：
```
pip install open-webui
open-webui serve   # 访问 http://localhost:8080
```
方式二 · Docker 一条命令（自带 Ollama，CPU）：
```
docker run -d -p 3000:8080   -v ollama:/root/.ollama -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama
```
方式三 · 仅用 OpenAI API：
```
docker run -d -p 3000:8080   -e OPENAI_API_KEY=your_secret_key   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:main
```
部署后访问 http://localhost:3000 即可使用；也支持 Docker Compose、Kubernetes（Helm/Kustomize）与 uv 安装。

核心功能
- 广泛的模型与 API 接入：本地 Ollama + 任意 OpenAI 兼容后端（LM Studio、Groq、OpenRouter、vLLM、Mistral 等），支持多模型并行对话、各取所长。
- 本地 RAG 知识库：支持 9 种向量数据库与多种文档解析引擎（Tika、Docling、Mistral OCR 等），混合检索（BM25+向量）+ 重排，用 # 命令把文档/网页直接拉进对话。
- 智能体与插件生态：Filters / Actions / Pipes / Tools / Skills 插件机制，可接 MCP、OpenAPI 工具服务器，把任意基础模型包装成专属 Agent。
- 语音/视频通话与多模态：本地 Whisper 等 STT + 多种 TTS 引擎，内置 DALL·E / Gemini / ComfyUI 图像生成与编辑，支持网页浏览与联网搜索。
- 企业级管理与安全：细粒度 RBAC 与用户组、LDAP / SSO / SCIM 自动配置、PostgreSQL 持久化、横向扩展与 OpenTelemetry 可观测性。
典型使用场景
- 个人本地 AI 助手：用 Ollama 在笔记本上跑 Llama / Mistral，全程离线、数据不出本机，配合 RAG 问答私人文档。
- 团队自托管 AI 中台：公司内部署，接入 OpenAI 或自建 vLLM，统一账号、权限与用量审计，替代公网 SaaS，守住数据隐私。
- 知识库问答与自动化：把 Confluence / Notion / 本地文件建索引，用智能体 + 定时自动化做日报生成、资料检索与多模型 A/B 评估。
推荐理由

我把 Open WebUI 当作”私有 ChatGPT 的标杆”。它最打动我的是真正的离线优先与自托管能力——所有聊天与文档数据都留在自己的机器或服务器，不依赖任何云。RAG 开箱即用，多模型对比、语音通话、插件生态一应俱全，Docker 一条命令就能跑起来，对不想把对话记录交给第三方的用户极其友好。社区极其活跃、更新频繁，是个人和中小团队落地 AI 的最低门槛选择。

下载地址
- 官网 / 文档：openwebui.com ｜ docs.openwebui.com
- GitHub 仓库：github.com/open-webui/open-webui（⭐ 145K+）
- 在线 Demo：demo.openwebui.com
2026年7月15日
Dify：开源 LLM 应用开发平台，148K Stars 把 AI 工作流从原型秒送生产
在 AI 应用落地的草莽时代，几乎每个团队都在重复造轮子：接模型要写一遍适配、做检索要搭一套向量库、上生产还要自己补日志和监控。把这套东西拼起来，往往比业务本身还费劲。Dify 的出现，就是要把这件事彻底标准化。

一、项目简介

Dify 是一个开源的 LLM 应用开发平台，用一张可视化画布把 AI 工作流、RAG 检索增强、Agent 能力、模型管理与可观测性打包在一起，让你从原型到生产只差一次部署。目前 GitHub 已收获 148.4K Stars、23K+ Fork，是开源 LLM 应用开发领域当之无愧的头部项目。

二、安装要求和过程

环境要求：
- CPU ≥ 2 核
- 内存（RAM）≥ 4 GiB
- 已安装 Docker 与 Docker Compose
- 操作系统：Linux / macOS / Windows（WSL2）
快速安装（Docker Compose，官方最推荐方式）：
```
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d
```
启动完成后，浏览器访问 http://localhost/install 即可进入初始化向导。如果你需要高可用部署，官方文档还提供了 Helm Chart、Terraform（Azure / GCP）、AWS CDK 以及阿里云计算巢等多种方案。

三、核心功能

1. 可视化工作流画布（Workflow）
在画布上拖拽编排 AI 流程，节点可调试、可分支、可回放，复杂逻辑一目了然。

2. 全面的模型支持
无缝接入数百个闭源 / 开源大模型（GPT、Mistral、Llama3 及所有 OpenAI 兼容模型），覆盖几十家推理服务商与自托管方案，切换模型无需改代码。

3. 开箱即用的 RAG 管线
从文档摄入到检索全链路覆盖，原生支持 PDF、PPT 等常见格式的智能提取，几步就能搭出带引用来源的问答助手。

4. 强大的 Agent 能力
基于 Function Calling 或 ReAct 定义智能体，内置 50+ 工具（Google 搜索、DALL·E、Stable Diffusion、WolframAlpha 等），也可接入自定义工具。

5. LLMOps 与 Backend-as-a-Service
应用日志与性能可监控、可迭代；所有能力均提供对应 API，轻松把 AI 能力嵌入自有业务系统。

四、典型使用场景

1. 企业知识库问答 / 智能客服
导入内部文档构建 RAG，几步搭出带引用来源、可溯源的客服助手，替代翻手册式的重复答疑。

2. 可视化 Agent 工作流自动化
把“检索 → 生成 → 调用工具 → 校验”串成一张画布，用可视化的方式替代脆弱的脚本编排。

3. 快速原型 + API 集成
先用 Dify 低成本验证想法，再通过 BaaS API 把打磨好的 AI 能力无缝嵌入现有产品。

五、推荐理由

个人使用下来，Dify 最打动我的是“把复杂度收敛到一个画布上”。它不要求你先成为向量数据库专家或 Prompt 工程师，普通开发者也能在半小时内跑通一个带 RAG 的可用应用；而当项目要上生产时，LLMOps 的日志、评估与 API 化能力又刚好补上团队最缺的那一环。对于想认真做 AI 产品的团队，它是目前最省心的一站式底座——既能自建私有化守住数据，也能平滑对接云端大模型。

六、下载地址
- 官网：https://dify.ai
- GitHub：https://github.com/langgenius/dify
- 官方文档：https://docs.dify.ai
- 自托管指南：install-self-hosted
许可证：Dify Open Source License（基于 Apache 2.0，附加部分条款）。本文数据截至 2026-07-11，Stars 约 148.4K。
2026年7月11日
CubeSandbox：给 AI Agent 的 60ms 硬件级安全沙箱，腾讯云开源（8.9K Stars）
📌 项目简介

CubeSandbox 是腾讯云开源的、面向 AI Agent 的即时、并发、安全、轻量沙箱服务。它基于自研的 RustVMM + KVM 微虚拟机（MicroVM）构建，主打「硬件级隔离」——每个沙箱都跑在独立的 Guest OS 内核里，从根上杜绝了 Docker 共享内核的逃逸风险。平均冷启动 <60ms、单实例内存开销 <5MB，可以放心拿它来跑 LLM 生成的不受信任代码、Agent 自动执行等高风险任务。

🛠 安装要求与过程

环境要求：
- x86_64 Linux 服务器（推荐 OpenCloudOS 9，Ubuntu / Debian / CentOS 同样支持）
- ≥ 4 核 CPU、≥ 8 GB 内存，建议挂载独立数据盘给 /data/cubelet
- 需要 KVM 支持（云服务器若无 /dev/kvm，可开启腾讯云 PVM 嵌套虚拟化）
- v0.5.0 起原生支持 ARM64 全栈
一键安装：
```
# 标准安装（需 /dev/kvm）
curl -sL https://github.com/tencentcloud/CubeSandbox/raw/master/deploy/one-click/online-install.sh | bash

# 云服务器无嵌套虚拟化时，开启 PVM 安装
curl -sL https://github.com/tencentcloud/CubeSandbox/raw/master/deploy/one-click/online-install.sh   | CUBE_PVM_ENABLE=1 bash

# 国内加速镜像
curl -sL https://cnb.cool/CubeSandbox/CubeSandbox/-/git/raw/master/deploy/one-click/online-install.sh   | CUBE_PVM_ENABLE=1 MIRROR=cn bash
```
安装完成后打开 Web 控制台：http://<控制节点IP>:12088，三步即可上手：查看 Overview → 从 Template Store 准备模板 → 创建沙箱（Sandboxes → + New sandbox）。

如果只想在本地 Python 里玩，也可以 pip install cubesandbox 拉起组件做开发联调。

⚡ 核心功能
- 亚 60ms 冷启动 + 高密度：单实例开销 <5MB，支持空闲自动挂起/唤醒（AutoPause/AutoResume），单机可并发跑成百上千个沙箱。
- 硬件级隔离：每个实例独立 Guest OS 内核，基于 KVM MicroVM + eBPF 虚拟交换机（CubeVS）做内核级网络隔离，不存在容器共享内核的逃逸面。
- 无缝兼容 E2B SDK：原生兼容 E2B 协议，业务代码零改动——只把 E2B_API_URL / E2B_API_KEY 指向你自己的 CubeSandbox 即可迁移。
- 企业级安全：凭据保险库（密钥不进沙箱/上下文/日志）、出口控制（域名白名单 + 未授权出口即时阻断 + 审计日志）。
- 快照·克隆·回滚：基于 CubeCoW 写时复制引擎，百毫秒级打检查点，可回滚或开分支，Agent 试错零成本。
🎯 典型使用场景

1. 跑 LLM/Agent 生成的不受信任代码

把模型吐出来的 Python/Shell 丢进沙箱执行，硬件隔离 + 出口白名单保证即使代码作恶也伤不到宿主。E2B 兼容意味着你现在的 Code Interpreter 代码直接换环境变量就能用：
```
export E2B_API_URL=http://<你的控制节点IP>:12088
export E2B_API_KEY=<你的API Key>

from e2b_code_interpreter import Sandbox
sandbox = Sandbox()
execution = sandbox.run_code("x = 1 + 1; print('result =', x)")
print(execution.logs.stdout)   # result = 2
```
2. 浏览器自动化 / 数据抓取 Agent

给爬虫、RPA、AI 操作员一人一个干净隔离的浏览器环境，跑完即销毁，避免指纹污染和横向污染。配合 Template Store 预置好带登录态的镜像，开箱即用。

3. 强化学习 / SWE-Bench 类大规模评测

官方用 CubeSandbox 做 SWE-Bench RL 训练，上千个独立环境并发创建、秒级回收，单节点高密度把评测成本打下来。

💡 推荐理由

这两年「让 Agent 自己写代码自己跑」成了标配，但把模型生成的代码直接丢宿主机执行，等于把大门钥匙交给一个偶尔会发疯的实习生。CubeSandbox 的价值就在于：它把「隔离」这件事做到了又快又便宜又省心——60ms 启动让你几乎感觉不到沙箱的存在，<5MB 开销让并发成本可控，而 E2B 兼容意味着你不用重写一行业务代码就能把云端沙箱换成自建的、数据不出域的版本。

对国内团队尤其友好：有 CN 镜像、有 PVM 解决云厂商嵌套虚拟化痛点、有中文文档和微信社群。想自建一套「AI 代码执行底座」，CubeSandbox 是目前最省事的开源选择之一。

📥 下载地址
- 项目官网：https://cubesandbox.com
- GitHub 仓库：https://github.com/TencentCloud/CubeSandbox
- 一键安装脚本：deploy/one-click/online-install.sh
- PyPI：pip install cubesandbox
许可：Apache-2.0（仓库主协议，部分组件为其他开源协议）。当前 Star 数约 8.9K，仍在快速增长中。
2026年7月9日
llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎
llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

📝 项目简介

llama.cpp 是一个用纯 C/C++ 实现、零外部依赖的大语言模型（LLM）推理引擎。它让你无需 Python 环境、无需昂贵显卡，就能在笔记本、树莓派甚至手机上高性能地运行 LLaMA、Qwen、Gemma、Mistral 等主流开源模型——可以说，它是当下几乎所有「本地跑大模型」工具的底层基石。

🌐 官网：https://llama.app

📦 GitHub：https://github.com/ggml-org/llama.cpp

⭐ Stars：119.5K+

📄 开源协议：MIT License

💻 主要语言：C / C++

💻 安装要求和过程

环境要求
- C/C++ 编译器：GCC / Clang / MSVC，支持 C++11 及以上
- CMake 3.8+：从源码构建时需要
- 可选 GPU 后端：CUDA（NVIDIA）、ROCm（AMD）、Metal（Apple Silicon）、Vulkan、SYCL 等，用于硬件加速
- 可选 Python 3：仅用于模型格式转换脚本 convert_*.py
- 支持平台：macOS / Linux / Windows，以及 iOS、Android、浏览器（WASM）等
快速安装步骤

方式一：包管理器一键安装（推荐新手）
```
# macOS
brew install llama.cpp

# Windows
winget install llama.cpp

# Conda
conda install -c conda-forge llama-cpp
```
方式二：Docker 运行（自带 API 服务）
```
docker run -p 8080:8080 -v ./models:/models \
  ghcr.io/ggml-org/llama.cpp:server -m /models/your_model.gguf
```
方式三：从源码构建
```
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release
```
快速开始：下载并运行一个模型
```
# 命令行对话（自动从 Hugging Face 拉取 GGUF 模型）
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动 OpenAI 兼容的 API 服务（含简易 WebUI）
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080
```
✨ 核心功能

1. 🪶 纯 C/C++ 零依赖，极致轻量

不依赖 PyTorch、不依赖 Python 运行时，编译出一个二进制文件即可运行。极小的体积和无依赖特性，让它可以被移植到几乎所有计算设备——这正是它能跑在树莓派和手机上的根本原因。

2. ⚡ 全平台硬件加速与混合推理

针对 Apple Silicon（Metal / ARM NEON）、x86（AVX2 / AVX-512 / AMX）、RISC-V 等架构做了深度优化；支持 NVIDIA（CUDA）、AMD（ROCm）、摩尔线程（MUSA）、Vulkan、SYCL、OpenCL 等多种后端。CPU+GPU 混合推理甚至能运行超过显存容量的超大模型。

3. 🗜️ GGUF 格式与 1.5~8 bit 量化

模型统一封装为 GGUF 格式，并支持从 1.5-bit 到 8-bit 的整数量化。量化后显存与内存占用大幅下降，让消费级显卡甚至纯 CPU 也能流畅运行 70B 级别的大模型。

4. 🔌 OpenAI 兼容 API 服务

llama-server 提供与 OpenAI 完全兼容的 /v1 接口，并自带简易 WebUI。你现有的基于 OpenAI SDK 的应用几乎零改动就能切换到本地模型，彻底摆脱对云服务的依赖。

5. 🧰 丰富的推理工具链

内置 llama-bench（性能基准测试）、llama-perplexity（困惑度评估）、llama-quantize（模型量化）以及基于 GBNF 语法的约束解码（强制输出 JSON / 特定格式），覆盖从评测到生产的完整链路。

🎯 典型使用场景

场景一：在笔记本 / 手机上本地聊天，隐私数据不出端

下载一个量化后的 Qwen 或 Gemma 模型，用 llama-cli 即可在断网环境下与 AI 对话。所有数据都在本地处理，特别适合处理合同、代码、笔记等敏感内容。

场景二：自建私有 OpenAI 兼容推理服务

在内网或离线环境中启动 llama-server，把本地模型包装成标准 API。前端应用、RAG 系统、Agent 框架（如 LangChain、Dify）都能直接对接，既保证数据合规，又省下云推理费用。
```
llama-server -m models/qwen2.5-7b-instruct-q4_k_m.gguf --port 8080
```
场景三：边缘设备与嵌入式部署

在树莓派、工控机、车载设备上编译运行 llama.cpp，为 IoT 场景提供离线语音助手、本地知识问答等能力。配合量化技术，几百 MB 内存即可驱动一个可用的小模型。

💡 推荐理由

作为一名经常折腾本地大模型的开发者，我对 llama.cpp 的感情可以用「基石」二字形容。在它出现之前，想本地跑一个开源模型意味着安装几十 GB 的 PyTorch 环境，且基本只能在高端显卡上跑；llama.cpp 用纯 C/C++ 把这件事拉到了「人人可玩」的门槛。

我的几点使用心得：
- 它是整个生态的地基：Ollama、LM Studio、Jan、Open WebUI 乃至无数上层应用，底层推理几乎都调用了 llama.cpp。理解它，就理解了「本地 AI」的半壁江山。
- 量化是性价比之王：7B 模型用 Q4_K_M 量化后体积不到 5GB，在普通笔记本上就能达到可用速度，是入门本地模型的最佳起点。
- OpenAI 兼容接口太省心：一条 llama-server 命令就把本地模型变成标准 API，让我能把线上项目无痛切换到离线环境做.demo或内网部署。
- 更新极快、社区极活跃：几乎每周都有新后端、新量化方法的合并，119K+ 的 Stars 背后是庞大而健康的贡献者群体。
如果你想真正搞懂「大模型是怎么在本地跑起来的」，llama.cpp 是 2026 年依旧最值得 clone 一份源码、逐行读一读的开源项目。

📥 下载地址

🌐 官方网站：https://llama.app

📦 GitHub 仓库：https://github.com/ggml-org/llama.cpp

📚 官方文档：github.com/ggml-org/llama.cpp/docs

🤗 GGUF 模型库：huggingface.co/ggml-org

🐳 Docker 镜像：ghcr.io/ggml-org/llama.cpp

📌 本文是《GitHub 热门 AI 开源项目》系列的第 95 期，每期介绍一个热门的 AI 开源项目。欢迎关注本栏目，获取更多优质开源项目介绍！
2026年7月7日
LocalAI：免费开源OpenAI替代方案，在本地硬件上运行全模态AI模型，47K+ Stars让AI彻底私有化
今天介绍一个让AI彻底私有化的开源神器——LocalAI。它被誉为”免费的开源OpenAI替代方案”，可以在任意硬件上运行各类AI模型（LLM、视觉、语音、图像、视频），无需GPU，数据完全本地化。

项目简介

LocalAI 是开源AI引擎，可作为OpenAI/Anthropic API的直接替代品。它采用”小核心+按需加载后端”的可组合架构，支持在消费级硬件上运行大语言模型、图像生成、语音识别、语音合成等各类AI模型，数据完全留在本地，无需云服务。

LocalAI – 免费开源AI引擎

安装要求和过程

环境要求
- 操作系统：macOS、Linux、Windows
- GPU：无需GPU！支持NVIDIA、AMD、Intel、Apple Silicon、Vulkan、纯CPU
- 内存：8GB+ RAM（运行小模型）；16GB+（运行中大模型）
- 存储：至少10GB可用空间（模型文件较大）
快速安装（Docker推荐）
```
# CPU环境（最常用）
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

# NVIDIA GPU环境（CUDA 12）
docker run -ti --name local-ai -p 8080:8080 --gpus all \
  localai/localai:latest-gpu-nvidia-cuda-12

# macOS（下载DMG直接安装）
# 从 GitHub Releases 下载 LocalAI.dmg
```
快速开始
```
# 启动LocalAI
docker run -p 8080:8080 -ti localai/localai:latest

# 在另一个终端，运行模型
local-ai run llama-3.2-1b-instruct:q4_k_m

# 启动交互式聊天
local-ai chat --model llama-3.2-1b-instruct:q4_k_m

# 从HuggingFace加载模型
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf

# 从Ollama仓库加载
local-ai run ollama://gemma:2b
```
核心功能
1. OpenAI API完全兼容：可作为OpenAI API的直接替代品，现有应用和库无需修改即可迁移。支持文本生成、嵌入、图像处理、语音识别、语音合成等全套API。
2. 无需GPU，消费级硬件即可运行：优化后的推理引擎（llama.cpp等）可在CPU上高效运行，无需昂贵GPU。支持Intel/AMD/Apple Silicon等各平台。
3. 支持全模态AI模型：不仅支持LLM，还支持图像生成（Stable Diffusion）、语音识别（Whisper）、语音合成（TTS）、音乐生成（MusicGen）、目标检测等，真正的”全模态AI引擎”。
4. 内置AI智能体：集成LocalAGI（自主智能体平台），支持工具调用、RAG、MCP协议、技能扩展。内置Agent Hub社区，可分享和下载智能体配置。
5. 企业级功能：支持多用户、API密钥认证、用户配额、基于角色的访问控制（RBAC）。支持分布式模式（通过PostgreSQL+NATS实现水平扩展），适合企业生产环境。
LocalAI 项目导览演示

典型使用场景
- 私有化AI助手部署：企业内部需要AI助手但担心数据泄露？LocalAI让你在内网部署完全私有的AI服务，支持OpenAI API兼容，现有应用无缝迁移。可用于代码辅助、文档问答、知识库检索等场景。
- 替代云API降低成本：OpenAI API按调用次数收费，长期使用成本高昂。LocalAI让你在本地硬件上运行开源模型，一次部署无限使用，特别适合高频调用场景（如客服机器人、内容生成流水线）。
推荐理由

LocalAI 是我见过的最完整的本地AI部署解决方案。与Ollama相比，LocalAI支持更多模态（图像、语音、视频）；与vLLM相比，LocalAI无需GPU且更易用；与text-generation-webui相比，LocalAI有完整的API兼容性和企业级功能。

我最喜欢的设计是“小核心+按需加载后端”的架构。核心只有很小的基础功能，每个后端（llama.cpp、vLLM、whisper.cpp、stable-diffusion等）都是独立的OCI镜像，仅在需要时才拉取。这意味着你不会安装任何用不到的组件，资源占用极小。

另外，MCP协议支持让LocalAI可以无缝对接各类AI智能体工具，而分布式模式则让它能够水平扩展，处理大规模并发请求。对于需要私有化部署AI服务的企业来说，LocalAI是目前最好的选择。

下载地址
- 官方网站：https://localai.io
- GitHub仓库：https://github.com/mudler/LocalAI（47.2K+ Stars）
- 模型库：https://models.localai.io
- 文档：https://localai.io
- Discord社区：加入讨论
许可协议：MIT License（完全开源，可自由使用、修改、分发）

支持后端：llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX、TensorRT等60+推理后端

如果你喜欢本地部署AI，LocalAI绝对值得一试。它让”私有化AI”变得简单可行，再也不用担心数据泄露和API费用了。
2026年6月29日
Weaviate：AI 开发者最爱的开源向量数据库，语义搜索与 RAG 的首选数据底座
📦 项目简介

Weaviate 是一款开源、云原生的向量数据库，同时存储对象和向量，支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成（RAG）和重排序功能整合到单个查询接口中，是构建 AI 应用的理想数据底座。

⚙️ 安装要求和过程

环境要求
- Docker 20.10+（推荐方式）
- 内存：最低 4GB RAM，生产环境建议 8GB+
- 客户端：Python 3.8+、Node.js 16+、Java 11+、Go 1.18+
快速安装（Docker 本地部署）

第一步：创建 docker-compose.yml：
```
services:
  weaviate:
    image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
    ports:
      - "8080:8080"
      - "50051:50051"
    environment:
      ENABLE_MODULES: text2vec-model2vec
      MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080
  text2vec-model2vec:
    image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
```
第二步：启动 & 安装客户端
```
docker compose up -d
pip install -U weaviate-client
```
也可使用 Weaviate Cloud 免费试用，或部署到 Kubernetes/AWS/GCP。

🚀 核心功能

⚡ 毫秒级十亿向量搜索

基于 Go 构建，HNSW 索引，十亿级向量语义搜索毫秒返回。

🔀 混合检索（向量+关键词+过滤）

单接口同时支持语义搜索、BM25 关键词搜索、图像搜索，内置 hybrid 查询自动融合分数。

🤖 内置 RAG & 重排序

无需额外工具，直接支持生成式搜索（RAG）和重排序，快速构建 Q&A、聊天机器人。

📈 生产级可扩展性

支持水平扩展、多租户隔离、副本、RBAC 权限控制，Kubernetes 原生编排。

💾 向量压缩 & TTL

内置标量/二进制/产品量化，大幅降低内存占用；支持对象 TTL 自动清理过期数据。

💡 典型使用场景

场景一：RAG 检索增强生成系统

将企业文档导入 Weaviate，结合 LLM 构建精准问答系统，大幅降低幻觉率。
```
import weaviate
from weaviate.classes.query import Filter

client = weaviate.connect_to_local()
results = client.collections.get("Document").query.near_text(
    query="如何申请退款？", limit=5,
    filters=Filter.by_property("category").equal("help")
)
for obj in results.objects:
    print(obj.properties["content"])
```
场景二：语义搜索 & 推荐引擎

电商/内容平台实现”理解意图”的搜索，支持多模态（文本+图像）检索。

📌 推荐理由
- 生态最完整：Python/JS/Java/Go/C# 五大官方 SDK
- AI Agent 集成：官方提供 Agent Skills，支持 Claude Code/Cursor
- 商业友好：BSD-3-Clause 许可，可自由修改和分发
- 云原生架构：存储计算分离，Kubernetes 原生，水平扩展无忧
📥 下载地址 & 相关链接
- 🌐 项目官网
- 🐙 GitHub 仓库（16.4K+ Stars）
- 📚 官方文档
- 🐳 Docker：cr.weaviate.io/semitechnologies/weaviate:latest
- ☁️ Weaviate Cloud（免费试用）
✝️ BSD 3-Clause License | Go | 2016年发布
2026年6月25日
Weaviate：AI 开发者最爱的开源向量数据库，语义搜索与 RAG 的首选数据底座
📦 项目简介

Weaviate 是一款开源、云原生的向量数据库，同时存储对象和向量，支持大规模语义搜索。它将向量相似度搜索、关键词过滤、检索增强生成（RAG）和重排序功能整合到单个查询接口中，是构建 AI 应用的理想数据底座。

Weaviate —— AI 开发者最爱的开源向量数据库

⚙️ 安装要求和过程

环境要求
- Docker 20.10+（推荐方式）
- 内存：最低 4GB RAM，生产环境建议 8GB+
- 存储：持久化卷（可选，用于数据持久化）
- 客户端：Python 3.8+、Node.js 16+、Java 11+、Go 1.18+ 可选
快速安装（Docker 本地部署）

第一步：创建 docker-compose.yml 配置文件：
```
services:
  weaviate:
    image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
    ports:
      - "8080:8080"
      - "50051:50051"
    environment:
      ENABLE_MODULES: text2vec-model2vec
      MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080

  # 轻量级嵌入模型，导入数据时会自动生成向量
  text2vec-model2vec:
    image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M
```
第二步：启动服务
```
docker compose up -d
```
第三步：安装 Python 客户端
```
pip install -U weaviate-client
```
也可以使用 Weaviate Cloud 托管服务（免费试用），或部署到 Kubernetes、AWS、GCP 等云平台。

🚀 核心功能

⚡ 毫秒级十亿向量搜索

基于 Go 构建，高负载下响应稳定。采用 HNSW（Hierarchical Navigable Small World）索引算法，支持 ANN 基准测试领先性能，十亿级向量复杂语义搜索毫秒级返回。

🔀 混合检索（向量 + 关键词 + 过滤）

单接口同时支持语义搜索、传统关键词（BM25）搜索、图像搜索，支持高级过滤，可灵活组合获得最优结果。内置 hybrid 查询类型，自动融合向量相似度与关键词相关性分数。

🤖 内置 RAG & 重排序

无需额外工具，直接支持生成式搜索（RAG）和重排序（Reranking）能力。可快速构建 Q&A 系统、聊天机器人、摘要工具。集成 Cohere、OpenAI、Voyage 等主流 Reranker 模型。

📈 生产级可扩展性

支持水平扩展、多租户隔离、副本、细粒度 RBAC 权限控制，适配从原型到大规模生产场景。存储计算分离架构，支持 Kubernetes 原生编排。

💾 低成本运维 & 向量压缩

内置向量压缩能力（标量量化、二进制量化、产品量化），通过向量量化、多向量编码降低内存占用，对搜索性能影响极小。支持对象 TTL 机制，按集合配置数据过期时间，自动清理过期数据。

💡 典型使用场景

场景一：RAG（检索增强生成）系统

将企业文档、知识库导入 Weaviate，结合 LLM 构建精准问答系统。Weaviate 负责语义检索召回相关段落，LLM 负责生成最终答案，大幅降低幻觉率。
```
import weaviate
from weaviate.classes.query import Filter

client = weaviate.connect_to_local()

# 语义搜索 + 元数据过滤
results = client.collections.get("Document").query.near_text(
    query="如何申请退款？",
    limit=5,
    filters=Filter.by_property("category").equal("help")
)
for obj in results.objects:
    print(obj.properties["content"])
```
场景二：语义搜索 & 推荐引擎

电商、内容平台可用 Weaviate 实现”理解意图”的搜索体验。用户输入自然语言查询，系统返回语义最匹配的商品或内容，而非简单的关键词匹配。

Weaviate 也支持多模态搜索（文本 + 图像），用户可用图片搜索相似商品，或用文本描述搜索相关图片。

📦 Python 快速上手
```
import weaviate
from weaviate.classes.config import Configure, DataType, Property

# 连接本地 Weaviate 服务
client = weaviate.connect_to_local()

# 创建集合（类似关系数据库的表）
client.collections.create(
    name="Article",
    properties=[Property(name="content", data_type=DataType.TEXT)],
    # 使用 Model2Vec 向量化器，导入时自动生成向量
    vector_config=Configure.Vectors.text2vec_model2vec(),
)

# 插入数据并自动生成向量
articles = client.collections.get("Article")
articles.data.insert_many([
    {"content": "Vector databases enable semantic search"},
    {"content": "Machine learning models generate embeddings"},
    {"content": "Weaviate supports hybrid search capabilities"},
])

# 执行语义搜索
results = articles.query.near_text(query="Search objects by meaning", limit=1)
print(results.objects[0].properties["content"])

client.close()
```
📌 推荐理由

Weaviate 是我推荐的向量数据库首选之一，尤其适合以下场景：
- 与已发布的同类项目对比：Qdrant（Rust，极致性能）、Milvus（分布式，大规模）、Chroma（轻量，快速上手）—— Weaviate 则胜在生态最完整和集成最丰富
- AI Agent 生态集成：Weaviate 积极拥抱 AI Agent 生态，官方提供 Agent Skills，支持 Claude Code、Cursor 等 AI 编码工具直接操作
- 多语言 SDK 覆盖最全：Python、JavaScript/TypeScript、Java、Go、C#/.NET 五大官方 SDK，社区还有 Rust、PHP、Ruby 等扩展
- BSD-3-Clause 许可：商业友好，可自由修改和分发，适合企业内嵌使用
如果你正在构建 RAG 系统、语义搜索功能，或任何需要”理解语义”的 AI 应用，Weaviate 值得作为向量数据库的第一选择进行评估。
📥 下载地址 & 相关链接
- 🌐 项目官网：https://weaviate.io
- 🐙 GitHub 仓库：https://github.com/weaviate/weaviate（16.4K+ Stars）
- 📚 官方文档：https://weaviate.io/developers/weaviate
- 🐳 Docker 镜像：cr.weaviate.io/semitechnologies/weaviate:latest
- ☁️ Weaviate Cloud：https://console.weaviate.cloud（免费试用）
- 💬 社区论坛：https://forum.weaviate.io
✝️ 开源协议：BSD 3-Clause License | 开发语言：Go | 2016年发布，持续维护至今
2026年6月25日
Milvus：高性能云原生向量数据库，为AI应用打造的神经记忆中枢（44.9K Stars）
Milvus：高性能云原生向量数据库，为AI应用打造的神经记忆中枢

44,934+ ⭐ · Go + C++ · Apache 2.0 · LF AI & Data 基金会托管

📌 项目简介

Milvus 是由 Zilliz 开发、LF AI & Data 基金会托管的开源向量数据库，专为 AI 应用的大规模非结构化数据检索而设计。底层使用 Go 和 C++ 编写，支持 CPU/GPU 硬件加速，可在十亿级向量规模下实现毫秒级检索延迟，是 RAG、推荐系统、多模态搜索等 AI 应用的首选向量存储引擎。最新稳定版：v2.5.13（2026年6月）。

44.9K

GitHub Stars

4,089

Forks

10亿+

向量规模

5种

SDK语言
⚙️ 安装要求和过程

💻 环境要求

CPU：4核以上（生产推荐16核+）

内存：16GB以上（十亿级向量推荐128GB+）

存储：SSD推荐，冷数据可归档至S3/GCS（成本降低10倍）

Docker：Standalone模式需Docker 19.03+（最简方式）

Kubernetes：分布式部署需K8s 1.20+

Python：3.8～3.12（pymilvus SDK支持）

🐳 快速安装（Docker Standalone，生产推荐）

# 下载 docker-compose.yml（含 etcd + MinIO 依赖） wget https://github.com/milvus-io/milvus/releases/download/v2.5.13/milvus-standalone-docker-compose.yml -O docker-compose.yml # 启动 Milvus docker compose up -d # 验证（看到三个容器均为 healthy 即成功） docker compose ps

🐍 Python SDK 安装（最常用）

# 标准安装（连接远程Milvus服务） pip install -U pymilvus # 包含 Milvus Lite（嵌入式，pip install即可运行，无需Docker） pip install "pymilvus[milvus-lite]" # 验证 python -c "from pymilvus import MilvusClient; print('Milvus OK')"

☁️ 零配置托管（Zilliz Cloud）

不想自建服务？试用 Zilliz Cloud，提供 Serverless（按量付费）、Dedicated（专属集群）、BYOC（自带云）三种模式，免费额度足够个人开发使用。与 AWS Bedrock、Azure OpenAI 深度集成。
✨ 核心功能

⚡ 十亿级高性能检索

存储计算分离架构，支持 HNSW / IVF / SCANN / DiskANN 等全部主流索引。GPU 加速兼容 NVIDIA CAGRA，十亿级向量下毫秒级延迟，QPS 可达数万次/秒。在官方性能基准中处于行业第一梯队。

🔀 混合检索（稠密+稀疏向量）

原生支持 BM25 全文检索和学习的稀疏嵌入（SPLADE、BGE-M3），同一集合可同时存储稠密和稀疏向量，自定义重排策略合并多路结果，RAG 召回率提升 30%+。这是 Milvus 相比其他向量数据库的显著优势。

🏢 企业级多租户与安全

支持数据库/集合/分区/分区键四级隔离，单集群可承载数百万租户。强制用户认证、TLS 加密、RBAC 细粒度权限控制，满足 SOC 2 合规要求。适合 SaaS 平台多客户场景。

💾 冷热存储分离

热数据存内存/SSD，冷数据自动归档至 S3/GCS，存储成本降低 10 倍。支持对象存储原生架构，无需额外 ETL 即可直接读取云存储中的向量数据。Collection 级别的 Fork（写时复制）功能，大幅提升实验迭代效率。

🌐 多语言 SDK + 丰富 AI 生态集成

官方 SDK 覆盖 Python（pymilvus）、Java、Go、Node.js、Restful API 五种语言。原生集成 LangChain、LlamaIndex、OpenAI、HuggingFace、AutoGPT 等主流 AI 框架，可作为 RAG 应用的即插即用向量存储。Attu 提供图形化管理界面，Prometheus/Grafana 支持监控告警。
🏗️ 架构设计

Milvus 采用存储与计算分离、无状态微服务的分布式架构，所有组件以容器化方式部署，可充分利用 Kubernetes 的调度和自愈能力。

┌───────────────────────────────────────────────┐ │ API Service Layer │ │ gRPC / REST / Python / Java / Go SDK │ └──────────────┬──────────────────────────────┘ │ ┌───────────────▼──────────────────────────────┐ │ Coordinator Service (元数据) │ │ Root Coord │ Query Coord │ Data Coord │ └────┬──────────┴─────────────┴──────────────┘ │ │ │ ▼ ▼ ▼ ┌──────────┐┌──────────┐ ┌──────────┐ │ Query ││ Data │ │ Index │ ← 可独立扩缩容 │ Node ││ Node │ │ Node │ │(读密集) ││(写密集) │ │(索引构建)│ └───┬──────┘└───┬──────┘ └───┬──────┘ │ │ │ ┌─────▼──────────▼────────────▼─────────┐ │ Object Storage (S3 / GCS / MinIO) │ │ + Hot Cache (内存 / SSD) │ └──────────────────────────────────────────┘

所有协调服务支持多副本部署，单节点故障秒级恢复。存储与计算解耦，可按业务特征独立调整查询/写入容量。
🎯 典型使用场景

场景一：RAG（检索增强生成）应用

将企业知识库文档向量化存入 Milvus，用户提问时检索最相关的 Top-K 片段，注入 LLM 上下文窗口，显著提升回答准确性并减少幻觉。混合检索（向量+全文）可进一步提升召回率。官方 RAG 教程 30分钟可跑通 Demo。

场景二：多模态语义搜索引擎

利用 CLIP 等多模态模型将图片、音频、视频转为向量存入 Milvus，实现”以文搜图”、”以图搜图”、”视频片段检索”等功能。支持动态字段存储原始元数据，检索结果可直接返回图片 URL 或视频时间戳。图像检索实战教程可直接参考。

场景三：实时推荐系统

将用户行为特征和物品特征向量化后存入 Milvus，通过近似最近邻搜索实时找相似用户或相似物品，实现个性化推荐。支持流式数据实时更新，新用户行为可在秒级反映到推荐结果中。官方电影推荐系统教程可直接参考。
💡 推荐理由

在向量数据库赛道中，Milvus 是最成熟、生产案例最多的开源选择之一。与 Chroma（轻量级，适合原型）和 Qdrant（Rust 性能优异）相比，Milvus 的独特优势在于：

云原生分布式架构：K8s 原生支持，可独立扩展查询/数据/索引节点，真正适合生产环境大规模部署（Chroma 无分布式，Qdrant 分布式为企业版功能）

混合检索能力：稠密+稀疏向量一体化，RAG 场景召回率显著优于单一向量检索（多数竞品仅支持稠密向量）

LF AI & Data 基金会托管：开源治理规范，Apache 2.0 永久开源，不会突然变更许可协议

Milvus Lite 零配置：pip install 即可运行嵌入式版本，本地开发、单元测试、CI/CD 均无需 Docker

如果你正在构建 RAG 应用或语义搜索功能，Milvus 值得作为向量存储的首选方案进行评估。根据官方性能基准，Milvus 在十亿级向量场景下的检索性能处于行业第一梯队。
📥 下载地址

🐙 GitHub 仓库

milvus-io/milvus · 44.9K ⭐

🌐 官方网站

milvus.io · 文档 + 在线 Demo

☁️ Zilliz Cloud

托管服务 · 免费额度 · Serverless

🐍 Python SDK

pymilvus · PyPI 安装 · Milvus Lite

📚 官方文档

安装 · 教程 · API 参考 · 性能基准



📦 发布版本

v2.5.13（最新稳定版）· 发布说明

LF AI & Data 基金会托管 · Apache 2.0 开源协议 · Zilliz 主导开发

最后更新：2026年6月25日 · 数据来源：GitHub API + milvus.io
2026年6月25日
deer-flow：ByteDance 开源超级智能体框架，74K+ Stars 让 AI 处理小时级复杂任务
2026年2月，ByteDance（科技公司）开源了其内部打磨多时的超级智能体框架 deer-flow 2.0，发布当天即登顶 GitHub Trending 榜首，目前已收获 74,000+ Stars。这不仅仅是一个”AI聊天机器人”，而是一个能够处理分钟级到小时级复杂任务的长周期智能体框架——从深度研究、代码编写，到内容创作、幻灯片制作，deer-flow 都能自主规划并执行。

🦌 项目简介

deer-flow（鹿流）是 ByteDance 开源的长周期超级智能体框架（Super Agent Harness），由初代 Deep Research 框架完全重构而来。它支持研究、编码、内容创作等复杂任务，通过沙箱隔离、持久化记忆、工具调用、子智能体协作等能力，处理从几分钟到数小时的各类任务。2.0 版本为完全重构版本，架构更清晰、扩展性更强。

deer-flow 2.0 – ByteDance 开源超级智能体框架

🛠 安装要求和过程

环境要求
- Python：3.12+（推荐使用 uv 管理依赖）
- Node.js：22+（前端界面需要）
- pnpm：前端包管理工具
- Docker：推荐部署方式（可选，用于沙箱隔离）
- 操作系统：macOS / Linux / Windows（WSL2）
快速安装（3分钟上手）
```
# 1. 克隆仓库
git clone https://github.com/bytedance/deer-flow.git
cd deer-flow

# 2. 运行交互式配置向导（2分钟完成，生成 config.yaml 和 .env）
make setup

# 3. 安装依赖（本地开发模式）
make install

# 4. 启动本地服务
make dev
# 访问地址：http://localhost:2026
```
配置向导会引导你设置 LLM 提供商（支持 OpenAI / DeepSeek / MiniMax / Qwen / 本地 vLLM 等）、网页搜索提供商（Tavily / Brave / Exa 等），无需手动编辑配置文件。配置完成后可随时运行 make doctor 验证配置是否正确。

Docker 部署（推荐生产环境）
```
# 开发模式（支持热重载）
make docker-init    # 仅首次或沙箱镜像更新时运行
make docker-start   # 启动服务

# 生产模式
make up             # 构建镜像并启动所有生产服务
make down            # 停止并删除容器
```
🎯 核心功能
- 🧠 子智能体调度：主智能体可按需创建子智能体，每个子智能体拥有独立上下文、工具和终止条件；子智能体支持并行执行，执行结果结构化返回，主智能体最终汇总输出。长任务可拆分为多个子步骤，支持分钟到小时级别的复杂任务处理。
- 📦 沙箱与文件系统隔离：每个任务拥有独立执行环境，支持文件读写、编辑、图像查看；支持多种沙箱模式：本地执行、Docker 隔离容器执行、Kubernetes Pod 执行。沙箱内文件路径 /mnt/user-data/ 下包含 uploads/（用户上传文件）、workspace/（智能体工作目录）、outputs/（最终交付物）。
- 🧩 技能与工具扩展：内置研究、报告生成、幻灯片制作、网页生成、图像/视频生成等开箱即用技能；支持自定义技能、MCP 服务器扩展、Python 函数自定义工具；技能按需加载，避免上下文窗口过度占用；支持通过 /skill-name 前缀手动激活单轮技能。
- 💾 长期记忆：跨会话持久化存储用户偏好、技术栈、常用工作流等信息；自动跳过重复记忆条目，避免记忆无限膨胀；记忆本地存储，用户完全可控。让智能体”记得”你之前的项目背景和编码习惯。
- 🔌 IM 渠道集成：支持接入 Telegram、Slack、飞书、企业微信、钉钉、微信等 IM 渠道，无需公网 IP 即可接收任务。在聊天工具中直接使用 /new、/status、/models、/memory 等命令管理对话和智能体。
- 📊 可观测性：内置 LangSmith、Langfuse 可观测性集成，支持全链路 LLM 调用、智能体运行、工具执行追踪。生产和调试时都能清晰了解智能体的决策过程。
💡 典型使用场景

场景一：深度研究报告自动生成

输入”研究 Transformer 架构的演进历程，输出一份 5000 字的技术报告，包含关键论文引用和架构对比图”，deer-flow 会自动规划研究步骤：搜索相关资料 → 阅读并提取关键信息 → 对比不同架构差异 → 生成结构化报告 → 输出为 PDF/Markdown。整个过程无需人工干预，耗时约 10-30 分钟。

场景二：代码项目从零搭建

输入”帮我搭建一个基于 FastAPI + Redis 的短链接服务，包含单元测试和 Docker 部署配置”，deer-flow 会创建子智能体分别处理：API 路由设计、Redis 缓存逻辑、测试用例编写、Dockerfile 生成。最终在 outputs/ 目录下产出完整项目代码，可直接运行。

场景三：内容创作与多语言本地化

deer-flow 内置内容创作技能，支持文章撰写、幻灯片制作、网页生成。结合 IM 渠道集成，可以将已有视频/文章自动翻译为多种语言并生成配音版本，实现内容的多语言分发。适合自媒体运营者和内容创作者使用。

🌟 推荐理由

deer-flow 2.0 是目前开源超级智能体框架中最接近”生产可用”的项目之一。与 LangChain、CrewAI 等框架相比，deer-flow 的最大特点是长周期任务处理能力——通过子智能体调度和上下文管理，它可以处理耗时数小时的复杂任务而不超出上下文窗口。这是很多同类框架做不到的。

几个让我印象深刻的细节：
上下文工程做得很到位：子智能体上下文隔离 + 自动摘要已完成子任务 + 中间结果卸载到文件系统，这套组合拳让长任务不 OOM。如果你用过其他框架处理长任务，就知道这个有多重要。
沙箱设计务实：支持本地 / Docker / K8s 三种沙箱模式，开发时可以用本地模式快速迭代，生产时切到 Docker 隔离。不用一上来就搞复杂的 K8s 部署。
ByteDance 背书：这不是个人业余项目，是 ByteDance 内部打磨后开源的框架，2.0 版本完全重构，代码质量和文档都相当不错。74K+ stars 和 GitHub Trending 第一也证明了社区认可度。
IM 渠道集成很实用：无需公网 IP 就能通过飞书/企微接收任务，对国内用户非常友好。想象一下在企业微信群里 @ 一下你的 AI 智能体，它就去后台帮你跑一个深度研究任务，完成后通知你——这个体验很丝滑。