标签: 私有化部署

  • Open WebUI:自托管、可离线运行的 AI 聊天与智能体平台

    Open WebUI:自托管、可离线运行的 AI 聊天与智能体平台

    Open WebUI 界面演示

    项目简介

    Open WebUI 是一个功能丰富、可完全离线运行的自托管 AI 平台,支持 Ollama 本地模型与 OpenAI 兼容 API,内置 RAG 检索增强、多模型对话、语音/视频通话、智能体与插件生态,是把任意大模型变成”私有 ChatGPT”的一站式前端。(GitHub ⭐ 145K+,Python,Open WebUI License)

    安装要求和过程

    环境要求:Python 3.11(pip 方式);或 Docker 20.10+(容器方式);可搭配 Ollama 本地推理,或任意 OpenAI 兼容 API Key。

    方式一 · pip 安装(最简):

    pip install open-webui
    open-webui serve   # 访问 http://localhost:8080

    方式二 · Docker 一条命令(自带 Ollama,CPU):

    docker run -d -p 3000:8080   -v ollama:/root/.ollama -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama

    方式三 · 仅用 OpenAI API:

    docker run -d -p 3000:8080   -e OPENAI_API_KEY=your_secret_key   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:main

    部署后访问 http://localhost:3000 即可使用;也支持 Docker Compose、Kubernetes(Helm/Kustomize)与 uv 安装。

    核心功能

    • 广泛的模型与 API 接入:本地 Ollama + 任意 OpenAI 兼容后端(LM Studio、Groq、OpenRouter、vLLM、Mistral 等),支持多模型并行对话、各取所长。
    • 本地 RAG 知识库:支持 9 种向量数据库与多种文档解析引擎(Tika、Docling、Mistral OCR 等),混合检索(BM25+向量)+ 重排,用 # 命令把文档/网页直接拉进对话。
    • 智能体与插件生态:Filters / Actions / Pipes / Tools / Skills 插件机制,可接 MCP、OpenAPI 工具服务器,把任意基础模型包装成专属 Agent。
    • 语音/视频通话与多模态:本地 Whisper 等 STT + 多种 TTS 引擎,内置 DALL·E / Gemini / ComfyUI 图像生成与编辑,支持网页浏览与联网搜索。
    • 企业级管理与安全:细粒度 RBAC 与用户组、LDAP / SSO / SCIM 自动配置、PostgreSQL 持久化、横向扩展与 OpenTelemetry 可观测性。

    典型使用场景

    • 个人本地 AI 助手:用 Ollama 在笔记本上跑 Llama / Mistral,全程离线、数据不出本机,配合 RAG 问答私人文档。
    • 团队自托管 AI 中台:公司内部署,接入 OpenAI 或自建 vLLM,统一账号、权限与用量审计,替代公网 SaaS,守住数据隐私。
    • 知识库问答与自动化:把 Confluence / Notion / 本地文件建索引,用智能体 + 定时自动化做日报生成、资料检索与多模型 A/B 评估。

    推荐理由

    我把 Open WebUI 当作”私有 ChatGPT 的标杆”。它最打动我的是真正的离线优先与自托管能力——所有聊天与文档数据都留在自己的机器或服务器,不依赖任何云。RAG 开箱即用,多模型对比、语音通话、插件生态一应俱全,Docker 一条命令就能跑起来,对不想把对话记录交给第三方的用户极其友好。社区极其活跃、更新频繁,是个人和中小团队落地 AI 的最低门槛选择。

    下载地址

  • 福布斯中国AI TOP 50出炉,企业级AI平台被单独标注了

    唯一一家”企业级AI平台”公司

    福布斯中国刚发布了2026年AI科技企业TOP 50榜单。和往年不太一样的是,今年的榜单里出现了一个有点特别的入选理由标注。

    中关村科金是榜单上唯一一家被标注为”企业级AI平台及应用公司”的企业。这个标注背后,其实藏着一个正在发生变化的市场信号。

    据IDC最新报告,中关村科金位列中国大模型平台私有化市场份额第四。2026年一季度,其在应用类大模型项目公开中标数排名前五,服务行业客户超3000家。

    私有化部署为什么成了独立赛道

    AI行业有一个变化已经进行了一段时间:从”我能做多大模型”到”我的大模型能在你的环境里跑起来吗”。

    私有化部署这个需求,在中国市场尤其突出。金融、政务这些行业,数据不能出域是硬要求。大模型再强,不能本地部署就免谈。这就是为什么”企业级AI平台”成了一个独立的赛道。

    中关村科金能上福布斯榜单,某种程度上说明这个赛道已经被主流视野注意到了。之前这块业务相对低调,做的主要是把大模型”装进”企业的私有环境里,让企业能用自己的数据跑自己的AI。

    同一时期的其他信号

    同一时期的AI行业快讯里,还有几个值得放在一起看的数据。

    • Meta计划全球裁员10%,但同时把7000名员工转到AI工作流相关的新项目——AI转型伴随着组织重构。
    • 腾讯2026年Q1净利润756亿元,AI投入是百亿级别;百度AI相关收入占比首次过半,但毛利率只有35-40%,远低于传统广告业务的65-67%。
    • 三大运营商齐发Token服务,支持话费账单支付——AI算力开始走向大众化消费。

    这些数据放在一起,一个轮廓开始清晰:AI的商业模式分化正在加速。做to C的可能还在烧钱,做to B的有些已经开始赚钱了。


    福布斯榜单的真正信号

    福布斯榜单的意义,往往不在于谁上榜了,而在于它折射出资本和市场的注意力在哪里。

    企业级AI平台这个赛道,在此之前相对低调。现在被福布斯拎出来单独标注,至少说明一件事:AI价值链里,不被看见的那部分,可能才是最值钱的那部分。

    大模型本身的竞赛已经白热化,但能把大模型”交付”到企业手里、还能跑得稳的这个中间层,反而是更稀缺的能力。这个能力需要的不只是技术,还有对金融、政务、汽车这些行业的理解。

    榜单里只有一家企业级AI平台公司,不代表这个赛道只有一家在跑。但它至少说明,资本开始认真看待这个方向了。