YOHO AI

标签： Ollama

  • Open-WebUI：自托管AI平台，打造专属的ChatGPT体验

    在本地运行大语言模型（LLM）已经成为越来越多开发者和AI爱好者的选择。但Ollama等工具缺乏友好的Web界面，而Open-WebUI完美解决了这个问题——它提供了一个功能丰富、可自托管的AI交互平台，让你在本地也能享受媲美ChatGPT的使用体验。

    项目简介

    Open-WebUI 是一个可扩展、功能丰富、用户友好的自托管AI平台，支持完全离线运行。它兼容Ollama、OpenAI兼容API等多种LLM运行器，并内置RAG（检索增强生成）推理引擎。目前GitHub Stars已超过105,000+，是本地AI部署的首选界面方案。

    安装要求和过程

    环境要求

    • Python方式：需要 Python 3.11（避免使用其他版本以免兼容性问题）
    • Docker方式：需要安装Docker，建议使用GPU环境以获得更好性能
    • Ollama：如需本地运行模型，需提前安装Ollama
    • 存储空间：至少预留5GB空间用于模型和数据集

    快速安装步骤

    方式一：Python pip安装（最简单）

    # 安装项目
pip install open-webui

# 启动服务，访问地址：http://localhost:8080
open-webui serve

    方式二：Docker快速部署（推荐）

    # 基础部署（Ollama在本地）
docker run -d -p 3000:8080   --add-host=host.docker.internal:host-gateway   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:main

# 访问地址：http://localhost:3000

    方式三：一体化部署（包含Ollama）

    # 带GPU支持
docker run -d -p 3000:8080 --gpus=all   -v ollama:/root/.ollama   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama

# 仅CPU
docker run -d -p 3000:8080   -v ollama:/root/.ollama   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama

    核心功能

    • 多模型兼容：无缝集成Ollama、OpenAI API，支持对接LMStudio、GroqCloud、Mistral、OpenRouter等第三方服务，一个界面管理所有AI模型。
    • 本地RAG能力：内置检索增强生成引擎，支持9种向量数据库（ChromaDB、PGVector、Qdrant、Milvus等），可直接上传文档进行智能问答。
    • 多模态交互：支持语音/视频通话，集成多种语音转文本和文本转语音引擎；支持DALL-E、Gemini、ComfyUI等多种图像生成引擎。
    • 权限管理：细粒度用户角色与权限控制，支持LDAP/AD集成、SSO单点登录，适合团队和企业部署。
    • 插件扩展：支持Pipelines插件框架，可自定义业务逻辑（函数调用、用户限流、实时翻译、内容过滤等）。

    典型使用场景

    场景一：个人本地AI助手

    通过Docker一键部署Open-WebUI + Ollama，在本地运行Llama 3、Mistral等开源模型。所有数据完全离线，保障隐私安全；同时获得与ChatGPT媲美的Web交互体验，支持多轮对话、Markdown渲染、代码高亮等功能。

    场景二：团队协作AI平台

    利用Open-WebUI的权限管理和SSO集成能力，为企业团队搭建内部AI平台。通过RBAC控制不同用户的模型访问权限，对接企业内部知识库实现RAG问答，并监控API使用量和成本。

    场景三：AI应用开发测试

    开发者可使用Open-WebUI快速测试不同LLM模型的效果，通过模型构建器自定义提示词和角色，利用Python函数调用扩展自定义能力，加速AI应用的原型开发和测试验证。

    推荐理由

    Open-WebUI是我试用过的最优秀的本地LLM Web界面，没有之一。它的设计非常贴合实际使用场景：响应式界面适配各种设备，PWA支持让你可以像原生App一样使用，RAG功能让你可以轻松对接个人知识库。

    相比其他类似工具，Open-WebUI的最大优势在于完整性和成熟度：它不仅有精美的界面，还有完整的企业级功能（权限管理、SSO、监控等），同时支持广泛的模型和后端的灵活配置。无论你是个人用户还是企业团队，都能找到适合自己的部署方式。

    特别推荐它的RAG集成能力——上传文档后可以直接在对话中引用，支持多种向量数据库和搜索引擎，真正实现”个人AI知识库”的落地。如果你一直在寻找一个好用的本地LLM界面，Open-WebUI绝对值得一试。

    下载地址

    如果你觉得这个项目有帮助，欢迎到GitHub上点个Star支持开发者！

  • Ollama：170k Stars！本地LLM运行工具，让AI模型在本地飞速运行

    配图

    Ollama Logo
    Ollama – 本地LLM运行工具

    项目简介

    Ollama 是一个轻量级的本地大语言模型（LLM）运行工具，让你能够在自己的设备上轻松部署和运行各种开源大语言模型，无需将数据发送到外部服务器，完全保护隐私。

    截至2026年，Ollama 已在 GitHub 获得 17万+ Stars，成为最广泛使用的本地LLM运行时，Docker Hub下载量超过1亿次。

    安装要求和过程

    环境要求

    • 操作系统：Linux（Ubuntu 20.04+）、macOS 11+、Windows 10（需WSL2）
    • 内存：8GB以上（运行7B模型），16GB以上（运行13B模型），32GB以上（运行33B+模型）
    • 存储：至少10GB可用空间（用于存放模型文件）
    • GPU：可选，NVIDIA GPU（CUDA）、AMD GPU（ROCm）或苹果M系列芯片可加速推理

    快速安装步骤

    macOS/Linux 一键安装：

    # Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh

# macOS 也可用 Homebrew
brew install ollama

    Windows 安装：

    1. 访问 https://ollama.com/download 下载 Windows 安装包
    2. 运行 OllamaSetup.exe，按照提示完成安装
    3. 打开命令提示符或PowerShell，输入 ollama --version 验证安装

    Docker 安装（推荐服务器环境）：

    docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

    核心功能

    1. 一键运行本地模型：支持一键拉取和运行100+开源大语言模型，包括 Llama 3.3、Mistral、Qwen、Phi、DeepSeek R1 等热门模型。
    2. OpenAI API 兼容：原生提供兼容 OpenAI API 格式的 REST API（默认端口11434），可直接对接现有基于 OpenAI 生态开发的应用和工具。
    3. 智能硬件加速：自动适配 NVIDIA（CUDA）、AMD（ROCm）、苹果 M 系列芯片（Metal）的 GPU 加速，大幅提升推理速度。
    4. 模型自定义配置：支持通过 Modelfile 自定义模型参数（温度、上下文长度、系统提示词等），轻松创建专属模型。
    5. 多模态支持：最新版本支持视觉模型（如 Llama 3.2 Vision），可处理图像输入，实现图文混合推理。

    典型使用场景

    场景一：开发者本地 AI 应用开发

    作为开发者，你可以使用 Ollama 在本地运行 LLM，用于：

    • 开发和测试 AI 应用，无需支付 API 费用
    • 对接 Open-WebUI 等前端界面，搭建私有化 AI 聊天助手
    • 通过 API 集成到自己的应用中，实现本地智能推理

    示例：用 Ollama 运行 Llama 3.3 8B 模型，通过 OpenAI 兼容 API 为本地应用添加 AI 能力。

    场景二：企业私有化部署

    对于企业用户，Ollama 提供了：

    • 数据隐私保护：所有推理过程在本地完成，敏感数据无需上传云端
    • 零 API 成本：无需为每次 API 调用付费，适合高频调用场景
    • 离线可用：模型下载后，无需联网即可使用，适合内网环境

    推荐理由

    我个人从2025年开始使用 Ollama，它已经成为我本地 AI 开发的标配工具。推荐理由如下：

    1. 极简体验：一条命令就能安装，一条命令就能运行模型，对新手极其友好。
    2. 生态丰富：支持对接 Open-WebUI、Continue（VS Code 插件）、LangChain 等50+主流工具，可玩性极高。
    3. 性能优秀：支持 4-bit/8-bit 量化，即使在中端笔记本上也能流畅运行 7B 参数的模型。
    4. 活跃社区：GitHub 上40000+社区集成，几乎任何你能想到的工作流，都有人已经做好了集成方案。

    如果你想要一个简单、快速、隐私安全的本地 LLM 运行方案，Ollama 绝对是首选。

    下载地址

  • Ollama：172K Stars！本地运行大模型的最热门工具，让AI完全属于你自己

    Ollama：172K Stars！本地运行大模型的最热门工具，让AI完全属于你自己

    Ollama

    ## 📦 项目简介

    Ollama 让你在本地一键运行 Llama 3、Mistral、Gemma、DeepSeek 等大模型，无需任何云服务，数据完全留在你自己的机器上。

    ## 🛠️ 安装要求和过程

    Ollama 支持 macOS、Windows、Linux 三大平台，安装极其简单。

    🔧 环境要求

    • macOS 11+ / Windows 10+ / Linux（主流发行版）
    • 建议 8GB 以上内存（7B 模型最低要求）
    • 建议 50GB 以上磁盘空间（存放多个模型）

    ⚡ 快速安装（3步搞定）

    macOS:

    brew install ollama

    Linux / WSL2:

    curl -fsSL https://ollama.com/install.sh | sh

    Windows:

    从 ollama.com/download 下载安装包，双击安装即可。

    验证安装:

    ollama --version

    ## ⭐ 核心功能

    🚀

    一键运行大模型

    一行命令 ollama run llama3 即可启动对话，无需配置环境。

    🔌

    本地 REST API

    自带 HTTP API（默认 http://localhost:11434），轻松集成到任何应用。

    📦

    Modelfile 自定义

    类似 Dockerfile 的 Modelfile，可定制系统提示词、温度参数、模板等。

    🔄

    模型库丰富

    官方库支持 50+ 模型，包括 Llama、Mistral、Gemma、DeepSeek、Qwen 等。

    ⚡

    GPU 加速推理

    自动检测并利用 Metal（macOS）、CUDA（NVIDIA）、ROCm（AMD）进行硬件加速，推理速度飞快。

    ## 🎯 典型使用场景

    📚 场景一：本地知识问答

    你可以用 Ollama 在本地运行大模型，结合 RAGFlow 或 AnythingLLM，搭建完全本地的知识库问答系统。所有文档数据和对话历史都留在本地，特别适合处理敏感资料、法律文件、医疗记录等场景。

    # 拉取中文模型
ollama pull qwen2:7b
# 启动对话
ollama run qwen2:7b

    💻 场景二：AI 编程助手（本地版 Copilot）

    将 Ollama 接入 Continue、Cursor 或 VS Code，打造完全本地的 AI 编程助手。代码不需要发送到任何云端，隐私零泄露，适合企业内网开发环境。

    # 拉取代码专用模型
ollama pull codellama:7b
# 通过 API 调用
curl http://localhost:11434/v1/chat/completions   -H "Content-Type: application/json"   -d '{"model":"codellama:7b","messages":[...]}'

    📝 场景三：内容创作与文本处理

    Ollama 配合 Open WebUI，可以在本地搭建一个”私人 ChatGPT”，用于文案撰写、文本摘要、翻译、邮件回复等日常任务。响应速度快，支持多轮对话，且完全免费。

    ## 💡 推荐理由

    我用过不少本地大模型运行工具，Ollama 是目前最省心的一个。安装简单到不可思议 —— macOS 一个 brew 命令，Linux 一条 curl 管道，Windows 下载安装包双击，全程不超过 3 分钟。

    它最打动我的一点，是对 Apple Silicon 的优化极其出色。在 M 系列芯片的 Mac 上，Ollama 能充分利用 Metal GPU 加速，7B 模型推理速度可以达到 40+ tokens/s，日常对话毫无压力。

    另外，它的 REST API 设计得非常优雅，和 OpenAI 的 API 格式高度兼容，迁移成本几乎为零。如果你正在做 AI 应用开发，Ollama 绝对是本地调试和离线部署的首选方案。

    ⭐ 推荐指数：4.8/5.0
    易用性满分，模型丰富度高，API 兼容性好，隐私保护强。

    ## 📥 下载地址

    🌐

    官方网站

    下载安装包 / 文档

    访问官网 →

    🐙

    GitHub 仓库

    172K+ Stars · Go 语言

    查看源码 →

    📖

    官方文档

    API 参考 / Modelfile 指南

    阅读文档 →

    >

    本文由 WorkBuddy AI 自动采集撰写 · 开源项目第35期 · GitHub 172K+ Stars