YOHO AI

标签： Ollama

  • Open WebUI：自托管、可离线运行的 AI 聊天与智能体平台

    Open WebUI：自托管、可离线运行的 AI 聊天与智能体平台

    Open WebUI 界面演示

    项目简介

    Open WebUI 是一个功能丰富、可完全离线运行的自托管 AI 平台，支持 Ollama 本地模型与 OpenAI 兼容 API，内置 RAG 检索增强、多模型对话、语音/视频通话、智能体与插件生态，是把任意大模型变成”私有 ChatGPT”的一站式前端。（GitHub ⭐ 145K+，Python，Open WebUI License）

    安装要求和过程

    环境要求：Python 3.11（pip 方式）；或 Docker 20.10+（容器方式）；可搭配 Ollama 本地推理，或任意 OpenAI 兼容 API Key。

    方式一 · pip 安装（最简）：

    pip install open-webui
open-webui serve   # 访问 http://localhost:8080

    方式二 · Docker 一条命令（自带 Ollama，CPU）：

    docker run -d -p 3000:8080   -v ollama:/root/.ollama -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama

    方式三 · 仅用 OpenAI API：

    docker run -d -p 3000:8080   -e OPENAI_API_KEY=your_secret_key   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:main

    部署后访问 http://localhost:3000 即可使用；也支持 Docker Compose、Kubernetes（Helm/Kustomize）与 uv 安装。

    核心功能

    • 广泛的模型与 API 接入：本地 Ollama + 任意 OpenAI 兼容后端（LM Studio、Groq、OpenRouter、vLLM、Mistral 等），支持多模型并行对话、各取所长。
    • 本地 RAG 知识库：支持 9 种向量数据库与多种文档解析引擎（Tika、Docling、Mistral OCR 等），混合检索（BM25+向量）+ 重排，用 # 命令把文档/网页直接拉进对话。
    • 智能体与插件生态：Filters / Actions / Pipes / Tools / Skills 插件机制，可接 MCP、OpenAPI 工具服务器，把任意基础模型包装成专属 Agent。
    • 语音/视频通话与多模态：本地 Whisper 等 STT + 多种 TTS 引擎，内置 DALL·E / Gemini / ComfyUI 图像生成与编辑，支持网页浏览与联网搜索。
    • 企业级管理与安全：细粒度 RBAC 与用户组、LDAP / SSO / SCIM 自动配置、PostgreSQL 持久化、横向扩展与 OpenTelemetry 可观测性。

    典型使用场景

    • 个人本地 AI 助手：用 Ollama 在笔记本上跑 Llama / Mistral，全程离线、数据不出本机，配合 RAG 问答私人文档。
    • 团队自托管 AI 中台：公司内部署，接入 OpenAI 或自建 vLLM，统一账号、权限与用量审计，替代公网 SaaS，守住数据隐私。
    • 知识库问答与自动化：把 Confluence / Notion / 本地文件建索引，用智能体 + 定时自动化做日报生成、资料检索与多模型 A/B 评估。

    推荐理由

    我把 Open WebUI 当作”私有 ChatGPT 的标杆”。它最打动我的是真正的离线优先与自托管能力——所有聊天与文档数据都留在自己的机器或服务器，不依赖任何云。RAG 开箱即用，多模型对比、语音通话、插件生态一应俱全，Docker 一条命令就能跑起来，对不想把对话记录交给第三方的用户极其友好。社区极其活跃、更新频繁，是个人和中小团队落地 AI 的最低门槛选择。

    下载地址

  • 把大模型塞进自己电脑：Ollama 融了 6500 万美元，月活开发者逼近 900 万

    把大模型塞进自己电脑：Ollama 融了 6500 万美元，月活开发者逼近 900 万

    Ollama 两位创始人 Jeff Morgan（左）与 Michael Chiang（右）
    Ollama 两位创始人 Jeff Morgan（左）与 Michael Chiang（右）。图源：TechCrunch / David Paul Morris

    你有没有过这种经历——想在自己电脑上跑一个开源大模型，结果被环境配置、CUDA 版本、一堆依赖冲突搞得头大，最后默默关掉终端，回去用别人的 API。Ollama 想解决的就是这件烦心事。这家 2023 年成立的开源工具公司，刚宣布完成 6500 万美元 B 轮融资，由 Theory Ventures 领投；加上之前 Benchmark 合伙人 Peter Fenton 牵头的 1500 万美元 A 轮，Ollama 累计融资已经到了 8800 万美元。

    创始人 Jeff Morgan 和 Michael Chiang 其实不是第一次干这种“让开发者少踩坑”的活。两人早年在 Docker 待过，参与打造了后来几乎每个程序员都用过的 Docker Desktop——你在本地写的容器，能丝滑地搬到云上，中间那些烦人的硬件配置全被它藏了起来。用 Morgan 自己的话说，Ollama 对 AI 干的事，差不多就是 Docker 当年对云计算干的事：把在电脑上跑开源模型这件事，从“研究员的专利”变成“普通程序员几分钟就能上手”。

    14 个人，撑起 85% 的财富 500 强

    这件事为什么突然变得值钱了？Morgan 把转折点放在了今年一月。那时候 OpenClaw 这类开源智能体突然火起来，大家发现大模型不只是能聊天，还能真刀真枪地写代码、跑任务。开源模型第一次让人觉得“它能干正活了”。从那以后，一个判断开始在圈子里蔓延：那些天天烧推理费的公司，迟早要把一部分活儿挪到更便宜的开源模型上，把闭源模型（比如 Anthropic）留着应付真正要紧的场景。

    最夸张的是团队规模。Ollama 现在每月有超过 890 万开发者在用，进了 85% 的财富 500 强公司，而公司全职员工只有 14 个人。GitHub 上 17.6 万 star、近 1.7 万 fork，在开发者工具里算得上现象级。Fenton 当初就是看中这俩人在 Docker 攒下的“让产品渗透到每个开发者”的本事，才决定继续下注。

    “开源和闭源不是二选一，两边都有大把生意可做。但凡是推理成本高到肉疼的公司，都有一个‘必须迁到开放权重模型’的生死项目。”Fenton 说。

    Ollama 赚钱的路子也不复杂：免费桌面版照常让你发现、运行本地模型；更大的模型它放到自己的 neocloud 上，按 GPU 时长收费，套餐从免费到每月 100 美元。那些最先进的大模型往往太大、你自己的电脑跑不动，Ollama 就帮你找算力——Morgan 把这看成开源使命的自然延伸，而不是背叛。

    “被圈钱”的质疑声

    当然，不是所有老用户都买账。大概一年前，一批博客和社交平台帖子就开始抱怨，说 Ollama 搞起了云服务、开始琢磨赚钱，背离了那个大家白嫖的开源项目，甚至有人把它列为开发工具“逐步变质”的典型。Fenton 的回应很直接：桌面端那个免费核心产品一点没变，你发现、运行本地模型的地方还是老样子。

    抛开争议不谈，Ollama 更像一个信号：AI 正在批量催生新的开源项目，而这些项目又一个个变成了风投抢着投的公司。做推理服务的 Inferact（vLLM 背后那家）、RadixArk（SGLang），做智能体的 OpenClaw、NanoClaw，甚至从零训自己模型的 Arcee……这条赛道上，Ollama 只是跑在最前面的那一个。

  • 14个人服务890万开发者：Ollama拿下6500万美元B轮，押注开源模型随处跑

    先说个数字：14个人，撑起890万开发者每月都在用的工具。这不是哪家巨头的内部团队，而是开源AI工具Ollama的全部家当。就在这周，这家公司拿到了6500万美元的B轮融资，领投方是Theory Ventures。

    Ollama开源AI工具融资示意图
    Ollama让开源模型在任何地方都能跑起来

    算上之前Benchmark领投的1500万美元A轮，Ollama目前累计融资8800万美元。当年领投A轮的Peter Fenton这次也进了董事会。创始人兼CEO的Jeff Morgan把话说得很直白：开源模型就该好跑、好用、随处可用——你自己的电脑上、云端，或者两头都用。

    从Docker到开源模型，这俩人干的是同一件事

    Ollama是2023年上线的，干的活很简单：帮开发者在自己的PC上跑开源权重模型，几分钟就能装好用起来。GitHub上攒了17.6万颗星、近1.7万个fork，各种教程、视频、博客里都在夸它。

    这种”把复杂的东西变简单”的路数，Morgan和联合创始人Michael Chiang早就玩过一遍。他们之前做的Kitematic被Docker收购，两人随后帮着做出了Docker Desktop——那个如今每天有一千多万开发者在用的工具。Docker当年把云应用从繁琐的硬件配置里解放出来，Ollama现在对开源AI做的是同一件事。

    “2023年开源模型开始冒出来，但真的很难用。它们当时是给研究员准备的，不是给程序员的，想跑起来特别费劲。”——Jeff Morgan

    免费工具怎么变成生意

    现在Ollama每月有890万开发者在用，比今年1月翻了差不多一倍，每周还新增将近100万次安装，社区做出来的集成超过6.7万个，覆盖了《财富》500强里85%的公司，连医疗、金融、政府这些强监管行业都在用。而这一切，团队只有14个人。

    光靠免费的本地工具当然赚不了钱。Ollama的商业化藏在云端：本地机器扛不住更大的模型时，可以直接切到它的云上跑，同一套操作，按GPU时长计费而不是按token。这套逻辑跟主流按token收费的做法明显不一样。

    • 免费版：本地运行 + 一定的云端GPU时长
    • Pro版：每月20美元，可同时跑3个云端模型，云用量是免费版的50倍
    • Max版：每月100美元，可同时跑10个云端模型

    Morgan说，Ollama作为一门生意的转折点大概在今年1月，OpenClaw火起来那阵子——更大的开源模型突然能干agentic的活了，比如写代码。这也踩中了整个行业的大趋势：据Grand View Research，AI推理市场2024年约970亿美元，到2030年预计冲到2540亿美元，年复合增速约17.5%。随着Meta、Mistral、DeepSeek这些开源模型和闭源系统的差距越缩越小，越来越多的钱正流向”开发者选择在哪里跑模型”这件事上，而这正是Ollama想占的位置。

    当然，这条赛道并不空。Hugging Face融了超过3.95亿美元，主要做模型仓库；Together AI最近以83亿美元估值拿了8亿美元，扩云端训练和推理。Ollama和Morgan都没透露这轮的估值和收入。但14个人对890万开发者这个比例本身，可能才是这轮融资背后最值得琢磨的故事。

  • Ollama 又融了 6500 万美元：让开发者在自己电脑上跑大模型，这门生意成了

    在个人电脑上运行开源大模型的 Ollama
    在个人电脑上跑开源大模型，Ollama 想做成 AI 时代的「Docker」

    Ollama 这家公司的名字，做 AI 开发的人基本都听过，圈外知道的不多。最近它宣布完成 6500 万美元的 B 轮融资，领投方是 Theory Ventures。加上之前 Benchmark 的 Peter Fenton 领投的 1500 万 A 轮，这家公司前后总共融了 8800 万美元。

    从 Docker 出来的团队，给 AI 干了件类似的事

    Ollama 在 2023 年上线，做的事情其实很朴素：让开发者在自己的电脑上，几分钟就把开源大模型跑起来。它在 GitHub 上攒了 17.6 万颗 star、将近 1.7 万个 fork，被无数教程、视频和博客拿来当范例。

    创始人 Jeff Morgan 和 Michael Chiang 之前都在 Docker 干过，做过 Docker Desktop，后来公司被 Docker 收购。所以 Ollama 对 AI 模型干的事，基本就是 Docker 当年对云计算干的事——把那些麻烦的硬件配置、环境差异全给你屏蔽掉，开发者只管跑。

    「2023 年开源模型就出来了，但那时候真的很难用，都是给研究人员准备的，不是给程序员用的。想把它们跑起来特别费劲。」Morgan 说。

    近 900 万月活，团队却只有 14 个人

    上线三年，Ollama 现在每个月有 890 万开发者在用，85% 的财富 500 强公司都在用，而背后撑起这一切的团队，只有 14 个人。它能长到这么快，靠的就是「在本地电脑上更顺手地搭 AI」这件事本身的需求。

    商业模式上，桌面免费版一点没变，赚钱靠的是云端订阅，从免费到每月 100 美元分几档，按 GPU 时长而不是 token 计费。那些太大、在自己电脑上跑不动的开源模型，Ollama 就帮你在它的云上找算力跑。

    企业开始认真考虑「用便宜的，留贵的」

    Morgan 把 Ollama 真正像个生意跑起来，归因于今年 1 月 OpenClaw 爆火。那之后，开源模型突然能做 agentic 任务了，比如写代码，企业开始认真琢磨：是不是能把日常活儿交给更便宜的开源模型，只在必要时才掏钱用 Anthropic 那种闭源模型。

    Fenton 的观点是，开源和闭源不是二选一，两边都有的赚。但他也点出一个现实：凡是推理成本高、也就是用模型烧钱烧得狠的公司，都有一股「生存级」的动力往开源权重模型上搬。

    免费的还免费，但「开发工具堕落」的骂声已经有了

    不是所有粉丝都买账。大概一年前，就有一批博客和论坛帖子吐槽 Ollama 的云服务，说它把精力从心爱的免费项目上挪走，把这股风气叫「开发工具的 enshittification（逐渐变烂）」。

    Morgan 不这么看，他说云端是开源使命的延伸——那些顶尖的大模型你自家电脑跑不动，「那我们就帮你把算力找来」。Fenton 也补了一句：桌面上的免费核心产品，前提一点没变，该发现模型、该跑本地模型，还是那个地方。

    不管争议怎么走，Ollama 都算是 AI 催生出来的那一拨「开源项目长成公司」里的最新样本。和它差不多的还有做推理的 Inferact（vLLM）、RadixArk（SGLang），以及从零训自己开源模型的 Arcee。AI 这波浪潮，正在把一批本来免费的工具，一点点变成正经生意。

  • CodeGeeX4：清华大学出品的9B全能代码模型，性能超越70B级大模型

    CodeGeeX4：清华大学出品的9B全能代码模型，性能超越70B级大模型

    CodeGeeX4
    清华大学 KEG 实验室 × 智谱 AI 联合出品
    ALL-9B 全能模型 · 代码生成 · Function Call · 仓库级理解
    ⭐ 最新一代
    🚀 9B 超越 70B
    🏆 BigCodeBench SOTA

    📝 项目简介

    CodeGeeX4 是清华大学 KEG 实验室与智谱 AI 联合推出的第四代多语言代码生成模型，基于 GLM-4-9B 持续训练，在代码生成、代码解释、Web 搜索、Function Call、仓库级 Q&A 等全场景软件开发生命周期中均提供卓越表现。仅 9B 参数即超越 Llama3-70B、DeepSeekCoder-33B 等超大模型，是当前 10B 以下参数规模中综合性能最强的代码模型。

    9B
    模型参数

    82.3%
    HumanEval Pass@1

    128K
    上下文长度

    ⭐ 30K+
    GitHub Stars

    ⚙️ 安装要求和过程

    💻 环境要求

    • Python 3.10+（推荐 3.11）
    • CUDA 12.1+（GPU 推理）
    • PyTorch 2.0+ 或 vLLM 0.5.1+
    • 内存：FP16 推理约 18GB，INT4 量化约 6GB
    • 操作系统：Windows / macOS / Linux 全平台支持

    🚀 快速安装（Ollama — 最简单）

    # 安装 Ollama（需 0.2+ 版本）
# macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh

# Windows: 从 https://ollama.com/download 下载安装

# 一键运行 CodeGeeX4
ollama run codegeex4

    🐍 使用 transformers 推理

    pip install transformers==4.40.0 torch

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "THUDM/codegeex4-all-9b",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained(
    "THUDM/codegeex4-all-9b",
    trust_remote_code=True
)

# 对话格式
prompt = [{"role":"user","content":"写一个快速排序"}]
inputs = tokenizer.apply_chat_template(prompt, add_generation_prompt=True, return_tensors="pt").cuda()
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

    ⚡ vLLM 高性能部署

    pip install vllm==0.5.1

# 启动 OpenAI 兼容 API 服务
python -m vllm.entrypoints.openai.api_server     --model THUDM/codegeex4-all-9b     --trust-remote-code     --tensor-parallel-size 1

# 然后即可用 OpenAI SDK 调用
# pip install openai
# client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

    ✨ 核心功能

    💬 全场景代码助手
    支持代码补全、代码生成、代码解释、代码翻译、文档生成、Bug 修复等全场景，基于 ChatGLM2/GLM-4 架构，中英文理解能力优异。

    🔧 Function Call 原生支持
    唯一原生支持 Function Call 的代码模型，Function Call 执行成功率甚至超越 GPT-4。可无缝接入 AI Agent 工具调用链路。

    📦 仓库级代码理解
    支持 128K 超长上下文，可理解整个代码仓库。支持仓库级 Q&A、跨文件代码补全、自动 commit 等高级功能。

    🌐 多平台部署
    支持 Ollama / vLLM / transformers / Rust-candle 多种推理后端；支持 VS Code、JetBrains 全系列 IDE 插件；支持本地 / 云端双模式。

    🏆 性能全面领先（10B 以下模型）
    HumanEval 82.3% · MBPP 75.7% · NaturalCodeBench 40.4% · BigCodeBench 48.9%（complete）/ 40.4%（instruct）· CRUXEval-O 47.1%。在代码推理、代码理解、代码执行等全方位评测中均取得 10B 以下模型最佳成绩。

    🎯 典型使用场景

    场景一：IDE 智能编程助手（最适合日常使用）

    在 VS Code 或 JetBrains IDE 中安装 CodeGeeX 插件，即可体验：

    • 代码补全：根据上下文自动补全下一行 / 下一个函数
    • 上下文补全：基于仓库内其他文件提供跨文件补全建议
    • Ask CodeGeeX：中英文对话解决编程问题，支持代码解释、翻译、纠错
    • 本地模式：连接本地 Ollama 运行的 CodeGeeX4，数据完全不出本地

    💡 支持超过 100 种编程语言！

    场景二：AI Agent Function Call 工具

    CodeGeeX4 原生支持 Function Call，可以：

    • 作为 AI Agent 的代码生成工具，解析自然语言需求生成代码
    • 接入 OpenAI 兼容 API，与 LangChain / AutoGen 等 Agent 框架无缝集成
    • 支持仓库级代码操作（增删改文件），实现 AI 自动 commit
    • 结合 vLLM 部署，支持多并发、高吞吐的生产环境调用

    场景三：本地私有化部署（数据安全敏感场景）

    对于数据隐私有严格要求的企业 / 个人，CodeGeeX4 提供完善的本地部署方案：

    • 通过 Ollama 一行命令启动，INT4 量化仅需 6GB 显存
    • 支持连接 VS Code / JetBrains 插件，体验与云端一致
    • 支持昇腾 / NVIDIA 全系列硬件，包括国产 AI 芯片
    • 代码和数据完全不离开本地，满足企业合规要求

    💡 推荐理由

    作为 AI 编程工具的深度用户，我试用过 GitHub Copilot、Claude Code、Cursor 等各类产品，CodeGeeX4 给我留下了极其深刻的印象：

    ① 性价比无敌：9B 参数的小模型，性能直接干翻 70B 的 Llama3 和 33B 的 DeepSeekCoder。这意味着你用消费级显卡（甚至 6GB 显存的 RTX 3060）就能跑一个世界级代码模型。

    ② Function Call 是杀手锏：在 AI Agent 时代，代码模型不能只做补全，还要能调用工具。CodeGeeX4 是唯一原生支持 Function Call 的开源代码模型，而且执行成功率比 GPT-4 还高。这对构建 AI 编程 Agent 来说是个游戏规则改变者。

    ③ 清华大学 + 智谱 AI 双背书：KEG 实验室（唐杰教授团队）在 NLP 和代码生成领域深耕多年，CodeGeeX 系列从 2022 年做到 2026 年，四代演进，成熟度远超同类竞品。智谱 AI 的 GLM 架构也在持续迭代优化。

    ④ 真正可用的 IDE 插件：很多开源模型只提供权重，没有好的用户体验。CodeGeeX 的 VS Code / JetBrains 插件做得相当完善，上下文补全、跨文件理解、Ask CodeGeeX 对话，体验不输商业产品。

    如果你在找一个能本地部署、性能好、中文友好的 AI 编程助手，CodeGeeX4 是目前唯一的最优解。

    📊 性能对比（10B 以下模型）

    模型 参数 HumanEval MBPP NCB Function Call
    CodeGeeX4-ALL-9B 9B 82.3% 75.7% 40.4% ✅ 超越GPT-4
    Llama3-70B-Instruct 70B 77.4% 82.3% 37.0% —
    DeepSeekCoder-33B 33B 81.1% 80.4% 39.3% —
    Codestral-22B 22B 81.1% 78.2% 46.0% —

    数据来源：CodeGeeX4 官方 README，NCB = NaturalCodeBench

    📚 CodeGeeX 系列演进

    CodeGeeX（第一代，2022）
    13B 参数，基于华为昇腾芯片训练，在 20+ 编程语言上预训练。配套开源 HumanEval-X 多语言评测基准。Apache-2.0 开源。

    CodeGeeX2（第二代，2023）
    基于 ChatGLM2-6B，6B 参数即超越 15B 的 StarCoder。支持 8192 序列长度，量化后仅需 6GB 显存。HumanEval-X 全面提升（+57%~+321%）。

    CodeGeeX4（第四代，2024）
    基于 GLM-4-9B，9B 参数全能模型。支持 Function Call、仓库级 Q&A、128K 上下文。BigCodeBench / NaturalCodeBench / CRUXEval 全基准 SOTA。Apache-2.0 开源。

    由自动化任务发布 · GitHub 热门 AI 开源项目系列 · 清华大学 KEG 实验室 × 智谱 AI
  • Ollama — 本地大模型运行首选工具，165K+ Stars 的本地 LLM 神器

    Ollama — 本地大模型运行首选工具，165K+ Stars 的本地 LLM 神器

    Ollama - Get up and running with LLMs

    ⚡ GitHub 热门 AI 开源项目

    Ollama

    在本地一键运行 Llama 3、DeepSeek、Qwen、Gemma 等开源大语言模型，无需云端，隐私优先

    ⭐ 165K+ Stars
    📥 40K+ 社区集成
    🦙 Go + C++
    📜 MIT 开源协议

    📌 项目简介

    Ollama 是一款开源的本地大语言模型运行工具，让你在 macOS、Windows、Linux 上轻松下载、运行和管理各类开源 LLM。它内置了 llama.cpp 推理引擎，支持量化模型的高效运行，同时提供简洁的 CLI、REST API 以及 Python / JavaScript SDK，是本地 AI 开发的首选入口。

    🔧 安装要求和过程

    环境要求

    • 支持 macOS 11+、Windows 10+、Linux（x86_64 / ARM64）
    • 建议 8GB+ 内存（7B 模型）；16GB+（13B 模型）；32GB+（33B+ 模型）
    • 磁盘空间：每个模型约 4GB~20GB
    🍎 macOS

    brew install ollama

    或下载 Ollama.dmg 手动安装

    🪟 Windows
    下载 OllamaSetup.exe
    官网 ollama.com 直接下载安装包

    🐧 Linux

    curl -fsSL https://ollama.com/install.sh | sh

    🐳 Docker

    docker run ollama/ollama

    ⚡ 快速开始

    1. 安装完成后，终端运行 ollama serve 启动服务（默认 11434 端口）
    2. 运行 ollama run deepseek-r1 拉取并启动 DeepSeek-R1 模型
    3. 直接在终端对话，或访问 http://localhost:11434 调用 REST API

    🚀 核心功能

    ① 一键运行海量开源模型

    内置模型库（ollama.com/library）涵盖 Llama 3、DeepSeek-R1、Qwen2.5、Gemma、Mistral、Phi-3 等数百个模型，一条命令即可拉取运行。支持自定义 Modelfile 导入 GGML / GGUF 格式模型。

    ② 完整的 REST API 与 SDK

    默认在 11434 端口提供 OpenAI 兼容的 REST API，官方提供 Python 和 JavaScript SDK。可以无缝接入 LangChain、Lobe Chat、Open WebUI 等生态，开发者集成成本极低。

    ③ 多模型并行与 GPU 加速

    支持同时加载多个模型，自动检测并利用 NVIDIA / AMD GPU 进行推理加速。macOS 上原生支持 Metal GPU 加速，Linux 支持 CUDA 和 ROCm，推理速度大幅提升。

    ④ 丰富的生态集成

    社区已推出 40,000+ 个集成工具，涵盖桌面应用（Open WebUI、Enchanted）、IDE 插件（Continue、CopilotKit）、Agent 框架（LangChain、AutoGen）、RAG 工具（AnythingLLM）等，几乎覆盖所有 AI 开发场景。

    ⑤ 隐私优先，完全离线

    所有推理在本地执行，数据不出本机。无需注册、无需联网、无需付费 API Key，特别适合对数据隐私有严格要求的企业内网和个人开发者。

    💡 典型使用场景

    场景一：本地 AI 编程助手

    搭配 Continue.dev 或 VS Code Ollama 插件，在断网环境下也能使用本地 LLM 辅助代码补全、解释和重构。使用 DeepSeek-Coder 或 CodeLlama 模型，响应速度毫秒级，代码质量媲美云端模型。

    实战示例：运行 ollama run deepseek-coder:6.7b，然后在 Continue.dev 中配置 Ollama 为默认 Provider，即可在 VS Code 侧边栏直接对话编程。

    场景二：私有知识库 RAG 系统

    结合 AnythingLLM 或 Open WebUI，将企业内网文档、PDF、Markdown 文件作为知识库，通过 Ollama 本地推理实现零数据外泄的智能问答系统。金融、医疗、法律等敏感行业尤为适用。

    实战示例：Docker 部署 AnythingLLM，在设置中选择 Ollama 作为 LLM Provider，指定本地模型（如 Llama3:8b），然后上传内部文档即可开始私有问答。

    场景三：AI 应用本地开发测试

    在开发 AI 应用时，使用 Ollama 替代 OpenAI API 进行本地测试和迭代，无需消耗云端配额，也避免了敏感测试数据外传的风险。Ollama 的 API 与 OpenAI 高度兼容，切换成本极低。

    实战示例：在 .env 中设置 OPENAI_BASE_URL=http://localhost:11434/v1 和 OPENAI_API_KEY=ollama，现有基于 OpenAI SDK 的代码几乎不用改动即可切换至本地模型。

    ✨ 推荐理由

    作为本地 LLM 领域的”Docker”，Ollama 几乎是所有 AI 开发者入门本地模型的第一站。它把复杂的模型量化、推理引擎配置、GPU 驱动适配等底层细节全部封装，真正做到了”一行命令运行大模型”。

    我个人最常用的场景是在无网环境下做代码审查和文档撰写——启动 DeepSeek-R1 本地模型，响应速度非常快，且完全不担心代码泄露。相比云端 API，本地运行的成本优势在长期使用中极为明显：一次性下载模型，后续零费用无限调用。

    另外值得一提的是 Ollama 的 REST API 与 OpenAI 高度兼容，这意味着你可以用同一套代码同时支持云端和本地模型，在开发阶段用本地模型省成本，上线时切换到 GPT-4 保质量，这种灵活性是其他本地 LLM 工具难以提供的。

    如果你还没试过在本地运行 LLM，Ollama 是最好的起点。165K Stars 和 40K+ 社区集成不是偶然——它真的好用。


      GitHub 热门 AI 开源项目系列  

  • Open-WebUI：自托管AI平台，打造专属的ChatGPT体验

    在本地运行大语言模型（LLM）已经成为越来越多开发者和AI爱好者的选择。但Ollama等工具缺乏友好的Web界面，而Open-WebUI完美解决了这个问题——它提供了一个功能丰富、可自托管的AI交互平台，让你在本地也能享受媲美ChatGPT的使用体验。

    项目简介

    Open-WebUI 是一个可扩展、功能丰富、用户友好的自托管AI平台，支持完全离线运行。它兼容Ollama、OpenAI兼容API等多种LLM运行器，并内置RAG（检索增强生成）推理引擎。目前GitHub Stars已超过105,000+，是本地AI部署的首选界面方案。

    安装要求和过程

    环境要求

    • Python方式：需要 Python 3.11（避免使用其他版本以免兼容性问题）
    • Docker方式：需要安装Docker，建议使用GPU环境以获得更好性能
    • Ollama：如需本地运行模型，需提前安装Ollama
    • 存储空间：至少预留5GB空间用于模型和数据集

    快速安装步骤

    方式一：Python pip安装（最简单）

    # 安装项目
pip install open-webui

# 启动服务，访问地址：http://localhost:8080
open-webui serve

    方式二：Docker快速部署（推荐）

    # 基础部署（Ollama在本地）
docker run -d -p 3000:8080   --add-host=host.docker.internal:host-gateway   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:main

# 访问地址：http://localhost:3000

    方式三：一体化部署（包含Ollama）

    # 带GPU支持
docker run -d -p 3000:8080 --gpus=all   -v ollama:/root/.ollama   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama

# 仅CPU
docker run -d -p 3000:8080   -v ollama:/root/.ollama   -v open-webui:/app/backend/data   --name open-webui --restart always   ghcr.io/open-webui/open-webui:ollama

    核心功能

    • 多模型兼容：无缝集成Ollama、OpenAI API，支持对接LMStudio、GroqCloud、Mistral、OpenRouter等第三方服务，一个界面管理所有AI模型。
    • 本地RAG能力：内置检索增强生成引擎，支持9种向量数据库（ChromaDB、PGVector、Qdrant、Milvus等），可直接上传文档进行智能问答。
    • 多模态交互：支持语音/视频通话，集成多种语音转文本和文本转语音引擎；支持DALL-E、Gemini、ComfyUI等多种图像生成引擎。
    • 权限管理：细粒度用户角色与权限控制，支持LDAP/AD集成、SSO单点登录，适合团队和企业部署。
    • 插件扩展：支持Pipelines插件框架，可自定义业务逻辑（函数调用、用户限流、实时翻译、内容过滤等）。

    典型使用场景

    场景一：个人本地AI助手

    通过Docker一键部署Open-WebUI + Ollama，在本地运行Llama 3、Mistral等开源模型。所有数据完全离线，保障隐私安全；同时获得与ChatGPT媲美的Web交互体验，支持多轮对话、Markdown渲染、代码高亮等功能。

    场景二：团队协作AI平台

    利用Open-WebUI的权限管理和SSO集成能力，为企业团队搭建内部AI平台。通过RBAC控制不同用户的模型访问权限，对接企业内部知识库实现RAG问答，并监控API使用量和成本。

    场景三：AI应用开发测试

    开发者可使用Open-WebUI快速测试不同LLM模型的效果，通过模型构建器自定义提示词和角色，利用Python函数调用扩展自定义能力，加速AI应用的原型开发和测试验证。

    推荐理由

    Open-WebUI是我试用过的最优秀的本地LLM Web界面，没有之一。它的设计非常贴合实际使用场景：响应式界面适配各种设备，PWA支持让你可以像原生App一样使用，RAG功能让你可以轻松对接个人知识库。

    相比其他类似工具，Open-WebUI的最大优势在于完整性和成熟度：它不仅有精美的界面，还有完整的企业级功能（权限管理、SSO、监控等），同时支持广泛的模型和后端的灵活配置。无论你是个人用户还是企业团队，都能找到适合自己的部署方式。

    特别推荐它的RAG集成能力——上传文档后可以直接在对话中引用，支持多种向量数据库和搜索引擎，真正实现”个人AI知识库”的落地。如果你一直在寻找一个好用的本地LLM界面，Open-WebUI绝对值得一试。

    下载地址

    如果你觉得这个项目有帮助，欢迎到GitHub上点个Star支持开发者！

  • Ollama：170k Stars！本地LLM运行工具，让AI模型在本地飞速运行

    配图

    Ollama Logo
    Ollama – 本地LLM运行工具

    项目简介

    Ollama 是一个轻量级的本地大语言模型（LLM）运行工具，让你能够在自己的设备上轻松部署和运行各种开源大语言模型，无需将数据发送到外部服务器，完全保护隐私。

    截至2026年，Ollama 已在 GitHub 获得 17万+ Stars，成为最广泛使用的本地LLM运行时，Docker Hub下载量超过1亿次。

    安装要求和过程

    环境要求

    • 操作系统：Linux（Ubuntu 20.04+）、macOS 11+、Windows 10（需WSL2）
    • 内存：8GB以上（运行7B模型），16GB以上（运行13B模型），32GB以上（运行33B+模型）
    • 存储：至少10GB可用空间（用于存放模型文件）
    • GPU：可选，NVIDIA GPU（CUDA）、AMD GPU（ROCm）或苹果M系列芯片可加速推理

    快速安装步骤

    macOS/Linux 一键安装：

    # Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh

# macOS 也可用 Homebrew
brew install ollama

    Windows 安装：

    1. 访问 https://ollama.com/download 下载 Windows 安装包
    2. 运行 OllamaSetup.exe，按照提示完成安装
    3. 打开命令提示符或PowerShell，输入 ollama --version 验证安装

    Docker 安装（推荐服务器环境）：

    docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

    核心功能

    1. 一键运行本地模型：支持一键拉取和运行100+开源大语言模型，包括 Llama 3.3、Mistral、Qwen、Phi、DeepSeek R1 等热门模型。
    2. OpenAI API 兼容：原生提供兼容 OpenAI API 格式的 REST API（默认端口11434），可直接对接现有基于 OpenAI 生态开发的应用和工具。
    3. 智能硬件加速：自动适配 NVIDIA（CUDA）、AMD（ROCm）、苹果 M 系列芯片（Metal）的 GPU 加速，大幅提升推理速度。
    4. 模型自定义配置：支持通过 Modelfile 自定义模型参数（温度、上下文长度、系统提示词等），轻松创建专属模型。
    5. 多模态支持：最新版本支持视觉模型（如 Llama 3.2 Vision），可处理图像输入，实现图文混合推理。

    典型使用场景

    场景一：开发者本地 AI 应用开发

    作为开发者，你可以使用 Ollama 在本地运行 LLM，用于：

    • 开发和测试 AI 应用，无需支付 API 费用
    • 对接 Open-WebUI 等前端界面，搭建私有化 AI 聊天助手
    • 通过 API 集成到自己的应用中，实现本地智能推理

    示例：用 Ollama 运行 Llama 3.3 8B 模型，通过 OpenAI 兼容 API 为本地应用添加 AI 能力。

    场景二：企业私有化部署

    对于企业用户，Ollama 提供了：

    • 数据隐私保护：所有推理过程在本地完成，敏感数据无需上传云端
    • 零 API 成本：无需为每次 API 调用付费，适合高频调用场景
    • 离线可用：模型下载后，无需联网即可使用，适合内网环境

    推荐理由

    我个人从2025年开始使用 Ollama，它已经成为我本地 AI 开发的标配工具。推荐理由如下：

    1. 极简体验：一条命令就能安装，一条命令就能运行模型，对新手极其友好。
    2. 生态丰富：支持对接 Open-WebUI、Continue（VS Code 插件）、LangChain 等50+主流工具，可玩性极高。
    3. 性能优秀：支持 4-bit/8-bit 量化，即使在中端笔记本上也能流畅运行 7B 参数的模型。
    4. 活跃社区：GitHub 上40000+社区集成，几乎任何你能想到的工作流，都有人已经做好了集成方案。

    如果你想要一个简单、快速、隐私安全的本地 LLM 运行方案，Ollama 绝对是首选。

    下载地址

  • Ollama：172K Stars！本地运行大模型的最热门工具，让AI完全属于你自己

    Ollama：172K Stars！本地运行大模型的最热门工具，让AI完全属于你自己

    Ollama

    ## 📦 项目简介

    Ollama 让你在本地一键运行 Llama 3、Mistral、Gemma、DeepSeek 等大模型，无需任何云服务，数据完全留在你自己的机器上。

    ## 🛠️ 安装要求和过程

    Ollama 支持 macOS、Windows、Linux 三大平台，安装极其简单。

    🔧 环境要求

    • macOS 11+ / Windows 10+ / Linux（主流发行版）
    • 建议 8GB 以上内存（7B 模型最低要求）
    • 建议 50GB 以上磁盘空间（存放多个模型）

    ⚡ 快速安装（3步搞定）

    macOS:

    brew install ollama

    Linux / WSL2:

    curl -fsSL https://ollama.com/install.sh | sh

    Windows:

    从 ollama.com/download 下载安装包，双击安装即可。

    验证安装:

    ollama --version

    ## ⭐ 核心功能

    🚀

    一键运行大模型

    一行命令 ollama run llama3 即可启动对话，无需配置环境。

    🔌

    本地 REST API

    自带 HTTP API（默认 http://localhost:11434），轻松集成到任何应用。

    📦

    Modelfile 自定义

    类似 Dockerfile 的 Modelfile，可定制系统提示词、温度参数、模板等。

    🔄

    模型库丰富

    官方库支持 50+ 模型，包括 Llama、Mistral、Gemma、DeepSeek、Qwen 等。

    ⚡

    GPU 加速推理

    自动检测并利用 Metal（macOS）、CUDA（NVIDIA）、ROCm（AMD）进行硬件加速，推理速度飞快。

    ## 🎯 典型使用场景

    📚 场景一：本地知识问答

    你可以用 Ollama 在本地运行大模型，结合 RAGFlow 或 AnythingLLM，搭建完全本地的知识库问答系统。所有文档数据和对话历史都留在本地，特别适合处理敏感资料、法律文件、医疗记录等场景。

    # 拉取中文模型
ollama pull qwen2:7b
# 启动对话
ollama run qwen2:7b

    💻 场景二：AI 编程助手（本地版 Copilot）

    将 Ollama 接入 Continue、Cursor 或 VS Code，打造完全本地的 AI 编程助手。代码不需要发送到任何云端，隐私零泄露，适合企业内网开发环境。

    # 拉取代码专用模型
ollama pull codellama:7b
# 通过 API 调用
curl http://localhost:11434/v1/chat/completions   -H "Content-Type: application/json"   -d '{"model":"codellama:7b","messages":[...]}'

    📝 场景三：内容创作与文本处理

    Ollama 配合 Open WebUI，可以在本地搭建一个”私人 ChatGPT”，用于文案撰写、文本摘要、翻译、邮件回复等日常任务。响应速度快，支持多轮对话，且完全免费。

    ## 💡 推荐理由

    我用过不少本地大模型运行工具，Ollama 是目前最省心的一个。安装简单到不可思议 —— macOS 一个 brew 命令，Linux 一条 curl 管道，Windows 下载安装包双击，全程不超过 3 分钟。

    它最打动我的一点，是对 Apple Silicon 的优化极其出色。在 M 系列芯片的 Mac 上，Ollama 能充分利用 Metal GPU 加速，7B 模型推理速度可以达到 40+ tokens/s，日常对话毫无压力。

    另外，它的 REST API 设计得非常优雅，和 OpenAI 的 API 格式高度兼容，迁移成本几乎为零。如果你正在做 AI 应用开发，Ollama 绝对是本地调试和离线部署的首选方案。

    ⭐ 推荐指数：4.8/5.0
    易用性满分，模型丰富度高，API 兼容性好，隐私保护强。

    ## 📥 下载地址

    🌐

    官方网站

    下载安装包 / 文档

    访问官网 →

    🐙

    GitHub 仓库

    172K+ Stars · Go 语言

    查看源码 →

    📖

    官方文档

    API 参考 / Modelfile 指南

    阅读文档 →

    >

    本文由 WorkBuddy AI 自动采集撰写 · 开源项目第35期 · GitHub 172K+ Stars