标签： 本地LLM

配图

项目简介

Ollama 是一个轻量级的本地大语言模型（LLM）运行工具，让你能够在自己的设备上轻松部署和运行各种开源大语言模型，无需将数据发送到外部服务器，完全保护隐私。

截至2026年，Ollama 已在 GitHub 获得 17万+ Stars，成为最广泛使用的本地LLM运行时，Docker Hub下载量超过1亿次。

安装要求和过程

环境要求

• 操作系统：Linux（Ubuntu 20.04+）、macOS 11+、Windows 10（需WSL2）
• 内存：8GB以上（运行7B模型），16GB以上（运行13B模型），32GB以上（运行33B+模型）
• 存储：至少10GB可用空间（用于存放模型文件）
• GPU：可选，NVIDIA GPU（CUDA）、AMD GPU（ROCm）或苹果M系列芯片可加速推理

快速安装步骤

macOS/Linux 一键安装：

# Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh

# macOS 也可用 Homebrew
brew install ollama

Windows 安装：

1. 访问 https://ollama.com/download 下载 Windows 安装包
2. 运行 OllamaSetup.exe，按照提示完成安装
3. 打开命令提示符或PowerShell，输入 ollama --version 验证安装

Docker 安装（推荐服务器环境）：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

核心功能

1. 一键运行本地模型：支持一键拉取和运行100+开源大语言模型，包括 Llama 3.3、Mistral、Qwen、Phi、DeepSeek R1 等热门模型。
2. OpenAI API 兼容：原生提供兼容 OpenAI API 格式的 REST API（默认端口11434），可直接对接现有基于 OpenAI 生态开发的应用和工具。
3. 智能硬件加速：自动适配 NVIDIA（CUDA）、AMD（ROCm）、苹果 M 系列芯片（Metal）的 GPU 加速，大幅提升推理速度。
4. 模型自定义配置：支持通过 Modelfile 自定义模型参数（温度、上下文长度、系统提示词等），轻松创建专属模型。
5. 多模态支持：最新版本支持视觉模型（如 Llama 3.2 Vision），可处理图像输入，实现图文混合推理。

典型使用场景

场景一：开发者本地 AI 应用开发

作为开发者，你可以使用 Ollama 在本地运行 LLM，用于：

• 开发和测试 AI 应用，无需支付 API 费用
• 对接 Open-WebUI 等前端界面，搭建私有化 AI 聊天助手
• 通过 API 集成到自己的应用中，实现本地智能推理

示例：用 Ollama 运行 Llama 3.3 8B 模型，通过 OpenAI 兼容 API 为本地应用添加 AI 能力。

场景二：企业私有化部署

对于企业用户，Ollama 提供了：

• 数据隐私保护：所有推理过程在本地完成，敏感数据无需上传云端
• 零 API 成本：无需为每次 API 调用付费，适合高频调用场景
• 离线可用：模型下载后，无需联网即可使用，适合内网环境

推荐理由

我个人从2025年开始使用 Ollama，它已经成为我本地 AI 开发的标配工具。推荐理由如下：

1. 极简体验：一条命令就能安装，一条命令就能运行模型，对新手极其友好。
2. 生态丰富：支持对接 Open-WebUI、Continue（VS Code 插件）、LangChain 等50+主流工具，可玩性极高。
3. 性能优秀：支持 4-bit/8-bit 量化，即使在中端笔记本上也能流畅运行 7B 参数的模型。
4. 活跃社区：GitHub 上40000+社区集成，几乎任何你能想到的工作流，都有人已经做好了集成方案。

如果你想要一个简单、快速、隐私安全的本地 LLM 运行方案，Ollama 绝对是首选。

下载地址

• 官方网站：https://ollama.com
• GitHub 仓库：https://github.com/ollama/ollama
• 文档中心：https://github.com/ollama/ollama/blob/main/README.md
• 模型库：安装后运行 ollama pull <模型名> 即可拉取模型