YOHO AI

标签： 大语言模型

  • Ollama — 本地大模型运行首选工具，165K+ Stars 的本地 LLM 神器

    Ollama — 本地大模型运行首选工具，165K+ Stars 的本地 LLM 神器

    Ollama - Get up and running with LLMs

    ⚡ GitHub 热门 AI 开源项目

    Ollama

    在本地一键运行 Llama 3、DeepSeek、Qwen、Gemma 等开源大语言模型，无需云端，隐私优先

    ⭐ 165K+ Stars
    📥 40K+ 社区集成
    🦙 Go + C++
    📜 MIT 开源协议

    📌 项目简介

    Ollama 是一款开源的本地大语言模型运行工具，让你在 macOS、Windows、Linux 上轻松下载、运行和管理各类开源 LLM。它内置了 llama.cpp 推理引擎，支持量化模型的高效运行，同时提供简洁的 CLI、REST API 以及 Python / JavaScript SDK，是本地 AI 开发的首选入口。

    🔧 安装要求和过程

    环境要求

    • 支持 macOS 11+、Windows 10+、Linux（x86_64 / ARM64）
    • 建议 8GB+ 内存（7B 模型）；16GB+（13B 模型）；32GB+（33B+ 模型）
    • 磁盘空间：每个模型约 4GB~20GB
    🍎 macOS

    brew install ollama

    或下载 Ollama.dmg 手动安装

    🪟 Windows
    下载 OllamaSetup.exe
    官网 ollama.com 直接下载安装包

    🐧 Linux

    curl -fsSL https://ollama.com/install.sh | sh

    🐳 Docker

    docker run ollama/ollama

    ⚡ 快速开始

    1. 安装完成后，终端运行 ollama serve 启动服务（默认 11434 端口）
    2. 运行 ollama run deepseek-r1 拉取并启动 DeepSeek-R1 模型
    3. 直接在终端对话，或访问 http://localhost:11434 调用 REST API

    🚀 核心功能

    ① 一键运行海量开源模型

    内置模型库（ollama.com/library）涵盖 Llama 3、DeepSeek-R1、Qwen2.5、Gemma、Mistral、Phi-3 等数百个模型，一条命令即可拉取运行。支持自定义 Modelfile 导入 GGML / GGUF 格式模型。

    ② 完整的 REST API 与 SDK

    默认在 11434 端口提供 OpenAI 兼容的 REST API，官方提供 Python 和 JavaScript SDK。可以无缝接入 LangChain、Lobe Chat、Open WebUI 等生态，开发者集成成本极低。

    ③ 多模型并行与 GPU 加速

    支持同时加载多个模型，自动检测并利用 NVIDIA / AMD GPU 进行推理加速。macOS 上原生支持 Metal GPU 加速，Linux 支持 CUDA 和 ROCm，推理速度大幅提升。

    ④ 丰富的生态集成

    社区已推出 40,000+ 个集成工具，涵盖桌面应用（Open WebUI、Enchanted）、IDE 插件（Continue、CopilotKit）、Agent 框架（LangChain、AutoGen）、RAG 工具（AnythingLLM）等，几乎覆盖所有 AI 开发场景。

    ⑤ 隐私优先，完全离线

    所有推理在本地执行，数据不出本机。无需注册、无需联网、无需付费 API Key，特别适合对数据隐私有严格要求的企业内网和个人开发者。

    💡 典型使用场景

    场景一：本地 AI 编程助手

    搭配 Continue.dev 或 VS Code Ollama 插件，在断网环境下也能使用本地 LLM 辅助代码补全、解释和重构。使用 DeepSeek-Coder 或 CodeLlama 模型，响应速度毫秒级，代码质量媲美云端模型。

    实战示例：运行 ollama run deepseek-coder:6.7b，然后在 Continue.dev 中配置 Ollama 为默认 Provider，即可在 VS Code 侧边栏直接对话编程。

    场景二：私有知识库 RAG 系统

    结合 AnythingLLM 或 Open WebUI，将企业内网文档、PDF、Markdown 文件作为知识库，通过 Ollama 本地推理实现零数据外泄的智能问答系统。金融、医疗、法律等敏感行业尤为适用。

    实战示例：Docker 部署 AnythingLLM，在设置中选择 Ollama 作为 LLM Provider，指定本地模型（如 Llama3:8b），然后上传内部文档即可开始私有问答。

    场景三：AI 应用本地开发测试

    在开发 AI 应用时，使用 Ollama 替代 OpenAI API 进行本地测试和迭代，无需消耗云端配额，也避免了敏感测试数据外传的风险。Ollama 的 API 与 OpenAI 高度兼容，切换成本极低。

    实战示例：在 .env 中设置 OPENAI_BASE_URL=http://localhost:11434/v1 和 OPENAI_API_KEY=ollama，现有基于 OpenAI SDK 的代码几乎不用改动即可切换至本地模型。

    ✨ 推荐理由

    作为本地 LLM 领域的”Docker”，Ollama 几乎是所有 AI 开发者入门本地模型的第一站。它把复杂的模型量化、推理引擎配置、GPU 驱动适配等底层细节全部封装，真正做到了”一行命令运行大模型”。

    我个人最常用的场景是在无网环境下做代码审查和文档撰写——启动 DeepSeek-R1 本地模型，响应速度非常快，且完全不担心代码泄露。相比云端 API，本地运行的成本优势在长期使用中极为明显：一次性下载模型，后续零费用无限调用。

    另外值得一提的是 Ollama 的 REST API 与 OpenAI 高度兼容，这意味着你可以用同一套代码同时支持云端和本地模型，在开发阶段用本地模型省成本，上线时切换到 GPT-4 保质量，这种灵活性是其他本地 LLM 工具难以提供的。

    如果你还没试过在本地运行 LLM，Ollama 是最好的起点。165K Stars 和 40K+ 社区集成不是偶然——它真的好用。


      GitHub 热门 AI 开源项目系列  

  • LangChain — 135K+ Stars 的 AI 智能体工程平台，构建 LLM 应用的首选框架

    LangChain Logo

    🔗 LangChain

    The Agent Engineering Platform — 135K+ Stars

    📦 langchain-ai/langchain · MIT License · Python

    📝 项目简介

    LangChain 是一个智能体工程平台，为构建 LLM 驱动的应用提供标准化接口与丰富的第三方集成，帮助开发者快速构建、调试和部署生产级 AI 智能体应用。

    135K+
    GitHub Stars

    279K+
    依赖项目

    600+
    集成组件

    v1.x
    最新稳定版

    ⚙️ 安装要求与过程

    环境要求
    • Python ≥ 3.9
    • 推荐使用 uv 作为包管理工具
    • 需要有效的 LLM API Key（OpenAI / Anthropic / 国内模型等）
    # 快速安装
    # 使用 uv 安装（推荐）
uv add langchain

# 使用 pip 安装
pip install langchain

# 安装特定模型集成
pip install langchain-openai
pip install langchain-anthropic

    # 快速开始 — Hello World
    from langchain.chat_models import init_chat_model

# 初始化模型（支持任意提供商）
model = init_chat_model("openai:gpt-4o")
# model = init_chat_model("anthropic:claude-sonnet-4-20250514")

result = model.invoke("用一句话解释什么是 LangChain")
print(result.content)

    ⭐ 核心功能

    1
    标准化模型接口
    为模型、嵌入、向量存储等核心组件提供统一接口，切换底层模型无需重构业务代码，彻底告别厂商锁定。

    2
    丰富的第三方集成
    内置 600+ 集成组件，覆盖主流 LLM 提供商、向量数据库、检索工具、API 工具等，即插即用。

    3
    灵活的抽象层次
    从高层级链式调用（快速原型）到底层组件细粒度控制（复杂生产场景），支持不同复杂度的应用需求。

    4
    LangGraph 智能体编排
    配套 LangGraph 提供低层级智能体编排框架，支持复杂可控的多智能体工作流，适合生产级应用场景。

    5
    LangSmith 可观测性
    无缝对接 LangSmith 进行智能体评估、调试与监控，支持生产环境部署与长时状态工作流扩缩容。

    🚀 典型使用场景

    场景一：RAG（检索增强生成）问答系统
    将企业知识库文档向量化存储，结合 LangChain 的 Retriever 组件与 LLM，实现基于私有数据的精准问答。支持对接 Chroma、Pinecone、FAISS 等主流向量数据库，是构建企业 AI 知识助手的首选方案。

    场景二：智能客服 / AI Agent 工作流
    利用 LangChain 的 Agent 与 Tools 机制，让 LLM 自主调用搜索引擎、数据库查询、API 接口等工具，构建能完成多步骤复杂任务的智能助手。结合 LangGraph 可实现包含人工审批节点的复杂业务流程自动化。

    场景三：结构化数据抽取与处理
    利用 LangChain 的 OutputParser 与 Structured Output 功能，从非结构化文本中抽取结构化信息（如提取简历关键信息、解析合同要素），并输出为 JSON / Pydantic 模型，方便后续业务系统处理。

    💡 推荐理由

    LangChain 是 AI 应用开发领域当之无愧的”基础设施”。如果你正在构建任何与 LLM 相关的应用，LangChain 几乎是你绕不开的选择。

    它的核心价值在于标准化：无论你用 OpenAI、Anthropic 还是国产模型，接口一致；无论你用 PostgreSQL、Pinecone 还是 FAISS 存向量，接口一致。这种抽象让你可以随时切换底层技术，而不用重写应用逻辑。

    2026 年 LangChain 已迭代至 v1.x 稳定版，配套生态（LangGraph 智能体编排、LangSmith 可观测性、Deep Agents 低代码智能体）日趋完善，从快速原型到生产部署的全流程都有成熟方案支撑。

    当然，LangChain 的抽象层较厚，对于追求极致性能的场景可能需要权衡。但对于绝大多数 AI 应用开发者而言，它依然是目前最成熟、社区最活跃、学习资源最丰富的不二之选。

    ⋯⋯

    AI
    开源
    LangChain
    LLM
    AI Agent