YOHO AI

标签： 本地部署

  • OpenWorker：吴恩达开源的本地优先 AI 同事，交付「已完成的工作」而非聊天

    OpenWorker：吴恩达开源的本地优先 AI 同事，交付「已完成的工作」而非聊天

    OpenWorker 品牌图

    OpenWorker 是深度学习之父吴恩达（Andrew Ng）开源的一款”本地优先”的 AI 同事（AI coworker）桌面应用。它不只想跟你聊天，而是要跨文件、终端和 25+ 应用连接器，真正把一件日常任务做完——交付一份排版好的文档、一条带数据的 Slack 回复、一份更新好的日历，或一个分诊完毕的收件箱。它运行在你的机器上，不锁定任何模型，用自己的 API Key（OpenAI / Anthropic / Google / 开源权重）或本地 Ollama 即可驱动。

    🖼️ 它是怎么工作的

    OpenWorker 工作原理

    桌面应用外壳（原生 GUI + Tauri）之下，是一套本地运行的 Python Agent 服务：引擎、工具、连接器都构建在吴恩达自己的 aisuite 之上；你的文件、终端、25+ 连接器与任意模型提供商，全部在你的机器上、用你的密钥运转。

    📦 安装要求和过程

    方式一：直接下载安装包（推荐）

    • macOS（Apple Silicon，12+）：已签名公证、自动更新 → download.openworker.com/mac
    • Windows 10/11（x64）：构建尚未代码签名，SmartScreen 会警告（签名进行中）→ download.openworker.com/windows
    • 打开应用 → 添加模型 Key（或指向 Ollama）→ 直接提出一个真实需求即可。

    方式二：从源码构建

    前置环境：Python 3.10+、Node 20+，以及（桌面壳）通过 rustup 安装的 Rust 工具链。

    git clone https://github.com/andrewyng/openworker
cd openworker

# 1. 一次性引导，创建 Python venv（Windows 用 Git Bash / WSL）
bash packaging/setup_dev_env.sh

# 2. 启动本地 Agent 服务
.venv/bin/openworker-server --cwd ~/some/project --port 8765
#    Windows: .venv\Scripts\openworker-server.exe

# 3. 另一个终端启动 UI
cd surfaces/gui
npm install
npm run dev        # 浏览器 UI（Vite 端口）

# 想跑完整桌面应用： npm run tauri dev

    ✨ 核心功能

    OpenWorker 核心亮点

    • 交付真实成果：文档、表格、报告、网页直接落地为可打开、可分享的文件，而不是一堆待办清单。
    • 25+ 应用连接器：GitHub、Slack、Jira、Notion、Linear、HubSpot、Outlook、monday.com、Gmail、Google Calendar，加上你的终端与本地文件；任何可通过 MCP 接入的工具都能插进来，并按工具粒度授权。
    • 自带模型密钥（BYOK）：OpenAI、Anthropic、Gemini、Inkling、GLM、DeepSeek、Kimi、Qwen、MiniMax、Mistral、Grok，以及通过 Together / Fireworks 的开源权重模型，和 Ollama 本地模型；自带经工具调用验证的推荐清单。
    • 行动前先确认：写文件、发消息、执行命令都走审批门控；无人值守运行会把待办”问询”暂存到收件箱，绝不擅自行动。隐私本地优先——agent 循环、对话、连接器令牌、模型 Key 都留在本地密钥库。
    • 定时自动化：晨报、周报、频道值守等周期性任务按计划运行，结果带完整转录落回应用。

    🎯 典型使用场景

    1. Slack 里 @OpenWorker：在频道提及它，桌面自动开一个会话，用你的工具把活干完，答案作为线程回复回到频道。
    2. “准备一份客户简报””理清我的日历””跨 Jira 和 GitHub 看看发布进展到哪了”——它把任务拆成步骤，跨桌面、文件和已连接应用推进，重要动作前先与你确认。
    3. 定时晨报 / 周报：把重复性工作面交给自动化，每天/每周固定产出带完整记录的交付物。

    💡 推荐理由

    吴恩达出品，天然带着”让 AI 真正替你把事做完“的产品哲学。最打动我的是三点：一是本地优先 + 自带模型密钥，数据只通过你选定的模型和集成离开本机，隐私可控；二是“行动前确认”的克制设计，把 AI 代理从”话痨”拉回到”靠谱同事”；三是底层基于他自己的 aisuite（统一多模型 + Agent/MCP 层），想自己搭 Agent harness 的人也能拿它当参考实现。目前处于开放 Beta：可用、会自动更新、社区活跃，适合想把日常办公流程交给 AI 自动化、又不想把数据锁进某家云端的朋友尝鲜。

    🔗 下载地址

  • DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar ds4

    📌 项目简介

    DwarfStar（简称 ds4）是 Redis 作者 antirez（Salvatore Sanfilippo）开源的一个原生本地推理引擎，专门为 DeepSeek V4 Flash / PRO 与 GLM 5.2 这类开源权重打造。它不追求做成通用 GGUF 运行器，而是把模型加载、分词、工具调用、KV 缓存、HTTP 服务乃至内置编码智能体垂直打通、一起调优；整个引擎用纯 C 编写、单文件二进制、零外部运行时依赖，在 Metal / CUDA / ROCm 三大后端上都能跑。

    DwarfStar 项目速览

    ⚙️ 安装要求和过程

    环境要求

    • 硬件后端：Apple Silicon（Metal，96 GB 以上内存最佳，小内存可走 SSD 流式加载）；NVIDIA CUDA 显卡（含 DGX Spark / GB10 多卡）；AMD ROCm（Strix Halo，如 Framework Desktop）。
    • 工具链：C 编译器（clang / gcc）；CUDA 需 nvcc，ROCm 需 hipcc。仅依赖系统工具链，无外部运行时依赖。
    • 模型权重：需单独从 Hugging Face（antirez/deepseek-v4-gguf）下载对应的 GGUF 文件，引擎不内置权重。

    快速安装

    # 克隆仓库
git clone https://github.com/antirez/ds4
cd ds4

# macOS（默认 Metal 后端）
make

# NVIDIA CUDA：DGX Spark / GB10
make cuda-spark
# 或通用本地 CUDA 构建
make cuda CUDA_ARCH=native

# AMD ROCm（Strix Halo / Framework Desktop，gfx1151）
make rocm

# CPU 参考 / 调试路径（非生产用途）
make cpu

    下载模型权重

    # 下载一个主模型（推荐 imatrix 版）
./download_model.sh ds4f-q2          # 96 / 128 GB 内存机器
./download_model.sh ds4f-q2-q4       # 末 6 层专家用 q4
./download_model.sh ds4f-q4          # ≥ 256 GB 内存
./download_model.sh ds4f-mxfp4       # 原生 MXFP4 专家，约 156 GB
./download_model.sh pro-q2-imatrix   # 512 GB 内存，PRO q2 imatrix 量化

    运行

    # 单条提示
./ds4 -p "用一段话解释 Redis Stream。"

# 进入多轮交互式对话
./ds4
ds4> /help

# 启动 OpenAI / Anthropic 兼容的本地服务
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192

    ✨ 核心功能

    DwarfStar 核心能力

    1. 贴近模型的「专用」引擎：不为通用 GGUF 设计，模型加载 / 分词 / 工具调用 / KV 缓存 / HTTP 服务 / 编码智能体垂直打通，针对少数量身优化的开源权重做专项调优。
    2. 三大后端原生加速：Metal（主战场，Mac 96 GB+）、NVIDIA CUDA（含多卡 / DGX Spark）、ROCm（Strix Halo）；内存不足的机器还能用 SSD 流式加载权重。
    3. 分布式推理：管道并行把多台机器的内存叠加起来跑更大的模型；基于 RDMA 的张量并行甚至能让两台 128 GB MacBook 合力运行 4-bit 的 DeepSeek Flash 或 GLM 5.2。
    4. 内置原生编码智能体：推理由智能体内部直接驱动、没有 socket / API 边界，会话本身就是磁盘上的 KV 缓存；工具调用走原生 LLM 格式，延迟极低、KV 永不错位，还能用 /save /switch 续上历史会话。
    5. OpenAI / Anthropic 兼容服务：ds4-server 提供 /v1/chat/completions、/v1/responses 等端点，支持多会话批处理与磁盘 KV 缓存，可完全私有化部署。

    DwarfStar 性能实测

    实测参考（q2 量化，意大利语长文本输入）：MacBook Pro M5 Max（128 GB，Metal）在 2K 上下文下预填约 790 t/s、生成约 39 t/s；DGX Spark GB10 预填可达 826 t/s。128 GB 内存即可流畅跑 DeepSeek V4 Flash。

    🎯 典型使用场景

    DwarfStar 适用场景

    1. 个人高端 Mac / 工作站本地跑强模型：MacBook M5 Max、Mac Studio M3 Ultra、DGX Spark、Framework Desktop 用户，无需联网、隐私不出本机即可使用 DeepSeek V4 级别的大模型。
    2. 把闲置旧 CUDA 卡变成多用户服务器：借助 CUDA 多卡与 ds4-server 的微批处理，把不再被 vLLM 支持的旧 Ada 架构显卡（如 8×L40S）改造成公司内部的多用户 LLM 服务。
    3. 企业内网私有化部署：用 OpenAI 兼容端点 + 磁盘 KV 缓存，配合工具调用承载客服、知识库问答、本地编码助手等智能体，数据全程不出内网。

    💡 推荐理由

    作为 Redis 作者的最新作品，ds4 最打动我的是它的「克制与专注」：它坦然承认自己不是万能的通用推理器，而是把一件事做到极致——让 DeepSeek V4 这类前沿开源权重在消费级 / 工作站级硬件上跑得又快又稳。对一个 C 写的单文件引擎来说，开箱即用的交互式 CLI、兼容 OpenAI 的服务端、甚至原生编码智能体全部到位，体验相当完整。

    特别加分的是项目的坦诚：antirez 在 README 里明确做了「AI 全程披露」，说明代码大量借助 GPT / Claude 完成、但由人类把握方向与测试，同时也郑重致谢 llama.cpp 与 GGML——这种开源精神值得点赞。需要提醒的是，项目目前仍处快速迭代的 beta 阶段、文档也在持续补全，适合愿意折腾、想把手里高端硬件榨干的朋友尝鲜。

    🔗 下载地址

  • AirLLM：单张 4GB 显卡跑起 70B 大模型，无需量化不损精度

    AirLLM：单张 4GB 显卡跑起 70B 大模型，无需量化不损精度

    如果你手头只有一张 4GB 显存的消费级显卡（比如 RTX 3050 / 4060），却想本地跑 70B 级别的大模型，AirLLM 是目前最省心的解法之一。它不靠量化、蒸馏或剪枝来”阉割”模型，而是用逐层加载的巧思，把推理所需的显存从”整个模型”压到”单层”，让穷人也能在本地玩转大模型。

    📌 项目简介

    AirLLM 是一个低显存大模型推理框架。它核心思路是一次只在 GPU 上保留一层权重，配合稀疏 MoE 的专家流式加载，使显存占用取决于”单层大小”而非”模型总大小”。因此在原生精度、零精度损失的前提下，单张 4GB 显卡就能跑 70B 模型，8GB 跑 405B，约 12GB 跑 DeepSeek-V3（671B）。

    🛠 安装要求和过程

    环境要求

    • Python 3.8+ 与 PyTorch（CUDA 可用 GPU，或 MacOS Apple Silicon 上的 MLX）
    • HuggingFace transformers 等依赖（仓库 requirements.txt 已列）
    • 需能联网拉取 HuggingFace 模型权重

    快速安装

    pip install airllm

    如需开启模型压缩加速（必须 airllm 2.0.0+）：

    pip install -U bitsandbytes
pip install -U airllm

    ⚡ 核心功能

    1. 极低显存推理：70B≈4GB、405B≈8GB、DeepSeek-V3 671B≈12GB、Kimi K3 2.8T 低于 4GB。
    2. 无量化/蒸馏/剪枝：原生精度运行，彻底告别量化带来的精度焦虑。
    3. 模型压缩加速：基于分块量化的 4bit/8bit 压缩，最高约 3× 推理加速，精度损失可忽略。
    4. AutoModel 统一接口：一行 from_pretrained 切换 Llama / Qwen / DeepSeek / Mistral / Phi / Gemma / ChatGLM 等。
    5. 多平台 + 预取：支持 Linux 与 MacOS（Apple silicon）；加载与计算重叠预取提速；稀疏 MoE 专家流式加载。
    AirLLM 模型压缩 3x 推理加速
    AirLLM 基于分块量化的 4bit/8bit 压缩可带来最高约 3× 推理加速，精度损失可忽略

    🎯 典型使用场景

    • 个人本地推理：开发者用 4–8GB 显卡在本地跑 70B/405B 模型做聊天、RAG、Agent，无需租用云 GPU。
    • 低成本大模型服务：在显存受限的边缘/低成本服务器上部署 DeepSeek-V3（671B）这类超大模型对外提供能力。
    • 教学与演示：在普通笔记本上现场演示大模型推理流程，无需昂贵的 A100/H100，课堂与 workshop 友好。

    💡 推荐理由（个人使用心得）

    AirLLM 真正把”穷人也能玩大模型”变成了现实——4GB 显卡就能跑 70B，门槛低到惊人。相比各种量化方案，它保留全精度输出，结果更可靠、更可复现；而且 AutoModel 接口与 HuggingFace transformers 几乎一致，迁移成本几乎为零。两点提醒：一是逐层加载牺牲了速度，更偏 demo / 研究，不适合高并发生产；二是需要能拉取 HF 权重，且开启压缩加速要额外装 bitsandbytes。整体而言，是入门本地大模型的极佳首选。

    🔗 下载地址

  • colibri：用纯 C 把 744B~2.8T MoE 大模型跑到本地

    colibri：用纯 C 把 744B~2.8T MoE 大模型跑到本地

    colibri 是近期 GitHub 上热度最高的本地推理引擎之一：只用纯 C 编写、零运行时依赖，就能把 744B 到 2.8T 参数的 MoE（混合专家）大模型跑在你现有的硬件上。它不是把模型硬塞进显存，而是把 VRAM、RAM 和 NVMe 当作同一层级来管理，按需从磁盘流式加载专家权重。项目上线一个月已收获 21.9K Stars，并支持 GLM-5.2、Inkling、Kimi K3、OLMoE 四大模型家族。

    本期我们就来拆解：colibri 是怎么让“本地运行千亿 MoE”这件事从神话变成可复现实验的。

    项目简介

    colibri 是一个面向前沿 MoE 模型的本地推理引擎。它用“存储即内存层级”的思路替代传统的“模型必须全进显存”假设：密集注意力层常驻 RAM，19456 个路由专家放在磁盘，只有在路由器真正需要时才被预取到 RAM/VRAM。这样一台只有 25 GB 内存的常规电脑也能把 744B 的 GLM-5.2 跑起来，而高端工作站则可以把全部专家驻留 GPU，达到接近数据中心的吞吐。

    配图速览

    colibri 核心速览
    colibri 核心数据一览
    三层存储层级
    colibri 把专家权重分布在 VRAM / RAM / NVMe 三个层级，速度随硬件变化，语义保持不变。

    安装要求和过程

    环境要求

    • 操作系统：Linux、macOS、Windows 11
    • 内存：最低 25 GB RAM（仅 CPU 流式）；推荐 128 GB 或更高，配合多 GPU 可获得更好体验
    • 磁盘：GLM-5.2 int4 容器约 372 GB；Kimi K3 原始检查点约 1.6 TB
    • 软件：Python 3（仅用于 launcher 和转换脚本）；编译源码需要 gcc/clang + OpenMP
    • GPU（可选）：CUDA、Metal（Apple Silicon）、Vulkan 1.2（含 AMD RADV）后端均可选

    快速安装

    1. 下载对应平台的预编译 release 并解压：
    mkdir colibri && tar xzf colibri-v1.1.0-linux-x86_64.tar.gz -C colibri && cd colibri
python3 coli info
    1. 或从源码构建：
    git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh
    1. 下载 GLM-5.2 int4 gs64 容器（推荐带 int8 MTP 头的版本）：
    # 推荐从 Hugging Face 拉取 mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp
# 约 372 GB，放 NVMe 上最佳
    1. 运行交互式聊天、API 服务或 Web 面板：
    COLI_MODEL=/nvme/glm52_i4 ./coli chat
COLI_MODEL=/nvme/glm52_i4 ./coli serve    # OpenAI-compatible API
./coli web --model /nvme/glm52_i4          # API + 可视化 dashboard

    核心功能

    1. 存储即内存层级
      把 VRAM、RAM、NVMe 统一成专家权重的放置策略。缺显存不会悄悄改模型精度或路由语义，只会影响速度。
    2. 按需流式加载专家
      MoE 每层只激活少量专家。colibri 让 19456 个专家中的绝大部分常驻磁盘，通过 per-layer LRU、学习到的热专家 pinned set 和一层提前预取（PILOT）减少磁盘等待。
    3. 纯 C 零依赖引擎
      每个模型对应一个 C 文件（如 c/glm.c），无 BLAS、无运行时 Python、无 GPU 也能跑。
    4. 多后端异构执行
      支持 CPU、CUDA、Metal、Vulkan 四种后端，可组合使用；双 SSD 镜像可把只读专家读取带宽翻倍。
    5. 学习缓存与压缩状态
      引擎记录你的工作负载路由历史（.coli_usage），越用越快；MLA KV 状态压缩到原来的 1/57，并能持久化对话上下文。

    典型使用场景

    场景一：个人开发者跑前沿模型做实验

    你只有一台 64 GB RAM + 1 TB NVMe 的台式机。传统 vLLM/llama.cpp 会把 744B 模型拒之门外；colibri 让你用 COLI_MODEL=/nvme/glm52_i4 ./coli chat 直接对话，虽然 token/s 不高，但足以做提示工程、长文本探索和小批量评估。

    场景二：工作室搭建本地私有 API

    在多卡工作站（如 6× RTX 5090）上，把专家全部驻留 GPU，colibri 可提供 5.8–6.8 tok/s 的解码速度和 1.6 s 的 TTFT。通过 coli serve 提供 OpenAI-compatible API，内部团队就能在不联网的情况下调用千亿模型。

    场景三：MoE 推理系统研究

    colibri 把放置策略、调度、I/O、CPU/GPU 重叠都做成可测量的实验参数。研究者可以替换缓存策略、测试双 SSD 镜像、评估 int4/int8/MXFP4 格式对质量的影响，并把结果以 issue 形式回馈社区。

    推荐理由

    colibri 最打动我的不是“跑 744B 模型”这个噱头，而是它把“本地推理”重新定义为系统优化问题：不盲目堆硬件，而是认真测量每一个瓶颈——磁盘带宽、专家命中率、KV 压缩、CPU/GPU 重叠、量化质量——并用可复现的 A/B 来做决策。README 里反复出现的不是营销数字，而是“这个功能在哪台机器上、用什么 commit、跑什么 prompt 测出来的”。

    对于国内用户，它还有一个隐性好处：GLM-5.2、Kimi K3、Qwen3 MoE（roadmap）等模型天然和中国模型生态更近，未来可以更低成本地跑开源中文大模型。

    当然，它现在还是研究导向的项目：没有 SLA 保证速度，配置参数很多，对磁盘和内存仍有一定要求。但如果你既想摸到前沿模型，又不想把数据送出去，colibri 是 2026 年最值得关注的本地推理引擎之一。

    下载地址

  • llmfit：一条命令，算出哪些大模型能在你的电脑上跑起来

    llmfit：一条命令，算出哪些大模型能在你的电脑上跑起来

    llmfit TUI 演示

    想在本地跑大模型，却总被「这张显卡能不能带得动？」「选哪个量化档位？」劝退？llmfit 把这道难题变成了一条命令：它自动检测你的内存、CPU、GPU，再为目录里数百个模型和提供商打分，直接告诉你哪些模型能在你的机器上流畅跑起来。下方动图就是它的交互式 TUI——硬件规格在顶部，下面是所有模型按「适配度」实时排名。

    📌 项目简介

    llmfit 是一款用 Rust 编写的终端工具，能根据系统的 RAM、CPU 与 GPU 自动「量体裁衣」地为 LLM 模型选型；它会检测硬件、对每一个模型从内存适配、速度估算、模型质量、上下文长度四个维度打分，并输出真正能在你机器上跑得动的推荐清单。默认提供交互式 TUI，也支持经典 CLI 模式，兼容多 GPU、MoE 架构、动态量化，以及 Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio 等本地运行时。

    🛠 安装要求和过程

    环境要求：

    • 预编译二进制，无需安装 Node.js / Python 运行时，开箱即用；
    • 支持 Windows / macOS / Linux，跨平台一致；
    • 可选：本地运行时（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）用于实测与部署；
    • 从源码构建需要 Rust 工具链（cargo）。

    快速安装（任选其一）：

    # macOS / Linux（Homebrew 预编译二进制，推荐）
brew install AlexsJones/llmfit/llmfit

# Windows（Scoop）
scoop install llmfit

# 一行脚本安装（无 sudo 时落到 ~/.local/bin）
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# Python 生态（uv / pip）
uv tool install -U llmfit      # 或 pip install llmfit

# Docker / Podman（直接出 JSON 推荐）
docker run ghcr.io/alexsjones/llmfit

# 从源码构建
git clone https://github.com/AlexsJones/llmfit.git && cd llmfit && cargo build --release

    跑起来：

    llmfit            # 进入交互式 TUI，看硬件 + 全模型排名
llmfit fit        # 命令行表格：所有模型按适配度排名
llmfit recommend --json   # 以 JSON 输出 Top 推荐（供脚本 / Agent 消费）
llmfit info "qwen2.5:7b"  # 单个模型的适配分析与估算依据
llmfit bench      # 对你的运行时实测 tok/s 与首字延迟
llmfit doctor     # 输出硬件检测报告（用于反馈问题）

    ✨ 核心功能

    llmfit 工作流程

    1. 硬件自动检测 + 四维评分：读取 RAM / CPU / GPU·VRAM 与本地后端，对目录里数百个模型按「内存适配、速度估算、模型质量、上下文长度」四维打分，并公开每个分数的输入依据，llmfit info 可逐项核查。
    2. TUI 交互 + CLI 脚本化：默认 TUI 实时排名、规划、模拟下载并接入社区榜单；同时提供 fit / recommend --json / info 等子命令，方便被脚本、CI 与 AI Agent 调用。
    3. 多 GPU、MoE 与动态量化：支持多卡配置与 MoE 架构（按激活参数而非总量估算显存），并会根据你的硬件动态选择最优量化档位（如 Q4 / Q8）。
    4. 本地运行时全覆盖：原生对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio，推荐结果可直接落地运行。
    5. 实测众包（benchmark & share）：在你机器上实测 tok/s，结果先存本地、再一键以 PR 贡献回社区，让同型号硬件的人拿到「已验证 ✓」的真实数字。

    🎯 典型使用场景

    llmfit 四大评分维度

    • 本地部署前选型：拿到一台新笔记本 / 显卡，先跑 llmfit 看 7B / 14B / 32B 甚至 70B 谁能在你的显存和内存里跑、大概多快，避免「下了 3 小时发现跑不起来」的尴尬。
    • 自动化流水线 / AI Agent：在部署脚本或 Coding Agent 里调用 llmfit recommend --json --use-case coding，根据当前主机规格自动挑选可运行的编码模型，做到「按机器适配」而非写死模型名。
    • 硬件升级决策：想加内存还是换显卡？用 llmfit info 对比不同配置下目标模型的适配与速度估算，量化升级带来的收益再下单。

    💡 推荐理由

    本地跑大模型最让人头大的就是「选型玄学」——参数规模、量化、上下文、显存、内存交织在一起，靠经验猜十次翻车八次。llmfit 把这件事变成了可解释、可验证的工程问题：它不只给结论，还把每个估算的输入摊开给你看，并鼓励你用真实 benchmark 反哺社区。Rust 编写的单文件二进制启动极快、零运行时依赖，TUI 好看、CLI 好接，是个人本地 AI 实验室和企业内网「该跑哪个模型」决策的贴心小助手。30K+ Star、MIT 协议、隐私默认（不联网不上传），值得收藏。

    🔗 下载地址

  • llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

    llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

    llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

    llama.cpp 项目预览

    📝 项目简介

    llama.cpp 是一个用纯 C/C++ 实现、零外部依赖的大语言模型（LLM）推理引擎。它让你无需 Python 环境、无需昂贵显卡，就能在笔记本、树莓派甚至手机上高性能地运行 LLaMA、Qwen、Gemma、Mistral 等主流开源模型——可以说，它是当下几乎所有「本地跑大模型」工具的底层基石。

    🌐 官网：https://llama.app

    📦 GitHub：https://github.com/ggml-org/llama.cpp

    ⭐ Stars：119.5K+

    📄 开源协议：MIT License

    💻 主要语言：C / C++

    💻 安装要求和过程

    环境要求

    • C/C++ 编译器：GCC / Clang / MSVC，支持 C++11 及以上
    • CMake 3.8+：从源码构建时需要
    • 可选 GPU 后端：CUDA（NVIDIA）、ROCm（AMD）、Metal（Apple Silicon）、Vulkan、SYCL 等，用于硬件加速
    • 可选 Python 3：仅用于模型格式转换脚本 convert_*.py
    • 支持平台：macOS / Linux / Windows，以及 iOS、Android、浏览器（WASM）等

    快速安装步骤

    方式一：包管理器一键安装（推荐新手）

    # macOS
brew install llama.cpp

# Windows
winget install llama.cpp

# Conda
conda install -c conda-forge llama-cpp

    方式二：Docker 运行（自带 API 服务）

    docker run -p 8080:8080 -v ./models:/models \
  ghcr.io/ggml-org/llama.cpp:server -m /models/your_model.gguf

    方式三：从源码构建

    git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release

    快速开始：下载并运行一个模型

    # 命令行对话（自动从 Hugging Face 拉取 GGUF 模型）
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动 OpenAI 兼容的 API 服务（含简易 WebUI）
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

    ✨ 核心功能

    1. 🪶 纯 C/C++ 零依赖，极致轻量

    不依赖 PyTorch、不依赖 Python 运行时，编译出一个二进制文件即可运行。极小的体积和无依赖特性，让它可以被移植到几乎所有计算设备——这正是它能跑在树莓派和手机上的根本原因。

    2. ⚡ 全平台硬件加速与混合推理

    针对 Apple Silicon（Metal / ARM NEON）、x86（AVX2 / AVX-512 / AMX）、RISC-V 等架构做了深度优化；支持 NVIDIA（CUDA）、AMD（ROCm）、摩尔线程（MUSA）、Vulkan、SYCL、OpenCL 等多种后端。CPU+GPU 混合推理甚至能运行超过显存容量的超大模型。

    3. 🗜️ GGUF 格式与 1.5~8 bit 量化

    模型统一封装为 GGUF 格式，并支持从 1.5-bit 到 8-bit 的整数量化。量化后显存与内存占用大幅下降，让消费级显卡甚至纯 CPU 也能流畅运行 70B 级别的大模型。

    4. 🔌 OpenAI 兼容 API 服务

    llama-server 提供与 OpenAI 完全兼容的 /v1 接口，并自带简易 WebUI。你现有的基于 OpenAI SDK 的应用几乎零改动就能切换到本地模型，彻底摆脱对云服务的依赖。

    5. 🧰 丰富的推理工具链

    内置 llama-bench（性能基准测试）、llama-perplexity（困惑度评估）、llama-quantize（模型量化）以及基于 GBNF 语法的约束解码（强制输出 JSON / 特定格式），覆盖从评测到生产的完整链路。

    🎯 典型使用场景

    场景一：在笔记本 / 手机上本地聊天，隐私数据不出端

    下载一个量化后的 Qwen 或 Gemma 模型，用 llama-cli 即可在断网环境下与 AI 对话。所有数据都在本地处理，特别适合处理合同、代码、笔记等敏感内容。

    场景二：自建私有 OpenAI 兼容推理服务

    在内网或离线环境中启动 llama-server，把本地模型包装成标准 API。前端应用、RAG 系统、Agent 框架（如 LangChain、Dify）都能直接对接，既保证数据合规，又省下云推理费用。

    llama-server -m models/qwen2.5-7b-instruct-q4_k_m.gguf --port 8080

    场景三：边缘设备与嵌入式部署

    在树莓派、工控机、车载设备上编译运行 llama.cpp，为 IoT 场景提供离线语音助手、本地知识问答等能力。配合量化技术，几百 MB 内存即可驱动一个可用的小模型。

    💡 推荐理由

    作为一名经常折腾本地大模型的开发者，我对 llama.cpp 的感情可以用「基石」二字形容。在它出现之前，想本地跑一个开源模型意味着安装几十 GB 的 PyTorch 环境，且基本只能在高端显卡上跑；llama.cpp 用纯 C/C++ 把这件事拉到了「人人可玩」的门槛。

    我的几点使用心得：

    • 它是整个生态的地基：Ollama、LM Studio、Jan、Open WebUI 乃至无数上层应用，底层推理几乎都调用了 llama.cpp。理解它，就理解了「本地 AI」的半壁江山。
    • 量化是性价比之王：7B 模型用 Q4_K_M 量化后体积不到 5GB，在普通笔记本上就能达到可用速度，是入门本地模型的最佳起点。
    • OpenAI 兼容接口太省心：一条 llama-server 命令就把本地模型变成标准 API，让我能把线上项目无痛切换到离线环境做.demo或内网部署。
    • 更新极快、社区极活跃：几乎每周都有新后端、新量化方法的合并，119K+ 的 Stars 背后是庞大而健康的贡献者群体。

    如果你想真正搞懂「大模型是怎么在本地跑起来的」，llama.cpp 是 2026 年依旧最值得 clone 一份源码、逐行读一读的开源项目。

    📥 下载地址

    🌐 官方网站：https://llama.app

    📦 GitHub 仓库：https://github.com/ggml-org/llama.cpp

    📚 官方文档：github.com/ggml-org/llama.cpp/docs

    🤗 GGUF 模型库：huggingface.co/ggml-org

    🐳 Docker 镜像：ghcr.io/ggml-org/llama.cpp

    📌 本文是《GitHub 热门 AI 开源项目》系列的第 95 期，每期介绍一个热门的 AI 开源项目。欢迎关注本栏目，获取更多优质开源项目介绍！

  • Stable Diffusion WebUI：最流行的AI图像生成工具，163K+ Stars让你在浏览器里玩转Stable Diffusion

    Stable Diffusion WebUI：最流行的AI图像生成工具，163K+ Stars让你在浏览器里玩转Stable Diffusion

    Stable Diffusion WebUI 界面截图

    🎨 项目简介

    Stable Diffusion WebUI 是由 AUTOMATIC1111 开发的基于 Gradio 框架的 Stable Diffusion 浏览器交互界面，是 AI 图像生成领域最流行、功能最完整的开源工具。只需简单部署，即可在浏览器中完成文生图、图生图、模型训练、参数微调等全流程 AI 绘画操作。

    🟣 163K+ Stars
    📦 最流行 AI 绘画工具
    🔧 丰富扩展生态
    💻 本地私有部署

    ⚙️ 安装要求和过程

    环境要求

    • Python 3.10.6（更高版本可能不兼容 torch）
    • Git
    • NVIDIA 显卡（推荐 4GB+ 显存，2GB 也可运行）
    • 或 AMD 显卡 / Intel 核显 / Apple Silicon（需参考对应安装指南）

    Windows 快速安装（推荐方式）

    # 方式1：一键包（最简单）
    下载 v1.0.0-pre 版本的 sd.webui.zip
    解压后依次运行 update.bat 和 run.bat 即可

    # 方式2：源码安装
    1. 安装 Python 3.10.6（勾选 “Add Python to PATH”）
    2. 安装 Git
    3. 克隆仓库：
    git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
    4. 双击运行 webui-user.bat

    Linux 安装

    # Debian/Ubuntu
    sudo apt install wget git python3 python3-venv libgl1 libglib2.0-0
    git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
    cd stable-diffusion-webui
    ./webui.sh

    🚀 核心功能

    🖼️ 文生图 / 图生图
    支持 txt2img 和 img2img 核心模式，内置参数调节、分辨率控制、批处理

    🎭 Inpainting / Outpainting
    支持局部重绘（内绘）和扩展画布（外绘），智能补全图像内容

    🔧 模型与扩展
    支持 Textual Inversion、LoRA、Hypernetworks，兼容数千个社区扩展插件

    🎨 后期处理与超分
    集成 GFPGAN、CodeFormer 人脸修复，RealESRGAN 超分辨率，批处理工具

    🎯 Attention 精准控制
    支持 ((keyword)) 和 (keyword:weight) 语法精确控制模型对提示词的关注度

    💡 典型使用场景

    🎬 场景一：AI 艺术创作

    输入自然语言提示词（如 “a fantasy castle on a floating island, digital art, trending on ArtStation”），即可生成高质量 AI 艺术作品。通过 Negative Prompt 排除不想要的元素，使用 X/Y/Z plot 批量测试不同参数组合，快速找到最佳生成配置。

    🔄 场景二：图生图风格转换

    上传参考图片，配合提示词进行风格转换（如将照片转为动漫风格、油画风格）。支持 Denoising strength 控制与原图的相似度，配合 Inpainting 可精确重绘指定区域（如更换人物服装、修改背景）。

    🏋️ 场景三：LoRA 模型微调与训练

    使用 Training 标签页训练自己的 Textual Inversion 嵌入或 LoRA 模型，只需几十张样本图片即可学习特定人物、风格或物品特征。训练完成后一键加载，在生成中调用自定义概念，实现个性化 AI 绘画。

    🌟 推荐理由

    Stable Diffusion WebUI 是 AI 绘画领域毫无争议的标杆工具。作为 GitHub 上 Star 数最多的 Stable Diffusion 界面（163K+），它不仅功能全面，更重要的是拥有最活跃的社区和扩展生态——目前已有数千个自定义脚本和扩展插件，覆盖从人脸修复、批量处理到 ComfyUI 工作流集成的各类需求。

    与云端 AI 绘画服务（如 Midjourney）相比，WebUI 的最大优势是完全本地运行，无需付费订阅，数据隐私有保障，且支持任意开源 Stable Diffusion 模型（SD1.5/SD2.0/SDXL/SD3 等）。对显存的要求也相当亲民——4GB 显存即可流畅运行，甚至 2GB 也有成功案例。

    无论你是 AI 艺术创作者、游戏美术设计师，还是仅仅对 AI 绘画感兴趣的爱好者，Stable Diffusion WebUI 都是最好的起点。一键安装脚本让部署变得异常简单，丰富的教程资源和社区支持也能帮助你快速上手。

    AI绘画
    Stable Diffusion
    图像生成
    本地部署
    开源