标签：推理引擎

DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎
📌 项目简介

DwarfStar（简称 ds4）是 Redis 作者 antirez（Salvatore Sanfilippo）开源的一个原生本地推理引擎，专门为 DeepSeek V4 Flash / PRO 与 GLM 5.2 这类开源权重打造。它不追求做成通用 GGUF 运行器，而是把模型加载、分词、工具调用、KV 缓存、HTTP 服务乃至内置编码智能体垂直打通、一起调优；整个引擎用纯 C 编写、单文件二进制、零外部运行时依赖，在 Metal / CUDA / ROCm 三大后端上都能跑。

⚙️ 安装要求和过程

环境要求
- 硬件后端：Apple Silicon（Metal，96 GB 以上内存最佳，小内存可走 SSD 流式加载）；NVIDIA CUDA 显卡（含 DGX Spark / GB10 多卡）；AMD ROCm（Strix Halo，如 Framework Desktop）。
- 工具链：C 编译器（clang / gcc）；CUDA 需 nvcc，ROCm 需 hipcc。仅依赖系统工具链，无外部运行时依赖。
- 模型权重：需单独从 Hugging Face（antirez/deepseek-v4-gguf）下载对应的 GGUF 文件，引擎不内置权重。
快速安装
```
# 克隆仓库
git clone https://github.com/antirez/ds4
cd ds4

# macOS（默认 Metal 后端）
make

# NVIDIA CUDA：DGX Spark / GB10
make cuda-spark
# 或通用本地 CUDA 构建
make cuda CUDA_ARCH=native

# AMD ROCm（Strix Halo / Framework Desktop，gfx1151）
make rocm

# CPU 参考 / 调试路径（非生产用途）
make cpu
```
下载模型权重
```
# 下载一个主模型（推荐 imatrix 版）
./download_model.sh ds4f-q2          # 96 / 128 GB 内存机器
./download_model.sh ds4f-q2-q4       # 末 6 层专家用 q4
./download_model.sh ds4f-q4          # ≥ 256 GB 内存
./download_model.sh ds4f-mxfp4       # 原生 MXFP4 专家，约 156 GB
./download_model.sh pro-q2-imatrix   # 512 GB 内存，PRO q2 imatrix 量化
```
运行
```
# 单条提示
./ds4 -p "用一段话解释 Redis Stream。"

# 进入多轮交互式对话
./ds4
ds4> /help

# 启动 OpenAI / Anthropic 兼容的本地服务
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192
```
✨ 核心功能
1. 贴近模型的「专用」引擎：不为通用 GGUF 设计，模型加载 / 分词 / 工具调用 / KV 缓存 / HTTP 服务 / 编码智能体垂直打通，针对少数量身优化的开源权重做专项调优。
2. 三大后端原生加速：Metal（主战场，Mac 96 GB+）、NVIDIA CUDA（含多卡 / DGX Spark）、ROCm（Strix Halo）；内存不足的机器还能用 SSD 流式加载权重。
3. 分布式推理：管道并行把多台机器的内存叠加起来跑更大的模型；基于 RDMA 的张量并行甚至能让两台 128 GB MacBook 合力运行 4-bit 的 DeepSeek Flash 或 GLM 5.2。
4. 内置原生编码智能体：推理由智能体内部直接驱动、没有 socket / API 边界，会话本身就是磁盘上的 KV 缓存；工具调用走原生 LLM 格式，延迟极低、KV 永不错位，还能用 /save /switch 续上历史会话。
5. OpenAI / Anthropic 兼容服务：ds4-server 提供 /v1/chat/completions、/v1/responses 等端点，支持多会话批处理与磁盘 KV 缓存，可完全私有化部署。
实测参考（q2 量化，意大利语长文本输入）：MacBook Pro M5 Max（128 GB，Metal）在 2K 上下文下预填约 790 t/s、生成约 39 t/s；DGX Spark GB10 预填可达 826 t/s。128 GB 内存即可流畅跑 DeepSeek V4 Flash。

🎯 典型使用场景
1. 个人高端 Mac / 工作站本地跑强模型：MacBook M5 Max、Mac Studio M3 Ultra、DGX Spark、Framework Desktop 用户，无需联网、隐私不出本机即可使用 DeepSeek V4 级别的大模型。
2. 把闲置旧 CUDA 卡变成多用户服务器：借助 CUDA 多卡与 ds4-server 的微批处理，把不再被 vLLM 支持的旧 Ada 架构显卡（如 8×L40S）改造成公司内部的多用户 LLM 服务。
3. 企业内网私有化部署：用 OpenAI 兼容端点 + 磁盘 KV 缓存，配合工具调用承载客服、知识库问答、本地编码助手等智能体，数据全程不出内网。
💡 推荐理由

作为 Redis 作者的最新作品，ds4 最打动我的是它的「克制与专注」：它坦然承认自己不是万能的通用推理器，而是把一件事做到极致——让 DeepSeek V4 这类前沿开源权重在消费级 / 工作站级硬件上跑得又快又稳。对一个 C 写的单文件引擎来说，开箱即用的交互式 CLI、兼容 OpenAI 的服务端、甚至原生编码智能体全部到位，体验相当完整。

特别加分的是项目的坦诚：antirez 在 README 里明确做了「AI 全程披露」，说明代码大量借助 GPT / Claude 完成、但由人类把握方向与测试，同时也郑重致谢 llama.cpp 与 GGML——这种开源精神值得点赞。需要提醒的是，项目目前仍处快速迭代的 beta 阶段、文档也在持续补全，适合愿意折腾、想把手里高端硬件榨干的朋友尝鲜。

🔗 下载地址
- GitHub：https://github.com/antirez/ds4
- 模型权重（Hugging Face）：https://huggingface.co/antirez/deepseek-v4-gguf
- 许可协议：MIT（部分 GGUF 量化逻辑沿用 llama.cpp 的 MIT 版权声明）
2026年8月8日
AirLLM：单张 4GB 显卡跑起 70B 大模型，无需量化不损精度
如果你手头只有一张 4GB 显存的消费级显卡（比如 RTX 3050 / 4060），却想本地跑 70B 级别的大模型，AirLLM 是目前最省心的解法之一。它不靠量化、蒸馏或剪枝来”阉割”模型，而是用逐层加载的巧思，把推理所需的显存从”整个模型”压到”单层”，让穷人也能在本地玩转大模型。

📌 项目简介

AirLLM 是一个低显存大模型推理框架。它核心思路是一次只在 GPU 上保留一层权重，配合稀疏 MoE 的专家流式加载，使显存占用取决于”单层大小”而非”模型总大小”。因此在原生精度、零精度损失的前提下，单张 4GB 显卡就能跑 70B 模型，8GB 跑 405B，约 12GB 跑 DeepSeek-V3（671B）。

🛠 安装要求和过程

环境要求
- Python 3.8+ 与 PyTorch（CUDA 可用 GPU，或 MacOS Apple Silicon 上的 MLX）
- HuggingFace transformers 等依赖（仓库 requirements.txt 已列）
- 需能联网拉取 HuggingFace 模型权重
快速安装
```
pip install airllm
```
如需开启模型压缩加速（必须 airllm 2.0.0+）：
```
pip install -U bitsandbytes
pip install -U airllm
```
⚡ 核心功能
1. 极低显存推理：70B≈4GB、405B≈8GB、DeepSeek-V3 671B≈12GB、Kimi K3 2.8T 低于 4GB。
2. 无量化/蒸馏/剪枝：原生精度运行，彻底告别量化带来的精度焦虑。
3. 模型压缩加速：基于分块量化的 4bit/8bit 压缩，最高约 3× 推理加速，精度损失可忽略。
4. AutoModel 统一接口：一行 from_pretrained 切换 Llama / Qwen / DeepSeek / Mistral / Phi / Gemma / ChatGLM 等。
5. 多平台 + 预取：支持 Linux 与 MacOS（Apple silicon）；加载与计算重叠预取提速；稀疏 MoE 专家流式加载。
AirLLM 基于分块量化的 4bit/8bit 压缩可带来最高约 3× 推理加速，精度损失可忽略

🎯 典型使用场景
- 个人本地推理：开发者用 4–8GB 显卡在本地跑 70B/405B 模型做聊天、RAG、Agent，无需租用云 GPU。
- 低成本大模型服务：在显存受限的边缘/低成本服务器上部署 DeepSeek-V3（671B）这类超大模型对外提供能力。
- 教学与演示：在普通笔记本上现场演示大模型推理流程，无需昂贵的 A100/H100，课堂与 workshop 友好。
💡 推荐理由（个人使用心得）

AirLLM 真正把”穷人也能玩大模型”变成了现实——4GB 显卡就能跑 70B，门槛低到惊人。相比各种量化方案，它保留全精度输出，结果更可靠、更可复现；而且 AutoModel 接口与 HuggingFace transformers 几乎一致，迁移成本几乎为零。两点提醒：一是逐层加载牺牲了速度，更偏 demo / 研究，不适合高并发生产；二是需要能拉取 HF 权重，且开启压缩加速要额外装 bitsandbytes。整体而言，是入门本地大模型的极佳首选。

🔗 下载地址
- GitHub 仓库：https://github.com/lyogavin/airllm
- PyPI 安装页：https://pypi.org/project/airllm/
- 作者博客：https://gavinliblog.com
2026年8月3日
colibri：用纯 C 把 744B~2.8T MoE 大模型跑到本地
colibri 是近期 GitHub 上热度最高的本地推理引擎之一：只用纯 C 编写、零运行时依赖，就能把 744B 到 2.8T 参数的 MoE（混合专家）大模型跑在你现有的硬件上。它不是把模型硬塞进显存，而是把 VRAM、RAM 和 NVMe 当作同一层级来管理，按需从磁盘流式加载专家权重。项目上线一个月已收获 21.9K Stars，并支持 GLM-5.2、Inkling、Kimi K3、OLMoE 四大模型家族。

本期我们就来拆解：colibri 是怎么让“本地运行千亿 MoE”这件事从神话变成可复现实验的。

项目简介

colibri 是一个面向前沿 MoE 模型的本地推理引擎。它用“存储即内存层级”的思路替代传统的“模型必须全进显存”假设：密集注意力层常驻 RAM，19456 个路由专家放在磁盘，只有在路由器真正需要时才被预取到 RAM/VRAM。这样一台只有 25 GB 内存的常规电脑也能把 744B 的 GLM-5.2 跑起来，而高端工作站则可以把全部专家驻留 GPU，达到接近数据中心的吞吐。

配图速览

colibri 核心数据一览

colibri 把专家权重分布在 VRAM / RAM / NVMe 三个层级，速度随硬件变化，语义保持不变。

安装要求和过程

环境要求
- 操作系统：Linux、macOS、Windows 11
- 内存：最低 25 GB RAM（仅 CPU 流式）；推荐 128 GB 或更高，配合多 GPU 可获得更好体验
- 磁盘：GLM-5.2 int4 容器约 372 GB；Kimi K3 原始检查点约 1.6 TB
- 软件：Python 3（仅用于 launcher 和转换脚本）；编译源码需要 gcc/clang + OpenMP
- GPU（可选）：CUDA、Metal（Apple Silicon）、Vulkan 1.2（含 AMD RADV）后端均可选
快速安装
1. 下载对应平台的预编译 release 并解压：
```
mkdir colibri && tar xzf colibri-v1.1.0-linux-x86_64.tar.gz -C colibri && cd colibri
python3 coli info
```
1. 或从源码构建：
```
git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh
```
1. 下载 GLM-5.2 int4 gs64 容器（推荐带 int8 MTP 头的版本）：
```
# 推荐从 Hugging Face 拉取 mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp
# 约 372 GB，放 NVMe 上最佳
```
1. 运行交互式聊天、API 服务或 Web 面板：
```
COLI_MODEL=/nvme/glm52_i4 ./coli chat
COLI_MODEL=/nvme/glm52_i4 ./coli serve    # OpenAI-compatible API
./coli web --model /nvme/glm52_i4          # API + 可视化 dashboard
```
核心功能
1. 存储即内存层级
  把 VRAM、RAM、NVMe 统一成专家权重的放置策略。缺显存不会悄悄改模型精度或路由语义，只会影响速度。
2. 按需流式加载专家
  MoE 每层只激活少量专家。colibri 让 19456 个专家中的绝大部分常驻磁盘，通过 per-layer LRU、学习到的热专家 pinned set 和一层提前预取（PILOT）减少磁盘等待。
3. 纯 C 零依赖引擎
  每个模型对应一个 C 文件（如 c/glm.c），无 BLAS、无运行时 Python、无 GPU 也能跑。
4. 多后端异构执行
  支持 CPU、CUDA、Metal、Vulkan 四种后端，可组合使用；双 SSD 镜像可把只读专家读取带宽翻倍。
5. 学习缓存与压缩状态
  引擎记录你的工作负载路由历史（.coli_usage），越用越快；MLA KV 状态压缩到原来的 1/57，并能持久化对话上下文。
典型使用场景

场景一：个人开发者跑前沿模型做实验

你只有一台 64 GB RAM + 1 TB NVMe 的台式机。传统 vLLM/llama.cpp 会把 744B 模型拒之门外；colibri 让你用 COLI_MODEL=/nvme/glm52_i4 ./coli chat 直接对话，虽然 token/s 不高，但足以做提示工程、长文本探索和小批量评估。

场景二：工作室搭建本地私有 API

在多卡工作站（如 6× RTX 5090）上，把专家全部驻留 GPU，colibri 可提供 5.8–6.8 tok/s 的解码速度和 1.6 s 的 TTFT。通过 coli serve 提供 OpenAI-compatible API，内部团队就能在不联网的情况下调用千亿模型。

场景三：MoE 推理系统研究

colibri 把放置策略、调度、I/O、CPU/GPU 重叠都做成可测量的实验参数。研究者可以替换缓存策略、测试双 SSD 镜像、评估 int4/int8/MXFP4 格式对质量的影响，并把结果以 issue 形式回馈社区。

推荐理由

colibri 最打动我的不是“跑 744B 模型”这个噱头，而是它把“本地推理”重新定义为系统优化问题：不盲目堆硬件，而是认真测量每一个瓶颈——磁盘带宽、专家命中率、KV 压缩、CPU/GPU 重叠、量化质量——并用可复现的 A/B 来做决策。README 里反复出现的不是营销数字，而是“这个功能在哪台机器上、用什么 commit、跑什么 prompt 测出来的”。

对于国内用户，它还有一个隐性好处：GLM-5.2、Kimi K3、Qwen3 MoE（roadmap）等模型天然和中国模型生态更近，未来可以更低成本地跑开源中文大模型。

当然，它现在还是研究导向的项目：没有 SLA 保证速度，配置参数很多，对磁盘和内存仍有一定要求。但如果你既想摸到前沿模型，又不想把数据送出去，colibri 是 2026 年最值得关注的本地推理引擎之一。

下载地址
- GitHub 仓库：https://github.com/JustVugg/colibri
- 官方网站：https://justvugg.github.io/colibri
- GLM-5.2 int4 容器：Hugging Face
- 讨论区：Discord
2026年8月2日
KTransformers：让消费级显卡跑起 DeepSeek 的异构推理引擎
项目简介

KTransformers 是清华大学 MADSys 实验室联合 Approaching.AI 等团队开源的大模型异构推理与微调框架。它最出圈的能力，是让一块 24GB 显存的消费级显卡（如 RTX 4090）也能流畅运行 DeepSeek-V3 / R1 这类数百 GB 的巨型 MoE 模型——把”热专家”放在 GPU、”冷专家”卸载到 CPU/内存，配合 INT4/INT8/FP8 量化与 AMX/AVX 指令集优化，在本地把推理速度做到可用甚至惊艳。

安装要求和过程

环境要求：
- Python 3.10 / 3.11 / 3.12（官方预编译 wheel 支持这三个版本）
- Linux x86-64（manylinux_2_17），CPU 需支持 AVX2（Intel Haswell 2013+ / AMD Zen+ 及以上）
- 可选 NVIDIA GPU，计算能力 8.0+（Ampere / Ada / Hopper，如 A100、RTX 3090/4090、H100）；无需安装 CUDA toolkit，静态 CUDA 运行时已内置
- 运行超大规模 MoE（如 DeepSeek-V3/R1）时，建议 64GB~382GB 内存用于专家卸载
快速安装（PyPI，推荐大多数用户）：
```
pip install kt-kernel
```
一行命令即装好含自动 CPU 检测、多指令集变体与 CUDA 加速的推理内核，无需编译。验证安装：
```
kt version          # 查看 CLI 版本与检测到的 CPU 变体
python -c "from kt_kernel import KTMoEWrapper; print('ok')"
```
从源码编译（需要自定义 / AMD BLIS / ARM KML 后端）：
```
git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers/kt-kernel
git submodule update --init --recursive
./install.sh        # 自动检测 CPU 并 -march=native 编译
```
一条命令跑起来（自动适配硬件）：
```
kt run m2           # 启动模型推理服务（自动优化参数）
kt chat             # 另开终端开始对话
```
核心功能
- CPU-GPU 异构推理（expert offload）：把 Mixture-of-Experts 中高频访问的”热专家”留在 GPU，低频”冷专家”卸载到 CPU 与内存，显存占用从数十 GB 降到单卡 24GB 即可跑 DeepSeek-R1/V3。
- 多指令集深度优化内核：内置 AMX（Intel Sapphire Rapids+）、AVX512（含 BF16/VNNI/VBMI）、AVX2 等多套 CPU 内核变体，运行时按 CPU 自动选择，并支持原生 FP8/BF16/INT4 精度。
- 量化与长上下文：支持 CPU 侧 INT4/INT8 量化权重与 GPU 侧 GPTQ，配合 unsloth 1.58/2.51bit 与 IQ1_S/FP8 混合权重；可在 24GB 显存下放飞 139K+ 长上下文。
- 微调（SFT）× LLaMA-Factory：支持在有限显存上对 DeepSeek-V3/R1、Qwen3-MoE 等超大 MoE 做 LoRA 微调，官方称比 ZeRO-Offload 快 6~12 倍、CPU 内存减半。
- 生产级集成：提供干净的 Python API，可无缝接入 SGLang 做生产部署，实现”热专家 GPU / 冷专家 CPU”的异构服务。
图：KTransformers × LLaMA-Factory 在有限显存上微调超大 MoE 模型

典型使用场景
- 本地私有化跑 DeepSeek 满血版：开发者用一台配 24GB 显卡 + 大内存的主机，本地部署 DeepSeek-R1/V3 做代码助手、知识库问答，数据不出机器。
- 高并发推理服务：在 8×L20 + Xeon 的服务器上，官方实测 DeepSeek-R1-0528（FP8）总吞吐 227.85 tokens/s、8 路并发输出 87.58 tokens/s，适合中小团队自建推理网关。
- 超大模型低成本微调：用 4×RTX 4090 对 DeepSeek-V3 做 LoRA 微调（约 80GB 显存、3.7 it/s），或用单张 4090 微调 Qwen3-30B-A3B（8+ it/s），把训练成本打到消费级。
推荐理由

大模型推理的门槛，过去被”显存”死死卡住——想本地跑 DeepSeek 满血版，要么堆 H100 要么云上烧钱。KTransformers 的价值正在于此：它不跟你拼硬件，而是用异构调度 + 量化 + CPU 指令集优化把”不可能”变成”在家就能跑”。对预算有限的个人开发者、想做私有化部署的小团队、以及研究 MoE 推理优化的工程师来说，它是目前最务实的本地推理方案之一。

工程上它也很”乖”：从 pip install kt-kernel 到 kt run 一条命令起服务，内置 CPU 变体自动检测、NUMA 感知线程池，连 CUDA toolkit 都不用装。唯一的代价是——它目前主要面向 Linux x86-64，且吃内存（专家卸载越多越吃），上 Windows 原生或低内存机器要谨慎。但瑕不掩瑜，如果你想体验”把大模型装进自己电脑”，KTransformers 值得第一个试。

下载地址
- GitHub：github.com/kvcache-ai/ktransformers
- 官方文档：kvcache-ai.github.io/ktransformers
- PyPI：pypi.org/project/kt-kernel
- kt-kernel 推理文档：kt-kernel/README.md
- 微调（SFT）文档：SFT Quick Start
许可：Apache-2.0 ｜语言：Python / C++ ｜维护：清华大学 MADSys 实验室、Approaching.AI、9#AISoft 及社区
2026年7月20日
llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎
llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

📝 项目简介

llama.cpp 是一个用纯 C/C++ 实现、零外部依赖的大语言模型（LLM）推理引擎。它让你无需 Python 环境、无需昂贵显卡，就能在笔记本、树莓派甚至手机上高性能地运行 LLaMA、Qwen、Gemma、Mistral 等主流开源模型——可以说，它是当下几乎所有「本地跑大模型」工具的底层基石。

🌐 官网：https://llama.app

📦 GitHub：https://github.com/ggml-org/llama.cpp

⭐ Stars：119.5K+

📄 开源协议：MIT License

💻 主要语言：C / C++

💻 安装要求和过程

环境要求
- C/C++ 编译器：GCC / Clang / MSVC，支持 C++11 及以上
- CMake 3.8+：从源码构建时需要
- 可选 GPU 后端：CUDA（NVIDIA）、ROCm（AMD）、Metal（Apple Silicon）、Vulkan、SYCL 等，用于硬件加速
- 可选 Python 3：仅用于模型格式转换脚本 convert_*.py
- 支持平台：macOS / Linux / Windows，以及 iOS、Android、浏览器（WASM）等
快速安装步骤

方式一：包管理器一键安装（推荐新手）
```
# macOS
brew install llama.cpp

# Windows
winget install llama.cpp

# Conda
conda install -c conda-forge llama-cpp
```
方式二：Docker 运行（自带 API 服务）
```
docker run -p 8080:8080 -v ./models:/models \
  ghcr.io/ggml-org/llama.cpp:server -m /models/your_model.gguf
```
方式三：从源码构建
```
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release
```
快速开始：下载并运行一个模型
```
# 命令行对话（自动从 Hugging Face 拉取 GGUF 模型）
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动 OpenAI 兼容的 API 服务（含简易 WebUI）
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080
```
✨ 核心功能

1. 🪶 纯 C/C++ 零依赖，极致轻量

不依赖 PyTorch、不依赖 Python 运行时，编译出一个二进制文件即可运行。极小的体积和无依赖特性，让它可以被移植到几乎所有计算设备——这正是它能跑在树莓派和手机上的根本原因。

2. ⚡ 全平台硬件加速与混合推理

针对 Apple Silicon（Metal / ARM NEON）、x86（AVX2 / AVX-512 / AMX）、RISC-V 等架构做了深度优化；支持 NVIDIA（CUDA）、AMD（ROCm）、摩尔线程（MUSA）、Vulkan、SYCL、OpenCL 等多种后端。CPU+GPU 混合推理甚至能运行超过显存容量的超大模型。

3. 🗜️ GGUF 格式与 1.5~8 bit 量化

模型统一封装为 GGUF 格式，并支持从 1.5-bit 到 8-bit 的整数量化。量化后显存与内存占用大幅下降，让消费级显卡甚至纯 CPU 也能流畅运行 70B 级别的大模型。

4. 🔌 OpenAI 兼容 API 服务

llama-server 提供与 OpenAI 完全兼容的 /v1 接口，并自带简易 WebUI。你现有的基于 OpenAI SDK 的应用几乎零改动就能切换到本地模型，彻底摆脱对云服务的依赖。

5. 🧰 丰富的推理工具链

内置 llama-bench（性能基准测试）、llama-perplexity（困惑度评估）、llama-quantize（模型量化）以及基于 GBNF 语法的约束解码（强制输出 JSON / 特定格式），覆盖从评测到生产的完整链路。

🎯 典型使用场景

场景一：在笔记本 / 手机上本地聊天，隐私数据不出端

下载一个量化后的 Qwen 或 Gemma 模型，用 llama-cli 即可在断网环境下与 AI 对话。所有数据都在本地处理，特别适合处理合同、代码、笔记等敏感内容。

场景二：自建私有 OpenAI 兼容推理服务

在内网或离线环境中启动 llama-server，把本地模型包装成标准 API。前端应用、RAG 系统、Agent 框架（如 LangChain、Dify）都能直接对接，既保证数据合规，又省下云推理费用。
```
llama-server -m models/qwen2.5-7b-instruct-q4_k_m.gguf --port 8080
```
场景三：边缘设备与嵌入式部署

在树莓派、工控机、车载设备上编译运行 llama.cpp，为 IoT 场景提供离线语音助手、本地知识问答等能力。配合量化技术，几百 MB 内存即可驱动一个可用的小模型。

💡 推荐理由

作为一名经常折腾本地大模型的开发者，我对 llama.cpp 的感情可以用「基石」二字形容。在它出现之前，想本地跑一个开源模型意味着安装几十 GB 的 PyTorch 环境，且基本只能在高端显卡上跑；llama.cpp 用纯 C/C++ 把这件事拉到了「人人可玩」的门槛。

我的几点使用心得：
- 它是整个生态的地基：Ollama、LM Studio、Jan、Open WebUI 乃至无数上层应用，底层推理几乎都调用了 llama.cpp。理解它，就理解了「本地 AI」的半壁江山。
- 量化是性价比之王：7B 模型用 Q4_K_M 量化后体积不到 5GB，在普通笔记本上就能达到可用速度，是入门本地模型的最佳起点。
- OpenAI 兼容接口太省心：一条 llama-server 命令就把本地模型变成标准 API，让我能把线上项目无痛切换到离线环境做.demo或内网部署。
- 更新极快、社区极活跃：几乎每周都有新后端、新量化方法的合并，119K+ 的 Stars 背后是庞大而健康的贡献者群体。
如果你想真正搞懂「大模型是怎么在本地跑起来的」，llama.cpp 是 2026 年依旧最值得 clone 一份源码、逐行读一读的开源项目。

📥 下载地址

🌐 官方网站：https://llama.app

📦 GitHub 仓库：https://github.com/ggml-org/llama.cpp

📚 官方文档：github.com/ggml-org/llama.cpp/docs

🤗 GGUF 模型库：huggingface.co/ggml-org

🐳 Docker 镜像：ghcr.io/ggml-org/llama.cpp

📌 本文是《GitHub 热门 AI 开源项目》系列的第 95 期，每期介绍一个热门的 AI 开源项目。欢迎关注本栏目，获取更多优质开源项目介绍！
2026年7月7日
vLLM —— 83K+ Stars 的 LLM 高性能推理引擎，PagedAttention 颠覆内存管理
vLLM — 高性能 LLM 推理与服务引擎

⚡ vLLM

83K+ Stars · 面向大模型的高吞吐量、内存高效推理与服务引擎

📌 项目简介

vLLM 是由加州大学伯克利分校 Sky Computing Lab 发起、现由 2800+ 贡献者共同维护的开源 LLM 推理与服务引擎。其核心竞争力在于首创的 PagedAttention 技术，通过智能管理注意力键值内存，大幅降低内存碎片，将 GPU 利用率推向极限。无论是本地开发调试，还是生产级大规模部署，vLLM 都是当前最热门的推理加速选择。

83K+

GitHub Stars

2.8K+

贡献者

200+

支持模型架构
🛠️ 安装要求与过程

环境要求：

Python 3.10+（推荐 3.12+）

NVIDIA GPU（CUDA 12.9/13.x）或 AMD GPU（ROCm）

也支持 CPU、Google TPU、Apple Silicon 等多种硬件

# 推荐用 uv 安装（更快更可靠）

uv pip install vllm

# 或用 pip

pip install vllm

# 快速启动 OpenAI 兼容 API 服务

python -m vllm.entrypoints.openai.api_server \
–model Qwen/Qwen3-8B –port 8000
🚀 核心功能

⚡ PagedAttention 内存管理

将注意力键值内存分页管理，类似操作系统的虚拟内存机制，大幅减少内存碎片和冗余复制，内存利用率提升 2-4 倍。

🔄 持续批处理 + 前缀缓存

动态合并正在处理的请求，并复用相同前缀（如 system prompt）的计算结果，吞吐量提升 3-5 倍。

🧩 200+ 模型架构原生支持

无缝兼容 Hugging Face 主流模型，涵盖 Llama、Qwen、DeepSeek-V3、Gemma、Mixtral、LLaVA 等，开箱即用。

🔧 丰富量化方案

支持 FP8、INT8、INT4、AWQ、GPTQ、GGUF 等主流量化格式，在保持精度的同时大幅降低显存占用和推理延迟。

🌐 OpenAI 兼容 API

提供与 OpenAI API 完全兼容的接口，只需改一行代码即可从 OpenAI 切换到自托管 vLLM，零迁移成本。

💡 典型使用场景

场景一：私有化部署大模型 API 服务

企业希望在内部环境部署 Qwen 或 Llama 大模型，提供类似 OpenAI 的 API 供业务系统调用。vLLM 可在单张 H100 上实现远超传统方案的吞吐量，显著降低推理成本。

场景二：本地开发与环境调试

开发者在本地机器上调试 Prompt 或测试 Agent 工作流，需要快速启动一个兼容 OpenAI SDK 的本地服务。vLLM 一条命令即可启动，支持流式输出和工具调用。

场景三：多模态模型推理服务

需要部署 LLaVA、Qwen-VL 等多模态模型，同时处理文本和图像输入。vLLM 对多模态模型提供原生支持，统一的 API 接口让多模态应用开发更加便捷。

✨ 推荐理由

vLLM 是目前 LLM 推理领域最炙手可热的开源项目，没有之一。它的核心竞争力在于 PagedAttention——这项技术直接解决了 LLM 推理中内存管理效率低下的痛点，是业界首个将操作系统虚拟内存思想引入注意力机制的工作，还发表了 SOSP 2023 学术论文。

实际使用下来，vLLM 最让人省心的是「开箱即用」——Hugging Face 模型直接加载，OpenAI API 直接兼容，量化方案直接配置。对于想把大模型「跑起来」的团队，vLLM 是目前最成熟、社区最活跃的选择。

值得一提的是，vLLM 的社区生态极其繁荣，AWS、NVIDIA、AMD、Google Cloud 等巨头均在赞助其开发。这意味着 vLLM 不仅是一个开源项目，更正在成为 AI 推理层的事实标准。

📥 下载地址

GitHub 仓库
 官方网站
 官方文档
 Media Kit

License: Apache 2.0 | 语言: Python | 最初开发: UC Berkeley Sky Computing Lab
2026年6月18日
vLLM：80.7k Stars！高性能LLM推理引擎，让AI模型部署不再成为瓶颈
vLLM：80.7k Stars！高性能LLM推理引擎，让AI模型部署不再成为瓶颈
vLLM – 高性能LLM推理与服务引擎

📝 项目简介

vLLM 是由加州大学伯克利分校Sky Computing实验室开发的高吞吐量、内存高效的LLM推理与服务引擎，目前已成为拥有2000+贡献者的活跃开源项目，被誉为”AI模型部署的加速器”。

⚙️ 安装要求和过程

环境要求
- 操作系统：Linux（推荐）或 macOS/Windows（需WSL2）
- Python版本：3.8 – 3.11
- GPU：NVIDIA GPU（CUDA 7.0+）或 AMD GPU（ROCm 5.6+）
- 内存：建议16GB+ RAM
快速安装
# 使用 pip 安装（推荐） pip install vllm # 使用 uv 安装（更快） uv pip install vllm # 从源码安装（用于开发） git clone https://github.com/vllm-project/vllm.git cd vllm pip install -e .
💡 提示：安装前建议先查看官方安装指南，选择与你的硬件和系统匹配的安装方式。

✨ 核心功能

1. 业界领先的推理吞吐量

采用PagedAttention技术高效管理注意力键值内存，支持连续批处理、分块预填充、前缀缓存，实现业界顶尖的推理吞吐量。

2. 广泛的模型与硬件兼容性

支持200+模型架构（Llama、Qwen、DeepSeek-V3、Mixtral等），兼容NVIDIA/AMD GPU、x86/ARM CPU，还可通过插件支持Google TPU、Intel Gaudi、华为昇腾等硬件。

3. 丰富的推理优化技术

支持FP8/INT8/INT4量化、投机解码（Speculative Decoding）、FlashAttention、CUDA内核优化等多种推理加速技术，显著降低延迟和成本。

4. OpenAI兼容API服务

提供与OpenAI API完全兼容的服务接口，只需修改API base URL即可将现有应用无缝迁移到vLLM，支持流式输出、结构化输出、工具调用等高级功能。

5. 分布式推理支持

支持张量并行、流水线并行、数据并行、专家并行、上下文并行等多种分布式推理策略，可轻松扩展到大模型和多GPU场景。

🎯 典型使用场景

场景一：自建私有化AI推理服务

企业可以使用vLLM在自有GPU服务器上部署Llama、Qwen等开源模型，提供与OpenAI兼容的API接口，实现数据私有化、成本可控的AI推理服务。相比调用公有云API，可节省70%以上的成本。

场景二：AI应用高性能后端

将vLLM作为AI聊天机器人、代码助手、RAG系统的后端推理引擎，利用其连续批处理和高吞吐量特性，支撑高并发用户请求，提升用户体验。

场景三：多模型推理服务统一平台

使用vLLM的多LoRA适配器支持能力，在同一服务实例中动态加载多个微调模型，或使用模型并行技术同时服务多个不同架构的模型，简化运维复杂度。

💡 推荐理由

作为一个经常跟大模型打交道的开发者，我深刻体会到模型推理部署是AI应用落地的最大瓶颈之一。直到遇见vLLM，这个问题终于有了优雅的解决方案。

vLLM最让我惊艳的是它的PagedAttention技术——灵感来自操作系统的虚拟内存管理，将KV Cache分割成固定大小的”页”，动态分配给不同请求。这让GPU内存利用率从传统的40-60%飙升到80%以上，吞吐量提升了2-4倍！

另外，vLLM的OpenAI兼容API设计太贴心了。我只需要改一行代码（把API base URL从api.openai.com改成localhost:8000），整个应用就迁移到了自部署的模型上，零改动成本。

如果你正在为AI推理成本发愁，或者需要私有化部署大模型，vLLM绝对是首选方案。目前已有数千家企业在生产环境使用vLLM，包括Meta、Google、腾讯等巨头，成熟度完全不用担心。

📥 下载地址
官方网站：https://vllm.ai

GitHub仓库：https://github.com/vllm-project/vllm (80.7k ⭐)

官方文档：https://docs.vllm.ai

PyPI安装：pip install vllm

论文地址：arXiv:2309.06180

社区论坛：https://discuss.vllm.ai
📌 本文由 WorkBuddy AI 自动采集撰写，原文首发于 admin.hiyoho.com
2026年5月22日

标签： 推理引擎

📌 项目简介

⚙️ 安装要求和过程

环境要求

快速安装

下载模型权重

运行

✨ 核心功能

🎯 典型使用场景

💡 推荐理由

🔗 下载地址

📌 项目简介

🛠 安装要求和过程

环境要求

快速安装

⚡ 核心功能

🎯 典型使用场景

💡 推荐理由（个人使用心得）

🔗 下载地址

项目简介

配图速览

安装要求和过程

环境要求

快速安装

核心功能

典型使用场景

场景一：个人开发者跑前沿模型做实验

场景二：工作室搭建本地私有 API

场景三：MoE 推理系统研究

推荐理由

下载地址

项目简介

安装要求和过程

核心功能

典型使用场景

推荐理由

下载地址

llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

📝 项目简介

💻 安装要求和过程

环境要求

快速安装步骤

快速开始：下载并运行一个模型

✨ 核心功能

1. 🪶 纯 C/C++ 零依赖，极致轻量

2. ⚡ 全平台硬件加速与混合推理

3. 🗜️ GGUF 格式与 1.5~8 bit 量化

4. 🔌 OpenAI 兼容 API 服务

5. 🧰 丰富的推理工具链

🎯 典型使用场景

场景一：在笔记本 / 手机上本地聊天，隐私数据不出端

场景二：自建私有 OpenAI 兼容推理服务

场景三：边缘设备与嵌入式部署

💡 推荐理由

📥 下载地址

⚡ vLLM

📌 项目简介

🛠️ 安装要求与过程

🚀 核心功能

💡 典型使用场景

✨ 推荐理由

📥 下载地址

📝 项目简介

⚙️ 安装要求和过程

环境要求

快速安装

✨ 核心功能

1. 业界领先的推理吞吐量

2. 广泛的模型与硬件兼容性

3. 丰富的推理优化技术

4. OpenAI兼容API服务

5. 分布式推理支持

🎯 典型使用场景

场景一：自建私有化AI推理服务

场景二：AI应用高性能后端

场景三：多模型推理服务统一平台

💡 推荐理由

📥 下载地址

标签：推理引擎