colibri 是近期 GitHub 上热度最高的本地推理引擎之一：只用纯 C 编写、零运行时依赖，就能把 744B 到 2.8T 参数的 MoE（混合专家）大模型跑在你现有的硬件上。它不是把模型硬塞进显存，而是把 VRAM、RAM 和 NVMe 当作同一层级来管理，按需从磁盘流式加载专家权重。项目上线一个月已收获 21.9K Stars，并支持 GLM-5.2、Inkling、Kimi K3、OLMoE 四大模型家族。
本期我们就来拆解：colibri 是怎么让“本地运行千亿 MoE”这件事从神话变成可复现实验的。
项目简介
colibri 是一个面向前沿 MoE 模型的本地推理引擎。它用“存储即内存层级”的思路替代传统的“模型必须全进显存”假设：密集注意力层常驻 RAM，19456 个路由专家放在磁盘，只有在路由器真正需要时才被预取到 RAM/VRAM。这样一台只有 25 GB 内存的常规电脑也能把 744B 的 GLM-5.2 跑起来，而高端工作站则可以把全部专家驻留 GPU，达到接近数据中心的吞吐。
配图速览
安装要求和过程
环境要求
- 操作系统：Linux、macOS、Windows 11
- 内存：最低 25 GB RAM（仅 CPU 流式）；推荐 128 GB 或更高，配合多 GPU 可获得更好体验
- 磁盘：GLM-5.2 int4 容器约 372 GB；Kimi K3 原始检查点约 1.6 TB
- 软件：Python 3（仅用于 launcher 和转换脚本）；编译源码需要 gcc/clang + OpenMP
- GPU（可选）：CUDA、Metal（Apple Silicon）、Vulkan 1.2（含 AMD RADV）后端均可选
快速安装
- 下载对应平台的预编译 release 并解压：
mkdir colibri && tar xzf colibri-v1.1.0-linux-x86_64.tar.gz -C colibri && cd colibri
python3 coli info- 或从源码构建：
git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh- 下载 GLM-5.2 int4 gs64 容器（推荐带 int8 MTP 头的版本）：
# 推荐从 Hugging Face 拉取 mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp
# 约 372 GB，放 NVMe 上最佳- 运行交互式聊天、API 服务或 Web 面板：
COLI_MODEL=/nvme/glm52_i4 ./coli chat
COLI_MODEL=/nvme/glm52_i4 ./coli serve # OpenAI-compatible API
./coli web --model /nvme/glm52_i4 # API + 可视化 dashboard核心功能
- 存储即内存层级
把 VRAM、RAM、NVMe 统一成专家权重的放置策略。缺显存不会悄悄改模型精度或路由语义，只会影响速度。 - 按需流式加载专家
MoE 每层只激活少量专家。colibri 让 19456 个专家中的绝大部分常驻磁盘，通过 per-layer LRU、学习到的热专家 pinned set 和一层提前预取（PILOT）减少磁盘等待。 - 纯 C 零依赖引擎
每个模型对应一个 C 文件（如c/glm.c），无 BLAS、无运行时 Python、无 GPU 也能跑。 - 多后端异构执行
支持 CPU、CUDA、Metal、Vulkan 四种后端，可组合使用；双 SSD 镜像可把只读专家读取带宽翻倍。 - 学习缓存与压缩状态
引擎记录你的工作负载路由历史（.coli_usage），越用越快；MLA KV 状态压缩到原来的 1/57，并能持久化对话上下文。
典型使用场景
场景一：个人开发者跑前沿模型做实验
你只有一台 64 GB RAM + 1 TB NVMe 的台式机。传统 vLLM/llama.cpp 会把 744B 模型拒之门外；colibri 让你用 COLI_MODEL=/nvme/glm52_i4 ./coli chat 直接对话，虽然 token/s 不高，但足以做提示工程、长文本探索和小批量评估。
场景二：工作室搭建本地私有 API
在多卡工作站（如 6× RTX 5090）上，把专家全部驻留 GPU，colibri 可提供 5.8–6.8 tok/s 的解码速度和 1.6 s 的 TTFT。通过 coli serve 提供 OpenAI-compatible API，内部团队就能在不联网的情况下调用千亿模型。
场景三：MoE 推理系统研究
colibri 把放置策略、调度、I/O、CPU/GPU 重叠都做成可测量的实验参数。研究者可以替换缓存策略、测试双 SSD 镜像、评估 int4/int8/MXFP4 格式对质量的影响，并把结果以 issue 形式回馈社区。
推荐理由
colibri 最打动我的不是“跑 744B 模型”这个噱头，而是它把“本地推理”重新定义为系统优化问题：不盲目堆硬件，而是认真测量每一个瓶颈——磁盘带宽、专家命中率、KV 压缩、CPU/GPU 重叠、量化质量——并用可复现的 A/B 来做决策。README 里反复出现的不是营销数字，而是“这个功能在哪台机器上、用什么 commit、跑什么 prompt 测出来的”。
对于国内用户，它还有一个隐性好处：GLM-5.2、Kimi K3、Qwen3 MoE（roadmap）等模型天然和中国模型生态更近，未来可以更低成本地跑开源中文大模型。
当然，它现在还是研究导向的项目：没有 SLA 保证速度，配置参数很多，对磁盘和内存仍有一定要求。但如果你既想摸到前沿模型，又不想把数据送出去，colibri 是 2026 年最值得关注的本地推理引擎之一。
下载地址
- GitHub 仓库：https://github.com/JustVugg/colibri
- 官方网站：https://justvugg.github.io/colibri
- GLM-5.2 int4 容器：Hugging Face
- 讨论区：Discord
