标签： GLM

DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎
📌 项目简介

DwarfStar（简称 ds4）是 Redis 作者 antirez（Salvatore Sanfilippo）开源的一个原生本地推理引擎，专门为 DeepSeek V4 Flash / PRO 与 GLM 5.2 这类开源权重打造。它不追求做成通用 GGUF 运行器，而是把模型加载、分词、工具调用、KV 缓存、HTTP 服务乃至内置编码智能体垂直打通、一起调优；整个引擎用纯 C 编写、单文件二进制、零外部运行时依赖，在 Metal / CUDA / ROCm 三大后端上都能跑。

⚙️ 安装要求和过程

环境要求
- 硬件后端：Apple Silicon（Metal，96 GB 以上内存最佳，小内存可走 SSD 流式加载）；NVIDIA CUDA 显卡（含 DGX Spark / GB10 多卡）；AMD ROCm（Strix Halo，如 Framework Desktop）。
- 工具链：C 编译器（clang / gcc）；CUDA 需 nvcc，ROCm 需 hipcc。仅依赖系统工具链，无外部运行时依赖。
- 模型权重：需单独从 Hugging Face（antirez/deepseek-v4-gguf）下载对应的 GGUF 文件，引擎不内置权重。
快速安装
```
# 克隆仓库
git clone https://github.com/antirez/ds4
cd ds4

# macOS（默认 Metal 后端）
make

# NVIDIA CUDA：DGX Spark / GB10
make cuda-spark
# 或通用本地 CUDA 构建
make cuda CUDA_ARCH=native

# AMD ROCm（Strix Halo / Framework Desktop，gfx1151）
make rocm

# CPU 参考 / 调试路径（非生产用途）
make cpu
```
下载模型权重
```
# 下载一个主模型（推荐 imatrix 版）
./download_model.sh ds4f-q2          # 96 / 128 GB 内存机器
./download_model.sh ds4f-q2-q4       # 末 6 层专家用 q4
./download_model.sh ds4f-q4          # ≥ 256 GB 内存
./download_model.sh ds4f-mxfp4       # 原生 MXFP4 专家，约 156 GB
./download_model.sh pro-q2-imatrix   # 512 GB 内存，PRO q2 imatrix 量化
```
运行
```
# 单条提示
./ds4 -p "用一段话解释 Redis Stream。"

# 进入多轮交互式对话
./ds4
ds4> /help

# 启动 OpenAI / Anthropic 兼容的本地服务
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192
```
✨ 核心功能
1. 贴近模型的「专用」引擎：不为通用 GGUF 设计，模型加载 / 分词 / 工具调用 / KV 缓存 / HTTP 服务 / 编码智能体垂直打通，针对少数量身优化的开源权重做专项调优。
2. 三大后端原生加速：Metal（主战场，Mac 96 GB+）、NVIDIA CUDA（含多卡 / DGX Spark）、ROCm（Strix Halo）；内存不足的机器还能用 SSD 流式加载权重。
3. 分布式推理：管道并行把多台机器的内存叠加起来跑更大的模型；基于 RDMA 的张量并行甚至能让两台 128 GB MacBook 合力运行 4-bit 的 DeepSeek Flash 或 GLM 5.2。
4. 内置原生编码智能体：推理由智能体内部直接驱动、没有 socket / API 边界，会话本身就是磁盘上的 KV 缓存；工具调用走原生 LLM 格式，延迟极低、KV 永不错位，还能用 /save /switch 续上历史会话。
5. OpenAI / Anthropic 兼容服务：ds4-server 提供 /v1/chat/completions、/v1/responses 等端点，支持多会话批处理与磁盘 KV 缓存，可完全私有化部署。
实测参考（q2 量化，意大利语长文本输入）：MacBook Pro M5 Max（128 GB，Metal）在 2K 上下文下预填约 790 t/s、生成约 39 t/s；DGX Spark GB10 预填可达 826 t/s。128 GB 内存即可流畅跑 DeepSeek V4 Flash。

🎯 典型使用场景
1. 个人高端 Mac / 工作站本地跑强模型：MacBook M5 Max、Mac Studio M3 Ultra、DGX Spark、Framework Desktop 用户，无需联网、隐私不出本机即可使用 DeepSeek V4 级别的大模型。
2. 把闲置旧 CUDA 卡变成多用户服务器：借助 CUDA 多卡与 ds4-server 的微批处理，把不再被 vLLM 支持的旧 Ada 架构显卡（如 8×L40S）改造成公司内部的多用户 LLM 服务。
3. 企业内网私有化部署：用 OpenAI 兼容端点 + 磁盘 KV 缓存，配合工具调用承载客服、知识库问答、本地编码助手等智能体，数据全程不出内网。
💡 推荐理由

作为 Redis 作者的最新作品，ds4 最打动我的是它的「克制与专注」：它坦然承认自己不是万能的通用推理器，而是把一件事做到极致——让 DeepSeek V4 这类前沿开源权重在消费级 / 工作站级硬件上跑得又快又稳。对一个 C 写的单文件引擎来说，开箱即用的交互式 CLI、兼容 OpenAI 的服务端、甚至原生编码智能体全部到位，体验相当完整。

特别加分的是项目的坦诚：antirez 在 README 里明确做了「AI 全程披露」，说明代码大量借助 GPT / Claude 完成、但由人类把握方向与测试，同时也郑重致谢 llama.cpp 与 GGML——这种开源精神值得点赞。需要提醒的是，项目目前仍处快速迭代的 beta 阶段、文档也在持续补全，适合愿意折腾、想把手里高端硬件榨干的朋友尝鲜。

🔗 下载地址
- GitHub：https://github.com/antirez/ds4
- 模型权重（Hugging Face）：https://huggingface.co/antirez/deepseek-v4-gguf
- 许可协议：MIT（部分 GGUF 量化逻辑沿用 llama.cpp 的 MIT 版权声明）
2026年8月8日
colibri：用纯 C 把 744B~2.8T MoE 大模型跑到本地
colibri 是近期 GitHub 上热度最高的本地推理引擎之一：只用纯 C 编写、零运行时依赖，就能把 744B 到 2.8T 参数的 MoE（混合专家）大模型跑在你现有的硬件上。它不是把模型硬塞进显存，而是把 VRAM、RAM 和 NVMe 当作同一层级来管理，按需从磁盘流式加载专家权重。项目上线一个月已收获 21.9K Stars，并支持 GLM-5.2、Inkling、Kimi K3、OLMoE 四大模型家族。

本期我们就来拆解：colibri 是怎么让“本地运行千亿 MoE”这件事从神话变成可复现实验的。

项目简介

colibri 是一个面向前沿 MoE 模型的本地推理引擎。它用“存储即内存层级”的思路替代传统的“模型必须全进显存”假设：密集注意力层常驻 RAM，19456 个路由专家放在磁盘，只有在路由器真正需要时才被预取到 RAM/VRAM。这样一台只有 25 GB 内存的常规电脑也能把 744B 的 GLM-5.2 跑起来，而高端工作站则可以把全部专家驻留 GPU，达到接近数据中心的吞吐。

配图速览

colibri 核心数据一览

colibri 把专家权重分布在 VRAM / RAM / NVMe 三个层级，速度随硬件变化，语义保持不变。

安装要求和过程

环境要求
- 操作系统：Linux、macOS、Windows 11
- 内存：最低 25 GB RAM（仅 CPU 流式）；推荐 128 GB 或更高，配合多 GPU 可获得更好体验
- 磁盘：GLM-5.2 int4 容器约 372 GB；Kimi K3 原始检查点约 1.6 TB
- 软件：Python 3（仅用于 launcher 和转换脚本）；编译源码需要 gcc/clang + OpenMP
- GPU（可选）：CUDA、Metal（Apple Silicon）、Vulkan 1.2（含 AMD RADV）后端均可选
快速安装
1. 下载对应平台的预编译 release 并解压：
```
mkdir colibri && tar xzf colibri-v1.1.0-linux-x86_64.tar.gz -C colibri && cd colibri
python3 coli info
```
1. 或从源码构建：
```
git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh
```
1. 下载 GLM-5.2 int4 gs64 容器（推荐带 int8 MTP 头的版本）：
```
# 推荐从 Hugging Face 拉取 mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp
# 约 372 GB，放 NVMe 上最佳
```
1. 运行交互式聊天、API 服务或 Web 面板：
```
COLI_MODEL=/nvme/glm52_i4 ./coli chat
COLI_MODEL=/nvme/glm52_i4 ./coli serve    # OpenAI-compatible API
./coli web --model /nvme/glm52_i4          # API + 可视化 dashboard
```
核心功能
1. 存储即内存层级
  把 VRAM、RAM、NVMe 统一成专家权重的放置策略。缺显存不会悄悄改模型精度或路由语义，只会影响速度。
2. 按需流式加载专家
  MoE 每层只激活少量专家。colibri 让 19456 个专家中的绝大部分常驻磁盘，通过 per-layer LRU、学习到的热专家 pinned set 和一层提前预取（PILOT）减少磁盘等待。
3. 纯 C 零依赖引擎
  每个模型对应一个 C 文件（如 c/glm.c），无 BLAS、无运行时 Python、无 GPU 也能跑。
4. 多后端异构执行
  支持 CPU、CUDA、Metal、Vulkan 四种后端，可组合使用；双 SSD 镜像可把只读专家读取带宽翻倍。
5. 学习缓存与压缩状态
  引擎记录你的工作负载路由历史（.coli_usage），越用越快；MLA KV 状态压缩到原来的 1/57，并能持久化对话上下文。
典型使用场景

场景一：个人开发者跑前沿模型做实验

你只有一台 64 GB RAM + 1 TB NVMe 的台式机。传统 vLLM/llama.cpp 会把 744B 模型拒之门外；colibri 让你用 COLI_MODEL=/nvme/glm52_i4 ./coli chat 直接对话，虽然 token/s 不高，但足以做提示工程、长文本探索和小批量评估。

场景二：工作室搭建本地私有 API

在多卡工作站（如 6× RTX 5090）上，把专家全部驻留 GPU，colibri 可提供 5.8–6.8 tok/s 的解码速度和 1.6 s 的 TTFT。通过 coli serve 提供 OpenAI-compatible API，内部团队就能在不联网的情况下调用千亿模型。

场景三：MoE 推理系统研究

colibri 把放置策略、调度、I/O、CPU/GPU 重叠都做成可测量的实验参数。研究者可以替换缓存策略、测试双 SSD 镜像、评估 int4/int8/MXFP4 格式对质量的影响，并把结果以 issue 形式回馈社区。

推荐理由

colibri 最打动我的不是“跑 744B 模型”这个噱头，而是它把“本地推理”重新定义为系统优化问题：不盲目堆硬件，而是认真测量每一个瓶颈——磁盘带宽、专家命中率、KV 压缩、CPU/GPU 重叠、量化质量——并用可复现的 A/B 来做决策。README 里反复出现的不是营销数字，而是“这个功能在哪台机器上、用什么 commit、跑什么 prompt 测出来的”。

对于国内用户，它还有一个隐性好处：GLM-5.2、Kimi K3、Qwen3 MoE（roadmap）等模型天然和中国模型生态更近，未来可以更低成本地跑开源中文大模型。

当然，它现在还是研究导向的项目：没有 SLA 保证速度，配置参数很多，对磁盘和内存仍有一定要求。但如果你既想摸到前沿模型，又不想把数据送出去，colibri 是 2026 年最值得关注的本地推理引擎之一。

下载地址
- GitHub 仓库：https://github.com/JustVugg/colibri
- 官方网站：https://justvugg.github.io/colibri
- GLM-5.2 int4 容器：Hugging Face
- 讨论区：Discord
2026年8月2日

CodeGeeX4：清华大学出品的9B全能代码模型，性能超越70B级大模型

CodeGeeX4

清华大学 KEG 实验室 × 智谱 AI 联合出品

ALL-9B 全能模型 · 代码生成 · Function Call · 仓库级理解

⭐ 最新一代
🚀 9B 超越 70B
🏆 BigCodeBench SOTA

📝 项目简介

CodeGeeX4 是清华大学 KEG 实验室与智谱 AI 联合推出的第四代多语言代码生成模型，基于 GLM-4-9B 持续训练，在代码生成、代码解释、Web 搜索、Function Call、仓库级 Q&A 等全场景软件开发生命周期中均提供卓越表现。仅 9B 参数即超越 Llama3-70B、DeepSeekCoder-33B 等超大模型，是当前 10B 以下参数规模中综合性能最强的代码模型。

模型参数

82.3%

HumanEval Pass@1

128K

上下文长度

⭐ 30K+

GitHub Stars

⚙️ 安装要求和过程

💻 环境要求

Python 3.10+（推荐 3.11）
CUDA 12.1+（GPU 推理）
PyTorch 2.0+ 或 vLLM 0.5.1+
内存：FP16 推理约 18GB，INT4 量化约 6GB
操作系统：Windows / macOS / Linux 全平台支持

🚀 快速安装（Ollama — 最简单）

# 安装 Ollama（需 0.2+ 版本）
# macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh

# Windows: 从 https://ollama.com/download 下载安装

# 一键运行 CodeGeeX4
ollama run codegeex4

🐍 使用 transformers 推理

pip install transformers==4.40.0 torch

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "THUDM/codegeex4-all-9b",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained(
    "THUDM/codegeex4-all-9b",
    trust_remote_code=True
)

# 对话格式
prompt = [{"role":"user","content":"写一个快速排序"}]
inputs = tokenizer.apply_chat_template(prompt, add_generation_prompt=True, return_tensors="pt").cuda()
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

⚡ vLLM 高性能部署

pip install vllm==0.5.1

# 启动 OpenAI 兼容 API 服务
python -m vllm.entrypoints.openai.api_server     --model THUDM/codegeex4-all-9b     --trust-remote-code     --tensor-parallel-size 1

# 然后即可用 OpenAI SDK 调用
# pip install openai
# client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

✨ 核心功能

💬 全场景代码助手

支持代码补全、代码生成、代码解释、代码翻译、文档生成、Bug 修复等全场景，基于 ChatGLM2/GLM-4 架构，中英文理解能力优异。

🔧 Function Call 原生支持

唯一原生支持 Function Call 的代码模型，Function Call 执行成功率甚至超越 GPT-4。可无缝接入 AI Agent 工具调用链路。

📦 仓库级代码理解

支持 128K 超长上下文，可理解整个代码仓库。支持仓库级 Q&A、跨文件代码补全、自动 commit 等高级功能。

🌐 多平台部署

支持 Ollama / vLLM / transformers / Rust-candle 多种推理后端；支持 VS Code、JetBrains 全系列 IDE 插件；支持本地 / 云端双模式。

🏆 性能全面领先（10B 以下模型）

HumanEval 82.3% · MBPP 75.7% · NaturalCodeBench 40.4% · BigCodeBench 48.9%（complete）/ 40.4%（instruct）· CRUXEval-O 47.1%。在代码推理、代码理解、代码执行等全方位评测中均取得 10B 以下模型最佳成绩。

🎯 典型使用场景

场景一：IDE 智能编程助手（最适合日常使用）

在 VS Code 或 JetBrains IDE 中安装 CodeGeeX 插件，即可体验：

代码补全：根据上下文自动补全下一行 / 下一个函数
上下文补全：基于仓库内其他文件提供跨文件补全建议
Ask CodeGeeX：中英文对话解决编程问题，支持代码解释、翻译、纠错
本地模式：连接本地 Ollama 运行的 CodeGeeX4，数据完全不出本地

💡 支持超过 100 种编程语言！

场景二：AI Agent Function Call 工具

CodeGeeX4 原生支持 Function Call，可以：

作为 AI Agent 的代码生成工具，解析自然语言需求生成代码
接入 OpenAI 兼容 API，与 LangChain / AutoGen 等 Agent 框架无缝集成
支持仓库级代码操作（增删改文件），实现 AI 自动 commit
结合 vLLM 部署，支持多并发、高吞吐的生产环境调用

场景三：本地私有化部署（数据安全敏感场景）

对于数据隐私有严格要求的企业 / 个人，CodeGeeX4 提供完善的本地部署方案：

通过 Ollama 一行命令启动，INT4 量化仅需 6GB 显存
支持连接 VS Code / JetBrains 插件，体验与云端一致
支持昇腾 / NVIDIA 全系列硬件，包括国产 AI 芯片
代码和数据完全不离开本地，满足企业合规要求

💡 推荐理由

作为 AI 编程工具的深度用户，我试用过 GitHub Copilot、Claude Code、Cursor 等各类产品，CodeGeeX4 给我留下了极其深刻的印象：

① 性价比无敌：9B 参数的小模型，性能直接干翻 70B 的 Llama3 和 33B 的 DeepSeekCoder。这意味着你用消费级显卡（甚至 6GB 显存的 RTX 3060）就能跑一个世界级代码模型。

② Function Call 是杀手锏：在 AI Agent 时代，代码模型不能只做补全，还要能调用工具。CodeGeeX4 是唯一原生支持 Function Call 的开源代码模型，而且执行成功率比 GPT-4 还高。这对构建 AI 编程 Agent 来说是个游戏规则改变者。

③ 清华大学 + 智谱 AI 双背书：KEG 实验室（唐杰教授团队）在 NLP 和代码生成领域深耕多年，CodeGeeX 系列从 2022 年做到 2026 年，四代演进，成熟度远超同类竞品。智谱 AI 的 GLM 架构也在持续迭代优化。

④ 真正可用的 IDE 插件：很多开源模型只提供权重，没有好的用户体验。CodeGeeX 的 VS Code / JetBrains 插件做得相当完善，上下文补全、跨文件理解、Ask CodeGeeX 对话，体验不输商业产品。

如果你在找一个能本地部署、性能好、中文友好的 AI 编程助手，CodeGeeX4 是目前唯一的最优解。

📊 性能对比（10B 以下模型）

模型	参数	HumanEval	MBPP	NCB	Function Call
CodeGeeX4-ALL-9B	9B	82.3%	75.7%	40.4%	✅ 超越GPT-4
Llama3-70B-Instruct	70B	77.4%	82.3%	37.0%	—
DeepSeekCoder-33B	33B	81.1%	80.4%	39.3%	—
Codestral-22B	22B	81.1%	78.2%	46.0%	—