标签： 推理加速

项目简介

KTransformers 是清华大学 MADSys 实验室联合 Approaching.AI 等团队开源的大模型异构推理与微调框架。它最出圈的能力，是让一块 24GB 显存的消费级显卡（如 RTX 4090）也能流畅运行 DeepSeek-V3 / R1 这类数百 GB 的巨型 MoE 模型——把”热专家”放在 GPU、”冷专家”卸载到 CPU/内存，配合 INT4/INT8/FP8 量化与 AMX/AVX 指令集优化，在本地把推理速度做到可用甚至惊艳。

安装要求和过程

环境要求：

• Python 3.10 / 3.11 / 3.12（官方预编译 wheel 支持这三个版本）
• Linux x86-64（manylinux_2_17），CPU 需支持 AVX2（Intel Haswell 2013+ / AMD Zen+ 及以上）
• 可选 NVIDIA GPU，计算能力 8.0+（Ampere / Ada / Hopper，如 A100、RTX 3090/4090、H100）；无需安装 CUDA toolkit，静态 CUDA 运行时已内置
• 运行超大规模 MoE（如 DeepSeek-V3/R1）时，建议 64GB~382GB 内存用于专家卸载

快速安装（PyPI，推荐大多数用户）：

pip install kt-kernel

一行命令即装好含自动 CPU 检测、多指令集变体与 CUDA 加速的推理内核，无需编译。验证安装：

kt version          # 查看 CLI 版本与检测到的 CPU 变体
python -c "from kt_kernel import KTMoEWrapper; print('ok')"

从源码编译（需要自定义 / AMD BLIS / ARM KML 后端）：

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers/kt-kernel
git submodule update --init --recursive
./install.sh        # 自动检测 CPU 并 -march=native 编译

一条命令跑起来（自动适配硬件）：

kt run m2           # 启动模型推理服务（自动优化参数）
kt chat             # 另开终端开始对话

核心功能

• CPU-GPU 异构推理（expert offload）：把 Mixture-of-Experts 中高频访问的”热专家”留在 GPU，低频”冷专家”卸载到 CPU 与内存，显存占用从数十 GB 降到单卡 24GB 即可跑 DeepSeek-R1/V3。
• 多指令集深度优化内核：内置 AMX（Intel Sapphire Rapids+）、AVX512（含 BF16/VNNI/VBMI）、AVX2 等多套 CPU 内核变体，运行时按 CPU 自动选择，并支持原生 FP8/BF16/INT4 精度。
• 量化与长上下文：支持 CPU 侧 INT4/INT8 量化权重与 GPU 侧 GPTQ，配合 unsloth 1.58/2.51bit 与 IQ1_S/FP8 混合权重；可在 24GB 显存下放飞 139K+ 长上下文。
• 微调（SFT）× LLaMA-Factory：支持在有限显存上对 DeepSeek-V3/R1、Qwen3-MoE 等超大 MoE 做 LoRA 微调，官方称比 ZeRO-Offload 快 6~12 倍、CPU 内存减半。
• 生产级集成：提供干净的 Python API，可无缝接入 SGLang 做生产部署，实现”热专家 GPU / 冷专家 CPU”的异构服务。

图：KTransformers × LLaMA-Factory 在有限显存上微调超大 MoE 模型

典型使用场景

• 本地私有化跑 DeepSeek 满血版：开发者用一台配 24GB 显卡 + 大内存的主机，本地部署 DeepSeek-R1/V3 做代码助手、知识库问答，数据不出机器。
• 高并发推理服务：在 8×L20 + Xeon 的服务器上，官方实测 DeepSeek-R1-0528（FP8）总吞吐 227.85 tokens/s、8 路并发输出 87.58 tokens/s，适合中小团队自建推理网关。
• 超大模型低成本微调：用 4×RTX 4090 对 DeepSeek-V3 做 LoRA 微调（约 80GB 显存、3.7 it/s），或用单张 4090 微调 Qwen3-30B-A3B（8+ it/s），把训练成本打到消费级。

推荐理由

大模型推理的门槛，过去被”显存”死死卡住——想本地跑 DeepSeek 满血版，要么堆 H100 要么云上烧钱。KTransformers 的价值正在于此：它不跟你拼硬件，而是用异构调度 + 量化 + CPU 指令集优化把”不可能”变成”在家就能跑”。对预算有限的个人开发者、想做私有化部署的小团队、以及研究 MoE 推理优化的工程师来说，它是目前最务实的本地推理方案之一。

工程上它也很”乖”：从 pip install kt-kernel 到 kt run 一条命令起服务，内置 CPU 变体自动检测、NUMA 感知线程池，连 CUDA toolkit 都不用装。唯一的代价是——它目前主要面向 Linux x86-64，且吃内存（专家卸载越多越吃），上 Windows 原生或低内存机器要谨慎。但瑕不掩瑜，如果你想体验”把大模型装进自己电脑”，KTransformers 值得第一个试。

下载地址

• GitHub：github.com/kvcache-ai/ktransformers
• 官方文档：kvcache-ai.github.io/ktransformers
• PyPI：pypi.org/project/kt-kernel
• kt-kernel 推理文档：kt-kernel/README.md
• 微调（SFT）文档：SFT Quick Start

许可：Apache-2.0 ｜ 语言：Python / C++ ｜ 维护：清华大学 MADSys 实验室、Approaching.AI、9#AISoft 及社区