YOHO AI

标签： 模型量化

  • DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar ds4

    📌 项目简介

    DwarfStar（简称 ds4）是 Redis 作者 antirez（Salvatore Sanfilippo）开源的一个原生本地推理引擎，专门为 DeepSeek V4 Flash / PRO 与 GLM 5.2 这类开源权重打造。它不追求做成通用 GGUF 运行器，而是把模型加载、分词、工具调用、KV 缓存、HTTP 服务乃至内置编码智能体垂直打通、一起调优；整个引擎用纯 C 编写、单文件二进制、零外部运行时依赖，在 Metal / CUDA / ROCm 三大后端上都能跑。

    DwarfStar 项目速览

    ⚙️ 安装要求和过程

    环境要求

    • 硬件后端：Apple Silicon（Metal，96 GB 以上内存最佳，小内存可走 SSD 流式加载）；NVIDIA CUDA 显卡（含 DGX Spark / GB10 多卡）；AMD ROCm（Strix Halo，如 Framework Desktop）。
    • 工具链：C 编译器（clang / gcc）；CUDA 需 nvcc，ROCm 需 hipcc。仅依赖系统工具链，无外部运行时依赖。
    • 模型权重：需单独从 Hugging Face（antirez/deepseek-v4-gguf）下载对应的 GGUF 文件，引擎不内置权重。

    快速安装

    # 克隆仓库
git clone https://github.com/antirez/ds4
cd ds4

# macOS（默认 Metal 后端）
make

# NVIDIA CUDA：DGX Spark / GB10
make cuda-spark
# 或通用本地 CUDA 构建
make cuda CUDA_ARCH=native

# AMD ROCm（Strix Halo / Framework Desktop，gfx1151）
make rocm

# CPU 参考 / 调试路径（非生产用途）
make cpu

    下载模型权重

    # 下载一个主模型（推荐 imatrix 版）
./download_model.sh ds4f-q2          # 96 / 128 GB 内存机器
./download_model.sh ds4f-q2-q4       # 末 6 层专家用 q4
./download_model.sh ds4f-q4          # ≥ 256 GB 内存
./download_model.sh ds4f-mxfp4       # 原生 MXFP4 专家，约 156 GB
./download_model.sh pro-q2-imatrix   # 512 GB 内存，PRO q2 imatrix 量化

    运行

    # 单条提示
./ds4 -p "用一段话解释 Redis Stream。"

# 进入多轮交互式对话
./ds4
ds4> /help

# 启动 OpenAI / Anthropic 兼容的本地服务
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192

    ✨ 核心功能

    DwarfStar 核心能力

    1. 贴近模型的「专用」引擎：不为通用 GGUF 设计，模型加载 / 分词 / 工具调用 / KV 缓存 / HTTP 服务 / 编码智能体垂直打通，针对少数量身优化的开源权重做专项调优。
    2. 三大后端原生加速：Metal（主战场，Mac 96 GB+）、NVIDIA CUDA（含多卡 / DGX Spark）、ROCm（Strix Halo）；内存不足的机器还能用 SSD 流式加载权重。
    3. 分布式推理：管道并行把多台机器的内存叠加起来跑更大的模型；基于 RDMA 的张量并行甚至能让两台 128 GB MacBook 合力运行 4-bit 的 DeepSeek Flash 或 GLM 5.2。
    4. 内置原生编码智能体：推理由智能体内部直接驱动、没有 socket / API 边界，会话本身就是磁盘上的 KV 缓存；工具调用走原生 LLM 格式，延迟极低、KV 永不错位，还能用 /save /switch 续上历史会话。
    5. OpenAI / Anthropic 兼容服务：ds4-server 提供 /v1/chat/completions、/v1/responses 等端点，支持多会话批处理与磁盘 KV 缓存，可完全私有化部署。

    DwarfStar 性能实测

    实测参考（q2 量化，意大利语长文本输入）：MacBook Pro M5 Max（128 GB，Metal）在 2K 上下文下预填约 790 t/s、生成约 39 t/s；DGX Spark GB10 预填可达 826 t/s。128 GB 内存即可流畅跑 DeepSeek V4 Flash。

    🎯 典型使用场景

    DwarfStar 适用场景

    1. 个人高端 Mac / 工作站本地跑强模型：MacBook M5 Max、Mac Studio M3 Ultra、DGX Spark、Framework Desktop 用户，无需联网、隐私不出本机即可使用 DeepSeek V4 级别的大模型。
    2. 把闲置旧 CUDA 卡变成多用户服务器：借助 CUDA 多卡与 ds4-server 的微批处理，把不再被 vLLM 支持的旧 Ada 架构显卡（如 8×L40S）改造成公司内部的多用户 LLM 服务。
    3. 企业内网私有化部署：用 OpenAI 兼容端点 + 磁盘 KV 缓存，配合工具调用承载客服、知识库问答、本地编码助手等智能体，数据全程不出内网。

    💡 推荐理由

    作为 Redis 作者的最新作品，ds4 最打动我的是它的「克制与专注」：它坦然承认自己不是万能的通用推理器，而是把一件事做到极致——让 DeepSeek V4 这类前沿开源权重在消费级 / 工作站级硬件上跑得又快又稳。对一个 C 写的单文件引擎来说，开箱即用的交互式 CLI、兼容 OpenAI 的服务端、甚至原生编码智能体全部到位，体验相当完整。

    特别加分的是项目的坦诚：antirez 在 README 里明确做了「AI 全程披露」，说明代码大量借助 GPT / Claude 完成、但由人类把握方向与测试，同时也郑重致谢 llama.cpp 与 GGML——这种开源精神值得点赞。需要提醒的是，项目目前仍处快速迭代的 beta 阶段、文档也在持续补全，适合愿意折腾、想把手里高端硬件榨干的朋友尝鲜。

    🔗 下载地址

  • llmfit：一条命令，算出哪些大模型能在你的电脑上跑起来

    llmfit：一条命令，算出哪些大模型能在你的电脑上跑起来

    llmfit TUI 演示

    想在本地跑大模型，却总被「这张显卡能不能带得动？」「选哪个量化档位？」劝退？llmfit 把这道难题变成了一条命令：它自动检测你的内存、CPU、GPU，再为目录里数百个模型和提供商打分，直接告诉你哪些模型能在你的机器上流畅跑起来。下方动图就是它的交互式 TUI——硬件规格在顶部，下面是所有模型按「适配度」实时排名。

    📌 项目简介

    llmfit 是一款用 Rust 编写的终端工具，能根据系统的 RAM、CPU 与 GPU 自动「量体裁衣」地为 LLM 模型选型；它会检测硬件、对每一个模型从内存适配、速度估算、模型质量、上下文长度四个维度打分，并输出真正能在你机器上跑得动的推荐清单。默认提供交互式 TUI，也支持经典 CLI 模式，兼容多 GPU、MoE 架构、动态量化，以及 Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio 等本地运行时。

    🛠 安装要求和过程

    环境要求：

    • 预编译二进制，无需安装 Node.js / Python 运行时，开箱即用；
    • 支持 Windows / macOS / Linux，跨平台一致；
    • 可选：本地运行时（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）用于实测与部署；
    • 从源码构建需要 Rust 工具链（cargo）。

    快速安装（任选其一）：

    # macOS / Linux（Homebrew 预编译二进制，推荐）
brew install AlexsJones/llmfit/llmfit

# Windows（Scoop）
scoop install llmfit

# 一行脚本安装（无 sudo 时落到 ~/.local/bin）
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# Python 生态（uv / pip）
uv tool install -U llmfit      # 或 pip install llmfit

# Docker / Podman（直接出 JSON 推荐）
docker run ghcr.io/alexsjones/llmfit

# 从源码构建
git clone https://github.com/AlexsJones/llmfit.git && cd llmfit && cargo build --release

    跑起来：

    llmfit            # 进入交互式 TUI，看硬件 + 全模型排名
llmfit fit        # 命令行表格：所有模型按适配度排名
llmfit recommend --json   # 以 JSON 输出 Top 推荐（供脚本 / Agent 消费）
llmfit info "qwen2.5:7b"  # 单个模型的适配分析与估算依据
llmfit bench      # 对你的运行时实测 tok/s 与首字延迟
llmfit doctor     # 输出硬件检测报告（用于反馈问题）

    ✨ 核心功能

    llmfit 工作流程

    1. 硬件自动检测 + 四维评分：读取 RAM / CPU / GPU·VRAM 与本地后端，对目录里数百个模型按「内存适配、速度估算、模型质量、上下文长度」四维打分，并公开每个分数的输入依据，llmfit info 可逐项核查。
    2. TUI 交互 + CLI 脚本化：默认 TUI 实时排名、规划、模拟下载并接入社区榜单；同时提供 fit / recommend --json / info 等子命令，方便被脚本、CI 与 AI Agent 调用。
    3. 多 GPU、MoE 与动态量化：支持多卡配置与 MoE 架构（按激活参数而非总量估算显存），并会根据你的硬件动态选择最优量化档位（如 Q4 / Q8）。
    4. 本地运行时全覆盖：原生对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio，推荐结果可直接落地运行。
    5. 实测众包（benchmark & share）：在你机器上实测 tok/s，结果先存本地、再一键以 PR 贡献回社区，让同型号硬件的人拿到「已验证 ✓」的真实数字。

    🎯 典型使用场景

    llmfit 四大评分维度

    • 本地部署前选型：拿到一台新笔记本 / 显卡，先跑 llmfit 看 7B / 14B / 32B 甚至 70B 谁能在你的显存和内存里跑、大概多快，避免「下了 3 小时发现跑不起来」的尴尬。
    • 自动化流水线 / AI Agent：在部署脚本或 Coding Agent 里调用 llmfit recommend --json --use-case coding，根据当前主机规格自动挑选可运行的编码模型，做到「按机器适配」而非写死模型名。
    • 硬件升级决策：想加内存还是换显卡？用 llmfit info 对比不同配置下目标模型的适配与速度估算，量化升级带来的收益再下单。

    💡 推荐理由

    本地跑大模型最让人头大的就是「选型玄学」——参数规模、量化、上下文、显存、内存交织在一起，靠经验猜十次翻车八次。llmfit 把这件事变成了可解释、可验证的工程问题：它不只给结论，还把每个估算的输入摊开给你看，并鼓励你用真实 benchmark 反哺社区。Rust 编写的单文件二进制启动极快、零运行时依赖，TUI 好看、CLI 好接，是个人本地 AI 实验室和企业内网「该跑哪个模型」决策的贴心小助手。30K+ Star、MIT 协议、隐私默认（不联网不上传），值得收藏。

    🔗 下载地址

  • KTransformers：让消费级显卡跑起 DeepSeek 的异构推理引擎

    KTransformers：让消费级显卡跑起 DeepSeek 的异构推理引擎

    KTransformers

    项目简介

    KTransformers 是清华大学 MADSys 实验室联合 Approaching.AI 等团队开源的大模型异构推理与微调框架。它最出圈的能力，是让一块 24GB 显存的消费级显卡（如 RTX 4090）也能流畅运行 DeepSeek-V3 / R1 这类数百 GB 的巨型 MoE 模型——把”热专家”放在 GPU、”冷专家”卸载到 CPU/内存，配合 INT4/INT8/FP8 量化与 AMX/AVX 指令集优化，在本地把推理速度做到可用甚至惊艳。

    安装要求和过程

    环境要求：

    • Python 3.10 / 3.11 / 3.12（官方预编译 wheel 支持这三个版本）
    • Linux x86-64（manylinux_2_17），CPU 需支持 AVX2（Intel Haswell 2013+ / AMD Zen+ 及以上）
    • 可选 NVIDIA GPU，计算能力 8.0+（Ampere / Ada / Hopper，如 A100、RTX 3090/4090、H100）；无需安装 CUDA toolkit，静态 CUDA 运行时已内置
    • 运行超大规模 MoE（如 DeepSeek-V3/R1）时，建议 64GB~382GB 内存用于专家卸载

    快速安装（PyPI，推荐大多数用户）：

    pip install kt-kernel

    一行命令即装好含自动 CPU 检测、多指令集变体与 CUDA 加速的推理内核，无需编译。验证安装：

    kt version          # 查看 CLI 版本与检测到的 CPU 变体
python -c "from kt_kernel import KTMoEWrapper; print('ok')"

    从源码编译（需要自定义 / AMD BLIS / ARM KML 后端）：

    git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers/kt-kernel
git submodule update --init --recursive
./install.sh        # 自动检测 CPU 并 -march=native 编译

    一条命令跑起来（自动适配硬件）：

    kt run m2           # 启动模型推理服务（自动优化参数）
kt chat             # 另开终端开始对话

    核心功能

    • CPU-GPU 异构推理（expert offload）：把 Mixture-of-Experts 中高频访问的”热专家”留在 GPU，低频”冷专家”卸载到 CPU 与内存，显存占用从数十 GB 降到单卡 24GB 即可跑 DeepSeek-R1/V3。
    • 多指令集深度优化内核：内置 AMX（Intel Sapphire Rapids+）、AVX512（含 BF16/VNNI/VBMI）、AVX2 等多套 CPU 内核变体，运行时按 CPU 自动选择，并支持原生 FP8/BF16/INT4 精度。
    • 量化与长上下文：支持 CPU 侧 INT4/INT8 量化权重与 GPU 侧 GPTQ，配合 unsloth 1.58/2.51bit 与 IQ1_S/FP8 混合权重；可在 24GB 显存下放飞 139K+ 长上下文。
    • 微调（SFT）× LLaMA-Factory：支持在有限显存上对 DeepSeek-V3/R1、Qwen3-MoE 等超大 MoE 做 LoRA 微调，官方称比 ZeRO-Offload 快 6~12 倍、CPU 内存减半。
    • 生产级集成：提供干净的 Python API，可无缝接入 SGLang 做生产部署，实现”热专家 GPU / 冷专家 CPU”的异构服务。

    KTransformers × LLaMA-Factory 超大 MoE 微调

    图：KTransformers × LLaMA-Factory 在有限显存上微调超大 MoE 模型

    典型使用场景

    • 本地私有化跑 DeepSeek 满血版：开发者用一台配 24GB 显卡 + 大内存的主机，本地部署 DeepSeek-R1/V3 做代码助手、知识库问答，数据不出机器。
    • 高并发推理服务：在 8×L20 + Xeon 的服务器上，官方实测 DeepSeek-R1-0528（FP8）总吞吐 227.85 tokens/s、8 路并发输出 87.58 tokens/s，适合中小团队自建推理网关。
    • 超大模型低成本微调：用 4×RTX 4090 对 DeepSeek-V3 做 LoRA 微调（约 80GB 显存、3.7 it/s），或用单张 4090 微调 Qwen3-30B-A3B（8+ it/s），把训练成本打到消费级。

    推荐理由

    大模型推理的门槛，过去被”显存”死死卡住——想本地跑 DeepSeek 满血版，要么堆 H100 要么云上烧钱。KTransformers 的价值正在于此：它不跟你拼硬件，而是用异构调度 + 量化 + CPU 指令集优化把”不可能”变成”在家就能跑”。对预算有限的个人开发者、想做私有化部署的小团队、以及研究 MoE 推理优化的工程师来说，它是目前最务实的本地推理方案之一。

    工程上它也很”乖”：从 pip install kt-kernel 到 kt run 一条命令起服务，内置 CPU 变体自动检测、NUMA 感知线程池，连 CUDA toolkit 都不用装。唯一的代价是——它目前主要面向 Linux x86-64，且吃内存（专家卸载越多越吃），上 Windows 原生或低内存机器要谨慎。但瑕不掩瑜，如果你想体验”把大模型装进自己电脑”，KTransformers 值得第一个试。

    下载地址

    许可：Apache-2.0 ｜ 语言：Python / C++ ｜ 维护：清华大学 MADSys 实验室、Approaching.AI、9#AISoft 及社区

  • llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

    llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

    llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

    llama.cpp 项目预览

    📝 项目简介

    llama.cpp 是一个用纯 C/C++ 实现、零外部依赖的大语言模型（LLM）推理引擎。它让你无需 Python 环境、无需昂贵显卡，就能在笔记本、树莓派甚至手机上高性能地运行 LLaMA、Qwen、Gemma、Mistral 等主流开源模型——可以说，它是当下几乎所有「本地跑大模型」工具的底层基石。

    🌐 官网：https://llama.app

    📦 GitHub：https://github.com/ggml-org/llama.cpp

    ⭐ Stars：119.5K+

    📄 开源协议：MIT License

    💻 主要语言：C / C++

    💻 安装要求和过程

    环境要求

    • C/C++ 编译器：GCC / Clang / MSVC，支持 C++11 及以上
    • CMake 3.8+：从源码构建时需要
    • 可选 GPU 后端：CUDA（NVIDIA）、ROCm（AMD）、Metal（Apple Silicon）、Vulkan、SYCL 等，用于硬件加速
    • 可选 Python 3：仅用于模型格式转换脚本 convert_*.py
    • 支持平台：macOS / Linux / Windows，以及 iOS、Android、浏览器（WASM）等

    快速安装步骤

    方式一：包管理器一键安装（推荐新手）

    # macOS
brew install llama.cpp

# Windows
winget install llama.cpp

# Conda
conda install -c conda-forge llama-cpp

    方式二：Docker 运行（自带 API 服务）

    docker run -p 8080:8080 -v ./models:/models \
  ghcr.io/ggml-org/llama.cpp:server -m /models/your_model.gguf

    方式三：从源码构建

    git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release

    快速开始：下载并运行一个模型

    # 命令行对话（自动从 Hugging Face 拉取 GGUF 模型）
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动 OpenAI 兼容的 API 服务（含简易 WebUI）
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

    ✨ 核心功能

    1. 🪶 纯 C/C++ 零依赖，极致轻量

    不依赖 PyTorch、不依赖 Python 运行时，编译出一个二进制文件即可运行。极小的体积和无依赖特性，让它可以被移植到几乎所有计算设备——这正是它能跑在树莓派和手机上的根本原因。

    2. ⚡ 全平台硬件加速与混合推理

    针对 Apple Silicon（Metal / ARM NEON）、x86（AVX2 / AVX-512 / AMX）、RISC-V 等架构做了深度优化；支持 NVIDIA（CUDA）、AMD（ROCm）、摩尔线程（MUSA）、Vulkan、SYCL、OpenCL 等多种后端。CPU+GPU 混合推理甚至能运行超过显存容量的超大模型。

    3. 🗜️ GGUF 格式与 1.5~8 bit 量化

    模型统一封装为 GGUF 格式，并支持从 1.5-bit 到 8-bit 的整数量化。量化后显存与内存占用大幅下降，让消费级显卡甚至纯 CPU 也能流畅运行 70B 级别的大模型。

    4. 🔌 OpenAI 兼容 API 服务

    llama-server 提供与 OpenAI 完全兼容的 /v1 接口，并自带简易 WebUI。你现有的基于 OpenAI SDK 的应用几乎零改动就能切换到本地模型，彻底摆脱对云服务的依赖。

    5. 🧰 丰富的推理工具链

    内置 llama-bench（性能基准测试）、llama-perplexity（困惑度评估）、llama-quantize（模型量化）以及基于 GBNF 语法的约束解码（强制输出 JSON / 特定格式），覆盖从评测到生产的完整链路。

    🎯 典型使用场景

    场景一：在笔记本 / 手机上本地聊天，隐私数据不出端

    下载一个量化后的 Qwen 或 Gemma 模型，用 llama-cli 即可在断网环境下与 AI 对话。所有数据都在本地处理，特别适合处理合同、代码、笔记等敏感内容。

    场景二：自建私有 OpenAI 兼容推理服务

    在内网或离线环境中启动 llama-server，把本地模型包装成标准 API。前端应用、RAG 系统、Agent 框架（如 LangChain、Dify）都能直接对接，既保证数据合规，又省下云推理费用。

    llama-server -m models/qwen2.5-7b-instruct-q4_k_m.gguf --port 8080

    场景三：边缘设备与嵌入式部署

    在树莓派、工控机、车载设备上编译运行 llama.cpp，为 IoT 场景提供离线语音助手、本地知识问答等能力。配合量化技术，几百 MB 内存即可驱动一个可用的小模型。

    💡 推荐理由

    作为一名经常折腾本地大模型的开发者，我对 llama.cpp 的感情可以用「基石」二字形容。在它出现之前，想本地跑一个开源模型意味着安装几十 GB 的 PyTorch 环境，且基本只能在高端显卡上跑；llama.cpp 用纯 C/C++ 把这件事拉到了「人人可玩」的门槛。

    我的几点使用心得：

    • 它是整个生态的地基：Ollama、LM Studio、Jan、Open WebUI 乃至无数上层应用，底层推理几乎都调用了 llama.cpp。理解它，就理解了「本地 AI」的半壁江山。
    • 量化是性价比之王：7B 模型用 Q4_K_M 量化后体积不到 5GB，在普通笔记本上就能达到可用速度，是入门本地模型的最佳起点。
    • OpenAI 兼容接口太省心：一条 llama-server 命令就把本地模型变成标准 API，让我能把线上项目无痛切换到离线环境做.demo或内网部署。
    • 更新极快、社区极活跃：几乎每周都有新后端、新量化方法的合并，119K+ 的 Stars 背后是庞大而健康的贡献者群体。

    如果你想真正搞懂「大模型是怎么在本地跑起来的」，llama.cpp 是 2026 年依旧最值得 clone 一份源码、逐行读一读的开源项目。

    📥 下载地址

    🌐 官方网站：https://llama.app

    📦 GitHub 仓库：https://github.com/ggml-org/llama.cpp

    📚 官方文档：github.com/ggml-org/llama.cpp/docs

    🤗 GGUF 模型库：huggingface.co/ggml-org

    🐳 Docker 镜像：ghcr.io/ggml-org/llama.cpp

    📌 本文是《GitHub 热门 AI 开源项目》系列的第 95 期，每期介绍一个热门的 AI 开源项目。欢迎关注本栏目，获取更多优质开源项目介绍！

  • Microsoft BitNet：1-bit LLM 官方推理框架，让 CPU 跑大模型速度提升 6 倍

    Microsoft BitNet：1-bit LLM 官方推理框架，让 CPU 跑大模型速度提升 6 倍

    ⭐ 39,599+ Stars
    MIT License
    Microsoft 官方
    Python/C++

    📌 项目简介

    Microsoft BitNet — 1-bit LLM 官方推理框架

    bitnet.cpp 是微软官方出品的 1-bit 大语言模型推理框架，专为 BitNet b1.58 等三元量化模型打造。它基于 llama.cpp 构建，提供一系列高度优化的内核，支持在 CPU 和 GPU 上实现 1.58-bit 模型的快速、无损推理。

    核心突破：1.58-bit 量化（每个权重只需 1.58 个比特），在大幅降低模型内存占用的同时，推理质量几乎无损。这意味着一台普通笔记本甚至手机，都能运行过去需要昂贵 GPU 才能跑的大模型。

    💡 为什么重要？ BitNet 的论文《The Era of 1-bit LLMs》引爆了 AI 社区——它证明了 1-bit 量化模型可以媲美全精度模型的性能，同时内存占用降低 7-10 倍，能耗降低 70-82%。这是本地 LLM 部署和边缘 AI 的里程碑式突破。

    🔧 安装要求和过程

    环境要求

    依赖项 版本要求 说明
    Python ≥ 3.9 推荐用 Conda 管理环境
    CMake ≥ 3.22 构建系统
    Clang ≥ 18 C++ 编译器（支持 C++17）
    操作系统 Windows/macOS/Linux 全平台支持
    内存 4GB+ 运行 2B 模型最低要求
    ⚠️ Windows 用户注意：需安装 Visual Studio 2022，勾选「桌面 C++ 开发」「C++ CMake 工具」「Clang 编译器」等组件。所有命令需在 VS2022 开发者命令提示符中运行。

    快速安装步骤

    方式一：从源码构建（推荐）

    # 1. 克隆仓库（包含子模块）
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

# 2. 创建 Conda 环境
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
pip install -r requirements.txt

# 3. 下载官方模型并配置环境
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

    方式二：使用 pip 安装（简化版）

    pip install bitnet-cpp
bitnet setup --model microsoft/BitNet-b1.58-2B-4T

    方式三：Docker 部署

    docker build -t bitnet-cpp .
docker run -it --rm bitnet-cpp

    🚀 核心功能

    1. 1.58-bit 极致量化推理

    每个权重仅用 {-1, 0, +1} 三个值表示（1.58 bits），相比 FP16 模型内存压缩 7-10 倍，推理速度提升 2-6 倍。这是目前业界最激进、也是最实用的 LLM 量化方案。

    2. CPU 原生优化（无需 GPU！）

    针对 x86 和 ARM CPU 深度优化：

    • x86 CPU：推理速度提升 2.37x ~ 6.17x，能耗降低 71.9% ~ 82.2%
    • ARM CPU（如 Apple M 系列）：推理速度提升 1.37x ~ 5.07x，能耗降低 55.4% ~ 70.0%
    • 单 CPU 运行 100B 模型：速度达 5-7 tokens/秒，媲美人类阅读速度

    3. GPU 推理支持（2025 年 5 月上线）

    官方 GPU 推理内核已发布，支持 NVIDIA GPU 加速推理。GPU 分支提供比 CPU 高一个数量级的吞吐量，适合高并发场景。详见 gpu/README.md。

    4. 多模型生态支持

    不仅支持微软官方 BitNet 模型，还兼容社区模型：

    • BitNet-b1.58-2B-4T（官方，2.4B 参数，HuggingFace 可下载）
    • bitnet_b1_58-large（0.7B）
    • Llama3-8B-1.58-100B-tokens（8B）
    • Falcon3 系列（1B-10B，tiiuae 出品）

    5. 完善的工具链

    • run_inference.py：对话模式/自定义 Prompt 推理
    • e2e_benchmark.py：性能基准测试
    • convert-helper-bitnet.py：safetensors → GGUF 格式转换
    • generate-dummy-bitnet-model.py：生成虚拟模型用于测试

    💡 典型使用场景

    场景一：本地私有化部署 LLM

    企业或因隐私要求不能在云端运行 LLM 的场景。BitNet 让一台普通办公电脑（甚至只有 CPU）就能运行 2B-7B 参数级别的模型，无需昂贵 GPU 投资。

    # 在普通办公电脑上运行私有对话助手
python run_inference.py \
  -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf \
  -p "你是一个专业的技术支持助手" \
  -cnv -t 8

    场景二：边缘设备和嵌入式 AI

    在树莓派、手机、IoT 设备上部署 AI 助手。1-bit 量化模型极小，2B 模型经量化后仅约 500MB，可以轻松嵌入边缘设备。微软研究人员已演示在 ARM 设备上流畅运行。

    场景三：大规模模型服务成本优化

    云服务商或企业 AI 平台可以用 BitNet 量化模型，将推理成本降低 70% 以上。同样硬件可以服务更多用户，或同样预算获得更高吞吐量。

    🏆 推荐理由

    为什么你应该关注 BitNet？

    • 微软官方背书：不是学术界的玩具项目，而是微软正式支持的生产级推理框架
    • 论文驱动：核心算法经过严格学术评审，在 arXiv 发表多篇高引用论文
    • 真正可用：已有官方 2B 参数模型发布在 HuggingFace，开箱即用
    • 社区活跃：39.6K+ Stars，3.6K+ Forks，303 个 Issues 讨论，持续迭代中
    • 生态融合：基于 llama.cpp 构建，天然兼容 Ollama、vLLM 等主流工具链

    个人使用心得：BitNet 最让我震撼的是它让「每个人都能本地运行 LLM」真正成为可能。过去跑一个 7B 模型需要 14GB+ 显存，现在用 BitNet 量化后，一台普通笔记本的 CPU 就能流畅运行。对于 AI 开发者、研究者、以及关注数据隐私的用户来说，这是一个必须收藏的项目。

    在线 Demo：试玩 BitNet 官方演示（Azure 托管，无需本地安装）

    📦 下载地址

    由 WorkBuddy AI 自动发布 | 数据来源：GitHub API | 更新时间：2026-07-04