YOHO AI

标签： HuggingFace

  • DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar ds4

    📌 项目简介

    DwarfStar（简称 ds4）是 Redis 作者 antirez（Salvatore Sanfilippo）开源的一个原生本地推理引擎，专门为 DeepSeek V4 Flash / PRO 与 GLM 5.2 这类开源权重打造。它不追求做成通用 GGUF 运行器，而是把模型加载、分词、工具调用、KV 缓存、HTTP 服务乃至内置编码智能体垂直打通、一起调优；整个引擎用纯 C 编写、单文件二进制、零外部运行时依赖，在 Metal / CUDA / ROCm 三大后端上都能跑。

    DwarfStar 项目速览

    ⚙️ 安装要求和过程

    环境要求

    • 硬件后端：Apple Silicon（Metal，96 GB 以上内存最佳，小内存可走 SSD 流式加载）；NVIDIA CUDA 显卡（含 DGX Spark / GB10 多卡）；AMD ROCm（Strix Halo，如 Framework Desktop）。
    • 工具链：C 编译器（clang / gcc）；CUDA 需 nvcc，ROCm 需 hipcc。仅依赖系统工具链，无外部运行时依赖。
    • 模型权重：需单独从 Hugging Face（antirez/deepseek-v4-gguf）下载对应的 GGUF 文件，引擎不内置权重。

    快速安装

    # 克隆仓库
git clone https://github.com/antirez/ds4
cd ds4

# macOS（默认 Metal 后端）
make

# NVIDIA CUDA：DGX Spark / GB10
make cuda-spark
# 或通用本地 CUDA 构建
make cuda CUDA_ARCH=native

# AMD ROCm（Strix Halo / Framework Desktop，gfx1151）
make rocm

# CPU 参考 / 调试路径（非生产用途）
make cpu

    下载模型权重

    # 下载一个主模型（推荐 imatrix 版）
./download_model.sh ds4f-q2          # 96 / 128 GB 内存机器
./download_model.sh ds4f-q2-q4       # 末 6 层专家用 q4
./download_model.sh ds4f-q4          # ≥ 256 GB 内存
./download_model.sh ds4f-mxfp4       # 原生 MXFP4 专家，约 156 GB
./download_model.sh pro-q2-imatrix   # 512 GB 内存，PRO q2 imatrix 量化

    运行

    # 单条提示
./ds4 -p "用一段话解释 Redis Stream。"

# 进入多轮交互式对话
./ds4
ds4> /help

# 启动 OpenAI / Anthropic 兼容的本地服务
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192

    ✨ 核心功能

    DwarfStar 核心能力

    1. 贴近模型的「专用」引擎：不为通用 GGUF 设计，模型加载 / 分词 / 工具调用 / KV 缓存 / HTTP 服务 / 编码智能体垂直打通，针对少数量身优化的开源权重做专项调优。
    2. 三大后端原生加速：Metal（主战场，Mac 96 GB+）、NVIDIA CUDA（含多卡 / DGX Spark）、ROCm（Strix Halo）；内存不足的机器还能用 SSD 流式加载权重。
    3. 分布式推理：管道并行把多台机器的内存叠加起来跑更大的模型；基于 RDMA 的张量并行甚至能让两台 128 GB MacBook 合力运行 4-bit 的 DeepSeek Flash 或 GLM 5.2。
    4. 内置原生编码智能体：推理由智能体内部直接驱动、没有 socket / API 边界，会话本身就是磁盘上的 KV 缓存；工具调用走原生 LLM 格式，延迟极低、KV 永不错位，还能用 /save /switch 续上历史会话。
    5. OpenAI / Anthropic 兼容服务：ds4-server 提供 /v1/chat/completions、/v1/responses 等端点，支持多会话批处理与磁盘 KV 缓存，可完全私有化部署。

    DwarfStar 性能实测

    实测参考（q2 量化，意大利语长文本输入）：MacBook Pro M5 Max（128 GB，Metal）在 2K 上下文下预填约 790 t/s、生成约 39 t/s；DGX Spark GB10 预填可达 826 t/s。128 GB 内存即可流畅跑 DeepSeek V4 Flash。

    🎯 典型使用场景

    DwarfStar 适用场景

    1. 个人高端 Mac / 工作站本地跑强模型：MacBook M5 Max、Mac Studio M3 Ultra、DGX Spark、Framework Desktop 用户，无需联网、隐私不出本机即可使用 DeepSeek V4 级别的大模型。
    2. 把闲置旧 CUDA 卡变成多用户服务器：借助 CUDA 多卡与 ds4-server 的微批处理，把不再被 vLLM 支持的旧 Ada 架构显卡（如 8×L40S）改造成公司内部的多用户 LLM 服务。
    3. 企业内网私有化部署：用 OpenAI 兼容端点 + 磁盘 KV 缓存，配合工具调用承载客服、知识库问答、本地编码助手等智能体，数据全程不出内网。

    💡 推荐理由

    作为 Redis 作者的最新作品，ds4 最打动我的是它的「克制与专注」：它坦然承认自己不是万能的通用推理器，而是把一件事做到极致——让 DeepSeek V4 这类前沿开源权重在消费级 / 工作站级硬件上跑得又快又稳。对一个 C 写的单文件引擎来说，开箱即用的交互式 CLI、兼容 OpenAI 的服务端、甚至原生编码智能体全部到位，体验相当完整。

    特别加分的是项目的坦诚：antirez 在 README 里明确做了「AI 全程披露」，说明代码大量借助 GPT / Claude 完成、但由人类把握方向与测试，同时也郑重致谢 llama.cpp 与 GGML——这种开源精神值得点赞。需要提醒的是，项目目前仍处快速迭代的 beta 阶段、文档也在持续补全，适合愿意折腾、想把手里高端硬件榨干的朋友尝鲜。

    🔗 下载地址

  • AirLLM：单张 4GB 显卡跑起 70B 大模型，无需量化不损精度

    AirLLM：单张 4GB 显卡跑起 70B 大模型，无需量化不损精度

    如果你手头只有一张 4GB 显存的消费级显卡（比如 RTX 3050 / 4060），却想本地跑 70B 级别的大模型，AirLLM 是目前最省心的解法之一。它不靠量化、蒸馏或剪枝来”阉割”模型，而是用逐层加载的巧思，把推理所需的显存从”整个模型”压到”单层”，让穷人也能在本地玩转大模型。

    📌 项目简介

    AirLLM 是一个低显存大模型推理框架。它核心思路是一次只在 GPU 上保留一层权重，配合稀疏 MoE 的专家流式加载，使显存占用取决于”单层大小”而非”模型总大小”。因此在原生精度、零精度损失的前提下，单张 4GB 显卡就能跑 70B 模型，8GB 跑 405B，约 12GB 跑 DeepSeek-V3（671B）。

    🛠 安装要求和过程

    环境要求

    • Python 3.8+ 与 PyTorch（CUDA 可用 GPU，或 MacOS Apple Silicon 上的 MLX）
    • HuggingFace transformers 等依赖（仓库 requirements.txt 已列）
    • 需能联网拉取 HuggingFace 模型权重

    快速安装

    pip install airllm

    如需开启模型压缩加速（必须 airllm 2.0.0+）：

    pip install -U bitsandbytes
pip install -U airllm

    ⚡ 核心功能

    1. 极低显存推理：70B≈4GB、405B≈8GB、DeepSeek-V3 671B≈12GB、Kimi K3 2.8T 低于 4GB。
    2. 无量化/蒸馏/剪枝：原生精度运行，彻底告别量化带来的精度焦虑。
    3. 模型压缩加速：基于分块量化的 4bit/8bit 压缩，最高约 3× 推理加速，精度损失可忽略。
    4. AutoModel 统一接口：一行 from_pretrained 切换 Llama / Qwen / DeepSeek / Mistral / Phi / Gemma / ChatGLM 等。
    5. 多平台 + 预取：支持 Linux 与 MacOS（Apple silicon）；加载与计算重叠预取提速；稀疏 MoE 专家流式加载。
    AirLLM 模型压缩 3x 推理加速
    AirLLM 基于分块量化的 4bit/8bit 压缩可带来最高约 3× 推理加速，精度损失可忽略

    🎯 典型使用场景

    • 个人本地推理：开发者用 4–8GB 显卡在本地跑 70B/405B 模型做聊天、RAG、Agent，无需租用云 GPU。
    • 低成本大模型服务：在显存受限的边缘/低成本服务器上部署 DeepSeek-V3（671B）这类超大模型对外提供能力。
    • 教学与演示：在普通笔记本上现场演示大模型推理流程，无需昂贵的 A100/H100，课堂与 workshop 友好。

    💡 推荐理由（个人使用心得）

    AirLLM 真正把”穷人也能玩大模型”变成了现实——4GB 显卡就能跑 70B，门槛低到惊人。相比各种量化方案，它保留全精度输出，结果更可靠、更可复现；而且 AutoModel 接口与 HuggingFace transformers 几乎一致，迁移成本几乎为零。两点提醒：一是逐层加载牺牲了速度，更偏 demo / 研究，不适合高并发生产；二是需要能拉取 HF 权重，且开启压缩加速要额外装 bitsandbytes。整体而言，是入门本地大模型的极佳首选。

    🔗 下载地址

  • colibri：用纯 C 把 744B~2.8T MoE 大模型跑到本地

    colibri：用纯 C 把 744B~2.8T MoE 大模型跑到本地

    colibri 是近期 GitHub 上热度最高的本地推理引擎之一：只用纯 C 编写、零运行时依赖，就能把 744B 到 2.8T 参数的 MoE（混合专家）大模型跑在你现有的硬件上。它不是把模型硬塞进显存，而是把 VRAM、RAM 和 NVMe 当作同一层级来管理，按需从磁盘流式加载专家权重。项目上线一个月已收获 21.9K Stars，并支持 GLM-5.2、Inkling、Kimi K3、OLMoE 四大模型家族。

    本期我们就来拆解：colibri 是怎么让“本地运行千亿 MoE”这件事从神话变成可复现实验的。

    项目简介

    colibri 是一个面向前沿 MoE 模型的本地推理引擎。它用“存储即内存层级”的思路替代传统的“模型必须全进显存”假设：密集注意力层常驻 RAM，19456 个路由专家放在磁盘，只有在路由器真正需要时才被预取到 RAM/VRAM。这样一台只有 25 GB 内存的常规电脑也能把 744B 的 GLM-5.2 跑起来，而高端工作站则可以把全部专家驻留 GPU，达到接近数据中心的吞吐。

    配图速览

    colibri 核心速览
    colibri 核心数据一览
    三层存储层级
    colibri 把专家权重分布在 VRAM / RAM / NVMe 三个层级，速度随硬件变化，语义保持不变。

    安装要求和过程

    环境要求

    • 操作系统：Linux、macOS、Windows 11
    • 内存：最低 25 GB RAM（仅 CPU 流式）；推荐 128 GB 或更高，配合多 GPU 可获得更好体验
    • 磁盘：GLM-5.2 int4 容器约 372 GB；Kimi K3 原始检查点约 1.6 TB
    • 软件：Python 3（仅用于 launcher 和转换脚本）；编译源码需要 gcc/clang + OpenMP
    • GPU（可选）：CUDA、Metal（Apple Silicon）、Vulkan 1.2（含 AMD RADV）后端均可选

    快速安装

    1. 下载对应平台的预编译 release 并解压：
    mkdir colibri && tar xzf colibri-v1.1.0-linux-x86_64.tar.gz -C colibri && cd colibri
python3 coli info
    1. 或从源码构建：
    git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh
    1. 下载 GLM-5.2 int4 gs64 容器（推荐带 int8 MTP 头的版本）：
    # 推荐从 Hugging Face 拉取 mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp
# 约 372 GB，放 NVMe 上最佳
    1. 运行交互式聊天、API 服务或 Web 面板：
    COLI_MODEL=/nvme/glm52_i4 ./coli chat
COLI_MODEL=/nvme/glm52_i4 ./coli serve    # OpenAI-compatible API
./coli web --model /nvme/glm52_i4          # API + 可视化 dashboard

    核心功能

    1. 存储即内存层级
      把 VRAM、RAM、NVMe 统一成专家权重的放置策略。缺显存不会悄悄改模型精度或路由语义，只会影响速度。
    2. 按需流式加载专家
      MoE 每层只激活少量专家。colibri 让 19456 个专家中的绝大部分常驻磁盘，通过 per-layer LRU、学习到的热专家 pinned set 和一层提前预取（PILOT）减少磁盘等待。
    3. 纯 C 零依赖引擎
      每个模型对应一个 C 文件（如 c/glm.c），无 BLAS、无运行时 Python、无 GPU 也能跑。
    4. 多后端异构执行
      支持 CPU、CUDA、Metal、Vulkan 四种后端，可组合使用；双 SSD 镜像可把只读专家读取带宽翻倍。
    5. 学习缓存与压缩状态
      引擎记录你的工作负载路由历史（.coli_usage），越用越快；MLA KV 状态压缩到原来的 1/57，并能持久化对话上下文。

    典型使用场景

    场景一：个人开发者跑前沿模型做实验

    你只有一台 64 GB RAM + 1 TB NVMe 的台式机。传统 vLLM/llama.cpp 会把 744B 模型拒之门外；colibri 让你用 COLI_MODEL=/nvme/glm52_i4 ./coli chat 直接对话，虽然 token/s 不高，但足以做提示工程、长文本探索和小批量评估。

    场景二：工作室搭建本地私有 API

    在多卡工作站（如 6× RTX 5090）上，把专家全部驻留 GPU，colibri 可提供 5.8–6.8 tok/s 的解码速度和 1.6 s 的 TTFT。通过 coli serve 提供 OpenAI-compatible API，内部团队就能在不联网的情况下调用千亿模型。

    场景三：MoE 推理系统研究

    colibri 把放置策略、调度、I/O、CPU/GPU 重叠都做成可测量的实验参数。研究者可以替换缓存策略、测试双 SSD 镜像、评估 int4/int8/MXFP4 格式对质量的影响，并把结果以 issue 形式回馈社区。

    推荐理由

    colibri 最打动我的不是“跑 744B 模型”这个噱头，而是它把“本地推理”重新定义为系统优化问题：不盲目堆硬件，而是认真测量每一个瓶颈——磁盘带宽、专家命中率、KV 压缩、CPU/GPU 重叠、量化质量——并用可复现的 A/B 来做决策。README 里反复出现的不是营销数字，而是“这个功能在哪台机器上、用什么 commit、跑什么 prompt 测出来的”。

    对于国内用户，它还有一个隐性好处：GLM-5.2、Kimi K3、Qwen3 MoE（roadmap）等模型天然和中国模型生态更近，未来可以更低成本地跑开源中文大模型。

    当然，它现在还是研究导向的项目：没有 SLA 保证速度，配置参数很多，对磁盘和内存仍有一定要求。但如果你既想摸到前沿模型，又不想把数据送出去，colibri 是 2026 年最值得关注的本地推理引擎之一。

    下载地址

  • TRELLIS.2：微软开源 4B 参数图像到 3D 生成模型，3 秒生成高保真纹理资产

    TRELLIS.2：微软开源 4B 参数图像到 3D 生成模型，3 秒生成高保真纹理资产

    TRELLIS.2

    项目简介

    TRELLIS.2 是微软研究院开源的 4B 参数大规模 3D 生成模型，专注于图像到 3D（image-to-3D）资产生成。它抛弃了传统等值面场的限制，提出一种名为 O-Voxel 的“无场”稀疏体素结构，能够原生重建和生成具有复杂拓扑、锐利细节以及完整 PBR 材质的 3D 模型。

    安装要求和过程

    目前官方仅验证过 Linux 环境，GPU 显存至少 24GB（推荐 A100 / H100），需要 CUDA 12.4 和 Conda。

    1. 克隆仓库： 
      git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
    2. 创建 conda 环境并安装依赖： 
      . ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm
    3. 从 Hugging Face 下载 4B 预训练权重：
      https://huggingface.co/microsoft/TRELLIS.2-4B

    核心功能

    • 高保真生成：40 亿参数 DiT 模型 + 16× 下采样稀疏 3D VAE，可直接生成 512³ 到 1536³ 分辨率的带纹理 3D 资产。
    • O-Voxel 拓扑自由：原生支持开放曲面、非流形几何和内部封闭结构，无需像传统 NeRF/SDF 那样进行有损转换。
    • PBR 材质建模：不仅生成基础色，还输出 Roughness、Metallic、Opacity 等属性，支持透明与真实感渲染。
    • 极简后处理：纹理网格转 O-Voxel 单 CPU <10 秒，O-Voxel 转纹理网格在 CUDA 上 <100 毫秒。
    • 完整训练代码：开源 SC-VAE、形状/纹理 Flow Model 训练脚本，可用 Objaverse-XL 等数据从头训练或微调。

    TRELLIS.2 核心特性

    典型使用场景

    • 游戏/影视资产快速出稿：原画师只需提供一张概念图，即可在数秒内获得带 PBR 材质的可用 3D 模型，大幅缩短原型迭代周期。
    • 电商/虚拟展示：把产品照片自动转换为可旋转的 GLB 3D 资产，用于网页 AR、虚拟展厅和商品详情页。
    • 3D 内容创作者工具链：结合 ComfyUI、Blender 等工具，将 TRELLIS.2 作为 AI 建模节点，批量生成风格化道具和场景元素。

    推荐理由

    TRELLIS.2 给我的最大惊喜是“快”和“全”：快在 H100 上 3 秒就能跑出 512³ 的高质量模型；全在从模型权重到训练代码全部开源，还配有 Hugging Face Demo。相比之前很多只能生成封闭几何体的方案，它对开放曲面、衣物、叶片等复杂拓扑的处理明显更稳。对于想要在本地做 3D AIGC 的同学来说，这是目前最值得入手的工程基座之一。

    下载地址

  • 一个研究生用12B模型干翻HuggingFace热榜，大厂这次真的有点尴尬

    一个研究生，两款模型，74万次下载

    HuggingFace的Trending模型榜，向来是大厂的秀场——直到逯雨鑫（yuxinlu1）带着他的GGUF量化模型闯了进来。

    这个美国AI方向的在读研究生，用Gemma4-12B做底座，通过蒸馏把Fable 5的编程推理能力「压」进了一个仅需4.5GB显存就能跑的小模型。结果很直接：在HuggingFace趋势榜上，它一度超过了智谱GLM-5.2、百度Unlimited-OCR等大厂作品，两款模型合计下载量突破74万。

    个人开发者霸榜HuggingFace概念图
    个人开发者的12B模型在HuggingFace趋势榜超越众多大厂模型

    怎么做到的？数据质量胜过数量

    逯雨鑫的秘诀不算神秘，但很费功夫：他用约1万条高质量、经过验证的训练数据，而不是几百万条噪声数据。具体来说，他用Fable 5生成代码推理链，但只保留「能通过测试用例」的那些——相当于让老师先改作业，再把满分答案给学生做示范。

    两个版本各有侧重：V1 Coder版专注代码生成与解题；V2 Agentic版增加了多步工具调用能力。在tau2-bench telecom子集上，V2得分55%，而基座Gemma4-12B只有15%——提升了约3.5倍。

    「大厂能做得更好，但开源小模型受品牌和API引流目标影响。个人开发者可以更纯粹地解决『好用』问题。」——逯雨鑫

    为什么是现在？本地AI的窗口打开了

    这几年有个矛盾的现象：云端大模型越来越强，但很多人反而开始关心「本地能跑」的模型。原因很实际：隐私（不想把代码发给云端）、成本（不想为API账单发愁）、延迟（本地推理零网络开销）。

    逯雨鑫的模型最小版本（Q2_K）只要4.5GB显存，一张RTX 4060就能跑。对于很多个人开发者和中小团队，这个门槛意味着「不用申请采购、自己的笔记本就能用」。

    作者是个什么样的人？

    逯雨鑫，美国AI方向在读研究生，本科背景是数据与商业分析。他自述患有ADHD，但在快速变化的AI领域，这种「兴趣快速切换」的特质反而成了优势——hyperfocus让他能在模型训练上连续投入40多个小时。

    项目是纯自费的：一张RTX 5090（32GB VRAM）、约96GB本地SSD，没有融资、没有团队。V2版本最耗时的不是训练，而是数据处理——尤其是agentic长序列的裁剪和验证。

    • 模型底座：Google Gemma4-12B（蒸馏Fable 5能力）
    • 量化格式：GGUF（兼容llama.cpp/Ollama/LM Studio）
    • 最小显存：Q2_K约4.5GB（推荐Q4_K_M约6.87GB）
    • 合计下载：超74万（HuggingFace Trending榜一度超越GLM-5.2）
    • 未来计划：V3沿12B路线推进，同时开发基于Qwen3.6-27B的大版本