YOHO AI

标签： CUDA

  • DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar (ds4)：antirez 打造的 DeepSeek V4 原生本地推理引擎

    DwarfStar ds4

    📌 项目简介

    DwarfStar（简称 ds4）是 Redis 作者 antirez（Salvatore Sanfilippo）开源的一个原生本地推理引擎，专门为 DeepSeek V4 Flash / PRO 与 GLM 5.2 这类开源权重打造。它不追求做成通用 GGUF 运行器，而是把模型加载、分词、工具调用、KV 缓存、HTTP 服务乃至内置编码智能体垂直打通、一起调优；整个引擎用纯 C 编写、单文件二进制、零外部运行时依赖，在 Metal / CUDA / ROCm 三大后端上都能跑。

    DwarfStar 项目速览

    ⚙️ 安装要求和过程

    环境要求

    • 硬件后端：Apple Silicon（Metal，96 GB 以上内存最佳，小内存可走 SSD 流式加载）；NVIDIA CUDA 显卡（含 DGX Spark / GB10 多卡）；AMD ROCm（Strix Halo，如 Framework Desktop）。
    • 工具链：C 编译器（clang / gcc）；CUDA 需 nvcc，ROCm 需 hipcc。仅依赖系统工具链，无外部运行时依赖。
    • 模型权重：需单独从 Hugging Face（antirez/deepseek-v4-gguf）下载对应的 GGUF 文件，引擎不内置权重。

    快速安装

    # 克隆仓库
git clone https://github.com/antirez/ds4
cd ds4

# macOS（默认 Metal 后端）
make

# NVIDIA CUDA：DGX Spark / GB10
make cuda-spark
# 或通用本地 CUDA 构建
make cuda CUDA_ARCH=native

# AMD ROCm（Strix Halo / Framework Desktop，gfx1151）
make rocm

# CPU 参考 / 调试路径（非生产用途）
make cpu

    下载模型权重

    # 下载一个主模型（推荐 imatrix 版）
./download_model.sh ds4f-q2          # 96 / 128 GB 内存机器
./download_model.sh ds4f-q2-q4       # 末 6 层专家用 q4
./download_model.sh ds4f-q4          # ≥ 256 GB 内存
./download_model.sh ds4f-mxfp4       # 原生 MXFP4 专家，约 156 GB
./download_model.sh pro-q2-imatrix   # 512 GB 内存，PRO q2 imatrix 量化

    运行

    # 单条提示
./ds4 -p "用一段话解释 Redis Stream。"

# 进入多轮交互式对话
./ds4
ds4> /help

# 启动 OpenAI / Anthropic 兼容的本地服务
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192

    ✨ 核心功能

    DwarfStar 核心能力

    1. 贴近模型的「专用」引擎：不为通用 GGUF 设计，模型加载 / 分词 / 工具调用 / KV 缓存 / HTTP 服务 / 编码智能体垂直打通，针对少数量身优化的开源权重做专项调优。
    2. 三大后端原生加速：Metal（主战场，Mac 96 GB+）、NVIDIA CUDA（含多卡 / DGX Spark）、ROCm（Strix Halo）；内存不足的机器还能用 SSD 流式加载权重。
    3. 分布式推理：管道并行把多台机器的内存叠加起来跑更大的模型；基于 RDMA 的张量并行甚至能让两台 128 GB MacBook 合力运行 4-bit 的 DeepSeek Flash 或 GLM 5.2。
    4. 内置原生编码智能体：推理由智能体内部直接驱动、没有 socket / API 边界，会话本身就是磁盘上的 KV 缓存；工具调用走原生 LLM 格式，延迟极低、KV 永不错位，还能用 /save /switch 续上历史会话。
    5. OpenAI / Anthropic 兼容服务：ds4-server 提供 /v1/chat/completions、/v1/responses 等端点，支持多会话批处理与磁盘 KV 缓存，可完全私有化部署。

    DwarfStar 性能实测

    实测参考（q2 量化，意大利语长文本输入）：MacBook Pro M5 Max（128 GB，Metal）在 2K 上下文下预填约 790 t/s、生成约 39 t/s；DGX Spark GB10 预填可达 826 t/s。128 GB 内存即可流畅跑 DeepSeek V4 Flash。

    🎯 典型使用场景

    DwarfStar 适用场景

    1. 个人高端 Mac / 工作站本地跑强模型：MacBook M5 Max、Mac Studio M3 Ultra、DGX Spark、Framework Desktop 用户，无需联网、隐私不出本机即可使用 DeepSeek V4 级别的大模型。
    2. 把闲置旧 CUDA 卡变成多用户服务器：借助 CUDA 多卡与 ds4-server 的微批处理，把不再被 vLLM 支持的旧 Ada 架构显卡（如 8×L40S）改造成公司内部的多用户 LLM 服务。
    3. 企业内网私有化部署：用 OpenAI 兼容端点 + 磁盘 KV 缓存，配合工具调用承载客服、知识库问答、本地编码助手等智能体，数据全程不出内网。

    💡 推荐理由

    作为 Redis 作者的最新作品，ds4 最打动我的是它的「克制与专注」：它坦然承认自己不是万能的通用推理器，而是把一件事做到极致——让 DeepSeek V4 这类前沿开源权重在消费级 / 工作站级硬件上跑得又快又稳。对一个 C 写的单文件引擎来说，开箱即用的交互式 CLI、兼容 OpenAI 的服务端、甚至原生编码智能体全部到位，体验相当完整。

    特别加分的是项目的坦诚：antirez 在 README 里明确做了「AI 全程披露」，说明代码大量借助 GPT / Claude 完成、但由人类把握方向与测试，同时也郑重致谢 llama.cpp 与 GGML——这种开源精神值得点赞。需要提醒的是，项目目前仍处快速迭代的 beta 阶段、文档也在持续补全，适合愿意折腾、想把手里高端硬件榨干的朋友尝鲜。

    🔗 下载地址

  • TensorRT LLM：NVIDIA 开源的高性能大模型推理引擎，14.2K Star

    TensorRT LLM：NVIDIA 开源的高性能大模型推理引擎，14.2K Star

    项目简介

    TensorRT LLM 是 NVIDIA 开源的高性能大语言模型（LLM）与视觉生成模型推理优化库。它在 NVIDIA GPU 上提供最先进的定制内核、运行时优化和 Python 化高层 API，能把主流开源/自研大模型的推理延迟压到更低、吞吐拉到更高——从单张 RTX 显卡到多机 NVL72 集群都能统一部署。

    TensorRT LLM

    安装要求和过程

    环境要求

    • GPU：NVIDIA GPU（推荐 Ampere / Ada / Hopper / Blackwell 架构）
    • CUDA：CUDA 13.2.1（以 README 当前 badge 为准）
    • Python：3.10 或 3.12
    • PyTorch：2.11.0
    • 系统：Linux（主要支持）、Windows、WSL2

    快速安装

    # 推荐通过 pip 安装最新 release
pip install tensorrt_llm

# 或使用预编译容器（避免环境踩坑）
docker pull nvcr.io/nvidia/tritonserver:26.05-trtllm-python-py3

# 验证安装
trtllm-serve --help

    更复杂的源码编译或多节点部署可参考官方安装指南：Installation Guide。

    核心功能

    TensorRT LLM 架构分层

    • PyTorch 原生架构：模型定义直接写 PyTorch，调试、扩展、自定义注意力/量化都更直观。
    • 高层 LLM API：一行代码从 Hugging Face 加载模型，自动编译 TensorRT engine，支持单卡、张量并行、流水线并行、专家并行。
    • State-of-the-Art 内核：针对 Attention、GEMM、MoE 等常见算子手写 CUDA kernel，充分发挥 Tensor Core 算力。
    • 丰富的高级特性：FP8/FP4/INT4 AWQ 量化、KV Cache 复用、投机解码、Prefix Caching、CUDA Graphs、Prefill-Decode 解耦等。
    • 生产级部署生态：原生兼容 NVIDIA Dynamo、Triton Inference Server，也能作为 vLLM、SGLang 等框架的后端。

    典型使用场景

    TensorRT LLM 核心优化技术

    1. 高并发在线服务

    在 H100/H200/B200 集群上部署 Llama、DeepSeek、Qwen 等模型，配合 Tensor Parallelism 和 Disaggregated Serving，把单用户延迟压到百毫秒级，同时保持数千 token/s 的聚合吞吐。

    2. 本地化推理与边缘部署

    通过 INT4/FP4 量化和 Weight-Stripped Engines，在单张 RTX 4090 或 Jetson AGX Orin 上运行 70B 级别模型，满足私有化、低功耗场景需求。

    3. Agent 与长上下文应用

    利用 Prefix Caching 和 chunked context，在多轮工具调用、RAG、代码补全等长上下文场景中显著降低首 token 时延。

    推荐理由

    TensorRT LLM 是 NVIDIA 在大模型推理领域的“官方解法”。它不是简单的封装，而是从 kernel、runtime 到 serving 的垂直优化。2025 年 3 月后项目已完全开源并迁到 GitHub 维护，社区活跃、文档详尽，对追求极致吞吐和成本控制的生产环境尤其友好。虽然硬件门槛是 NVIDIA GPU，但如果你已经在 CUDA 生态里，它基本是目前能把模型跑得最快、最省显存的工具之一。

    下载地址

  • 前Google Brain研究员用AI智能体替非英伟达芯片写底层代码

    上个月，Jeremy Nixon 悄悄把一家公司推到了台前。这家叫 Infinity 的初创公司刚宣布拿到 1500 万美元融资，估值 1 亿美元，投资方里除了 Touring Capital、Principal VC，还有来自 OpenAI 和 Anthropic 的研究员个人。Nixon 本人是个有意思的人——他曾在 Google Brain 做研究，也是黑客社区 AGI House 的创始人。真正让外界注意到他的，是他抛出的一个有点狂的念头：AI 系统本身，能不能成为一种「元技术」，自己发明新东西。

    从「自动发明算法」到「自动写芯片代码」

    早在做 Infinity 之前，Nixon 就捣鼓过一个叫 Omega 的机器学习算法。它的特别之处在于，能自己创造出新的机器学习算法，然后在一个反馈回路里自动评估好坏。那次成功让他开始琢磨：这套思路能不能挪到别的地方？他盯上了硬件——自动化系统或许也能生成那些让芯片跑得更高效的底层代码，比如内核（kernel）这一类东西。

    英伟达的护城河，一半是软件

    这里得先说清楚一件事。很多人以为英伟达厉害是因为芯片性能好，这当然没错，但另一半答案藏在 CUDA 里。CUDA 是英伟达的软件层，让原本为图形设计的 GPU 能当通用处理器用，PyTorch、TensorFlow 都建在它上面。开发者用 Python 写应用，默认就跑在英伟达的卡上。问题是，绝大多数应用层公司既没资源也没本事自己写内核、把应用移植到别的芯片上。

    Nixon 想做的，是把 CUDA 这套「让芯片好用」的活儿交给一个 AI 智能体来干，而且不挑芯片——SRAM、GPU、手机芯片、Systolic Array 统统能适配。

    一个会自己改自己代码的智能体

    Infinity 的核心产品叫 Ignition，是个 AI 研究智能体。它的任务很硬核：为那些想挑战英伟达的芯片写 AI 推理所需的底层代码。它会测试、调试，测量硬件在这套代码下跑得快不快，不行就自动重写，直到性能提上去。整个系统是自优化的，会持续学习、自我改进，而且能适应不同的芯片架构，不管对方是不是闭源的。

    不收授权费，只抽性能提升的成

    这种打法听起来很「AI 原生」。Nixon 说，客户里已经包括 AI 芯片公司 D-Matrix——一家立志挑战英伟达的玩家，同时 Infinity 还在和其他大芯片厂、云厂商谈。更妙的是它的收费模式：不收前置授权费，而是从性能提升和成本节省里抽成，衡量的指标很直接，就是每秒令牌数（tokens per second）的变化。在一个案例里，这个智能体把原本可能要花几年或几个月的过程，压缩到了几小时或几天。

    • Infinity 不是第一家想拆英伟达墙角的公司，但它走的是「逐产品蚕食」的软件路线，而不是去造另一块卡。
    • 人类并没有被踢出局，而是给智能体定大方向，繁琐的体力活交给它。
    • 公司目前只有 26 个人，分布在设计、运营和工程岗。

    把视角拉远一点，Infinity 其实是这一波「AI 基础设施去中心化」浪潮里的一朵浪花。当训练和推理不再被绑死在某一家厂商的软件栈上，更多芯片公司才有机会把货卖出去。这条路能不能走通，取决于 Ignition 真能在不同架构上稳定逼近 CUDA 的水平——这是个需要时间验证的承诺，不是今天就能盖棺的事。

    Infinity 创始人 Jeremy Nixon
    Infinity 创始人 Jeremy Nixon（图源：TechCrunch）
  • KTransformers：让消费级显卡跑起 DeepSeek 的异构推理引擎

    KTransformers：让消费级显卡跑起 DeepSeek 的异构推理引擎

    KTransformers

    项目简介

    KTransformers 是清华大学 MADSys 实验室联合 Approaching.AI 等团队开源的大模型异构推理与微调框架。它最出圈的能力，是让一块 24GB 显存的消费级显卡（如 RTX 4090）也能流畅运行 DeepSeek-V3 / R1 这类数百 GB 的巨型 MoE 模型——把”热专家”放在 GPU、”冷专家”卸载到 CPU/内存，配合 INT4/INT8/FP8 量化与 AMX/AVX 指令集优化，在本地把推理速度做到可用甚至惊艳。

    安装要求和过程

    环境要求：

    • Python 3.10 / 3.11 / 3.12（官方预编译 wheel 支持这三个版本）
    • Linux x86-64（manylinux_2_17），CPU 需支持 AVX2（Intel Haswell 2013+ / AMD Zen+ 及以上）
    • 可选 NVIDIA GPU，计算能力 8.0+（Ampere / Ada / Hopper，如 A100、RTX 3090/4090、H100）；无需安装 CUDA toolkit，静态 CUDA 运行时已内置
    • 运行超大规模 MoE（如 DeepSeek-V3/R1）时，建议 64GB~382GB 内存用于专家卸载

    快速安装（PyPI，推荐大多数用户）：

    pip install kt-kernel

    一行命令即装好含自动 CPU 检测、多指令集变体与 CUDA 加速的推理内核，无需编译。验证安装：

    kt version          # 查看 CLI 版本与检测到的 CPU 变体
python -c "from kt_kernel import KTMoEWrapper; print('ok')"

    从源码编译（需要自定义 / AMD BLIS / ARM KML 后端）：

    git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers/kt-kernel
git submodule update --init --recursive
./install.sh        # 自动检测 CPU 并 -march=native 编译

    一条命令跑起来（自动适配硬件）：

    kt run m2           # 启动模型推理服务（自动优化参数）
kt chat             # 另开终端开始对话

    核心功能

    • CPU-GPU 异构推理（expert offload）：把 Mixture-of-Experts 中高频访问的”热专家”留在 GPU，低频”冷专家”卸载到 CPU 与内存，显存占用从数十 GB 降到单卡 24GB 即可跑 DeepSeek-R1/V3。
    • 多指令集深度优化内核：内置 AMX（Intel Sapphire Rapids+）、AVX512（含 BF16/VNNI/VBMI）、AVX2 等多套 CPU 内核变体，运行时按 CPU 自动选择，并支持原生 FP8/BF16/INT4 精度。
    • 量化与长上下文：支持 CPU 侧 INT4/INT8 量化权重与 GPU 侧 GPTQ，配合 unsloth 1.58/2.51bit 与 IQ1_S/FP8 混合权重；可在 24GB 显存下放飞 139K+ 长上下文。
    • 微调（SFT）× LLaMA-Factory：支持在有限显存上对 DeepSeek-V3/R1、Qwen3-MoE 等超大 MoE 做 LoRA 微调，官方称比 ZeRO-Offload 快 6~12 倍、CPU 内存减半。
    • 生产级集成：提供干净的 Python API，可无缝接入 SGLang 做生产部署，实现”热专家 GPU / 冷专家 CPU”的异构服务。

    KTransformers × LLaMA-Factory 超大 MoE 微调

    图：KTransformers × LLaMA-Factory 在有限显存上微调超大 MoE 模型

    典型使用场景

    • 本地私有化跑 DeepSeek 满血版：开发者用一台配 24GB 显卡 + 大内存的主机，本地部署 DeepSeek-R1/V3 做代码助手、知识库问答，数据不出机器。
    • 高并发推理服务：在 8×L20 + Xeon 的服务器上，官方实测 DeepSeek-R1-0528（FP8）总吞吐 227.85 tokens/s、8 路并发输出 87.58 tokens/s，适合中小团队自建推理网关。
    • 超大模型低成本微调：用 4×RTX 4090 对 DeepSeek-V3 做 LoRA 微调（约 80GB 显存、3.7 it/s），或用单张 4090 微调 Qwen3-30B-A3B（8+ it/s），把训练成本打到消费级。

    推荐理由

    大模型推理的门槛，过去被”显存”死死卡住——想本地跑 DeepSeek 满血版，要么堆 H100 要么云上烧钱。KTransformers 的价值正在于此：它不跟你拼硬件，而是用异构调度 + 量化 + CPU 指令集优化把”不可能”变成”在家就能跑”。对预算有限的个人开发者、想做私有化部署的小团队、以及研究 MoE 推理优化的工程师来说，它是目前最务实的本地推理方案之一。

    工程上它也很”乖”：从 pip install kt-kernel 到 kt run 一条命令起服务，内置 CPU 变体自动检测、NUMA 感知线程池，连 CUDA toolkit 都不用装。唯一的代价是——它目前主要面向 Linux x86-64，且吃内存（专家卸载越多越吃），上 Windows 原生或低内存机器要谨慎。但瑕不掩瑜，如果你想体验”把大模型装进自己电脑”，KTransformers 值得第一个试。

    下载地址

    许可：Apache-2.0 ｜ 语言：Python / C++ ｜ 维护：清华大学 MADSys 实验室、Approaching.AI、9#AISoft 及社区

  • 高通39亿美元拿下Modular，要把英伟达的CUDA护城河挖开





    高通39亿美元拿下Modular，要把英伟达的CUDA护城河挖开


    高通39亿美元拿下Modular，要把英伟达的CUDA护城河挖开

    AI竞争打到这个份上，光有芯片已经不够了。高通今天宣布以约39亿美元的全股票交易收购AI软件创业公司Modular，目标很明确：打破英伟达CUDA软件生态的垄断，给开发者一个”写一次、到处跑”的替代方案。

    39亿美元买了什么

    Modular这家公司做的事情，用一句话概括就是：让AI模型可以不挑芯片地跑。它的软件平台能把开发者写的AI代码，自动适配到英伟达GPU、AMD芯片以及其他各种处理器上，不用为每一种硬件单独重写一遍。

    这对开发者来说是个大痛点。现在如果你想把AI模型从英伟达的GPU迁移到AMD的芯片上，或者放到边缘设备里去跑，往往要重写不少底层代码，调优、调试，没个几周搞不定。Modular的卖点就是消除这个摩擦——写一次，到处跑。

    高通CEO Cristiano Amon说：”这次收购不仅对高通，对整个AI行业都是个关键时刻。随着智能体AI在数据中心和边缘环境里铺开，行业正在走向分散化、多厂商的架构，这需要更开放、更现代的软件基础。”

    交易结构是全股票，高通会向Modular的股东发行约1920万股高通股票。按高通最近的收盘价计算，这笔交易价值大约39.2亿美元。双方预期在2026年下半年完成交割。

    矛头直指CUDA

    英伟达在AI硬件市场的统治地位，很大程度上不是靠芯片性能单独建立的，而是靠CUDA——这个软件平台把几百万开发者锁在了英伟达的生态系统里。你用CUDA写了代码，想换到其他芯片上去跑？重写吧。

    这就是英伟达真正的护城河。高通买下Modular，就是要给开发者一个认真的替代选项。Modular的软件不绑定任何特定厂商的芯片，英伟达的GPU能用，AMD的也能用，高通自己的芯片当然更能用。对客户来说，这意味着更少的锁定、更多的选择、更好的议价能力。

    Qualcomm Modular AI software acquisition
    高通收购Modular，布局AI软件栈（图源：TechStartups）

    Amon在声明里说了一句话，值得琢磨：”未来属于对开发者友好、水平化的平台，能在多样化的计算环境中运行，让客户在选择AI部署方式和地点时有真正的选择权。”这话翻译过来就是：英伟达的模式是垂直的、封闭的，我们要做的模式是水平的、开放的。

    高通的两步棋

    这笔收购对高通来说有两个战略意义。第一个是数据中心市场。高通一直在试图在这个被英伟达主宰的市场里分一杯羹，它已经说过要在2026年底之前开始出货面向数据中心的AI芯片。有了Modular的软件，高通的硬件套餐对开发者和企业客户来说就更有吸引力了。

    第二个是推理市场。训练模型抢头条，但推理才是大多数公司真正长期烧钱的地方——模型训练完之后，部署到产品里、响应真实用户请求，这一步要持续跑、大规模跑，算力账单每个月都在那儿。Modular的软件能让推理部署更高效，帮客户节省成本，这对高通来说是一个重要的卖点。

    高通的主力收入现在还是手机芯片，这一点短时间内不会变。但这家公司很明显在加速多元化，从PC、边缘设备、汽车系统，现在又打到数据中心基础设施。AI给了它一个重新定位的机会：从一个移动芯片供应商，转型成一个AI基础设施的全面玩家。

    还不止Modular

    有意思的是，高通的收购胃口可能还不止于此。据The Information报道，高通还在跟AI芯片创业公司Tenstorrent谈收购，报价在80亿到100亿美元之间。如果这笔交易也成了，高通在AI硬件+软件的全栈布局就会更加完整。

    当然，这些都是大数字。39亿美元收Modular，再加可能的最高100亿美元收Tenstorrent，加起来就是140亿美元的规模。但放在AI基础设施这个赛道里看，这些钱可能是必须的门票。谷歌、微软、亚马逊、Meta、OpenAI，全在往自己的全栈能力里砸钱，高通如果不跟上，窗口期可能不会等它。

    对开发者来说，这些巨头打架不一定是坏事。竞争越激烈，选择就越多，被单一厂商锁定的风险就越小。Modular加入高通之后，能不能真的动摇CUDA的地位，现在下结论还太早。但这至少是一个认真的尝试，而AI行业现在正好需要这样的尝试。