AMD 买下一家 24 人芯片公司,它想把 AI 模型焊死在硅片里

这周 AI 芯片圈有个不起眼、但挺有意思的收购:AMD 宣布要买下多伦多初创公司 Taalas。这家公司 2023 年才成立,团队只有二十几人,做的事却相当极端——它不造通用的 GPU,而是把训练好的大模型直接刻进芯片里。

不是又一颗 GPU

常规 AI 芯片,无论是英伟达的 GPU 还是 AMD 自家的 Instinct,本质上都是通用处理器。每次推理时,模型权重都要从 HBM 高带宽内存里搬进计算单元,灵活是灵活,代价是巨大的功耗和内存带宽开销。Taalas 把这套逻辑整个翻了过来,它的哲学叫模型即计算机:不再把模型当成随时可换的软件,而是用一套专用设计流程,把模型的数学运算、连线和参数直接固化进 CMOS 逻辑里。公司 CEO Ljubisa Bajic 之前在 AMD 做过芯片架构总监,后来创办了 Tenstorrent,2023 年又拉起 Taalas,想法从头就是围绕模型来造硬件。

速度有多夸张

今年 2 月 Taalas 亮出首颗测试芯片 HC1,用台积电 6 纳米工艺,把整个 Llama 3.1 8B 模型装进单颗芯片。公开基准里,它跑这个模型能到每秒约一万六千九百个 token,Taalas 当时称这比英伟达 H200 快了 73 倍,功耗只有对方的十分之一。按硅片面积算,HC1 和 H100 差不多大,约 815 平方毫米。当然,Llama 3.1 放今天已经算老模型了,这颗芯片更多是验证概念。

我们创立 Taalas,就是为了从零重新思考 AI 推理——围绕模型来构建硬件。——Taalas 联合创始人兼 CEO Ljubisa Bajic

代价是颗芯片只认一个模型

把权重烧进硅片,好处是甩掉了可编程逻辑和外置内存搬运,代价是零灵活性:一颗为某模型定制的芯片,就只能跑那一个模型,模型一更新就得重新流片。对此 Taalas 的说法是没那么贵——一百多层电路里只有两层会随模型变化,配合自研工具,流片周期大约两个月。下一代 HC2 目标把参数规模提到 200 亿,更大的模型则靠多颗芯片流水线并行拼起来。

模型权重烧入硅片的 AI 推理芯片
把模型刻进硅片:Taalas 的专用推理芯片思路

为什么是现在,为什么是 AMD

过去一年,推理市场彻底成了主角,各家都在想办法从专用硅片里榨更多吞吐。英伟达去年底以约 200 亿美元拿下 Groq 的推理技术,AMD 自己此前也和 Cerebras 搞过拆分式推理合作。买下 Taalas,是 AMD 九个月里的第三笔 AI 收购(前有去年 11 月的 MK1、今年 6 月的 Mext,7 月 FastFlowLM 团队也已并入)。AMD 人工智能事业部高级副总裁 Vamsi Boppana 说,目标是给客户为每种 AI 负载匹配最合适的计算方案。

  • Taalas 技术将并入 AMD 的 Instinct 加速器与 Helios 机架级系统
  • 解耦思路:提示词处理留在 GPU,token 生成卸载到 Taalas 专用芯片
  • 不算替换通用 GPU,而是补上高吞吐、模型固定那一块
  • 对反复跑同一批热门开源模型、规模极大的云客户,固定芯片可能比反复搬运权重便宜得多

📎 原文来源:AMD acquires Taalas to hardwire AI models into silicon(SiliconANGLE)

评论

2 条对“AMD 买下一家 24 人芯片公司,它想把 AI 模型焊死在硅片里”的回复

  1. PRFKY42165 的头像
    PRFKY42165

    说实话把模型焊死在芯片里这思路挺激进的。现在模型迭代这么快,一颗芯片只认一个模型,万一半年后主流模型换了,这批硅片不就废了?不过对云厂商那种天天跑同一批开源模型、量又大的场景,确实能把成本压下来,就看 Taalas 的流片速度跟不跟得上了。

  2. MWTAH51627 的头像
    MWTAH51627

    73 倍这个数字我持保留态度,毕竟比的是 H200 跑 Llama 3.1 这种老模型,有点田忌赛马的意思。但方向是对的——推理才是大头,英伟达靠 HBM 和通用性赚走了大部分利润,AMD 拿专用芯片去切这块蛋糕,比正面刚 GPU 聪明多了。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注