标签: Naveen Rao

  • Databricks前AI负责人创业:用振荡器架构把AI电费砍到千分之一

    AI最烧钱的不只是显卡,还有电费。训练一次大模型,数据中心消耗的电够一个小城市用一天。推理规模上去之后,这笔运营成本更是惊人。

    Naveen Rao见过这笔账。他曾任Databricks的AI负责人,现在出来创业,公司名叫Unconventional AI。他们的目标听起来像吹牛:把AI推理的功耗降低1000倍。

    用的不是更先进的芯片制程,而是一套完全不同的计算机架构——基于振荡器的计算方式。

    未来感AI芯片架构概念图
    Unconventional AI的振荡器架构概念图 | 图:AI生成

    一声”hello world”

    本周,Unconventional发布了第一个AI模型Un-0,一个图像生成工具。输出质量跟Stable Diffusion、OpenAI的GPT Image 1相当,但底层计算方式完全不一样。公司在论文里说,他们用软件模拟了振荡器芯片架构,在上面跑通了完整的图像生成模型,性能不输当前最先进的扩散模型。

    Rao跟TechCrunch说:”这是新型计算机的一声’hello world’。接下来一年,你会看到一些相当有意思的消息。”

    振荡器架构简单说就是用电子振荡器的物理特性做计算,而非传统晶体管的开关逻辑。这个想法在神经形态计算领域已经存在多年,但做出跟主流AI模型兼容的实用系统,Unconventional可能是第一家。

    AI scaling难,因为能源就摆在那里。这会是未来几年的根本限制,你绕不过去,归根结底是个能源受限的问题。

    50人的团队,1000倍的野心

    当然,Un-0目前还跑在软件模拟器上。真实芯片的设计图很快就会公开。公司的计划是:先开源芯片设计,然后自己搭完整的推理栈——芯片、系统、算力供应一条龙。

    Rao说:”我们会用我们的芯片搭建一套新系统,在上面跑AI模型。提示词从网线进来,推理结果从那边出去——但耗电量只有现在的千分之一。”

    这家公司目前不到50个人。从论文和软件模拟器到真实可用的芯片系统,中间隔着的东西太多了。但Rao不是随便说说的人——Databricks的AI业务是他亲手带起来的。

    如果Unconventional真的能做到他们声称的事情,整个AI数据中心的经济账就要重算了。全球在AI基础设施上的投入以千亿美金计,电费是其中越来越大的一笔。把这笔成本砍掉99.9%,意味着什么不言而喻。

    接下来一年,真实硬件会出来。到时候就知道,这个1000倍是营销话术还是真的。