标签: 推理云

  • 把1200块GPU塞进集装箱:Runware用推理Pod把算力价格打下来

    Runware Sonic 推理 Pod 集装箱式 AI 数据中心
    Runware 的 Sonic Inference Pod:把整座推理数据中心装进一个 20 英尺集装箱

    过去两年大家都在比谁的 AI 数据中心更大、更烧钱,动辄几百亿美元、三到五年才能盖好。伦敦一家叫 Runware 的公司偏不这么玩。8 月 4 日他们扔出一个叫 Sonic Inference Pod 的东西——说白了,就是把最多 1200 块 GPU 塞进一个 20 英尺的集装箱里,插上电就能当一座推理数据中心用。

    一个集装箱就是一座厂

    这个 Pod 不是玩具。它自带定制服务器、电路板和闭环液冷系统,单箱能出大约 1 兆瓦的算力。最妙的是冷却方式:用一套密闭循环管路,只循环大约 1.5 立方米的水,几乎不消耗新水,还能把 GPU 温度稳在目标值上下 2 度以内,电源效率标到 99%。对比传统数据中心,差不多三分之一的电都拿去制冷而不是算题,这一下就把账算明白了。

    贵在”只做推理这一件事”

    Runware 的逻辑很简单——普通数据中心为了通用负载堆了一堆推理用不上的冗余:备份系统、过度设计的结构、超大建筑。他们算过,传统机房 40% 到 60% 的开支花在了推理根本用不到的地方。Pod 把这些全砍了,只保留推理要的部件。结果就是他们敢承诺推理价格比同行低 30% 到 80%,硬件成本比传统千兆瓦级数据中心低到差不多百分之一百倍,省下的钱直接反映到 GPU 小时报价上。

    “推理需求增长的速度,比机房盖出来的速度快得多。”Runware 联合创始人兼 CEO Flaviu Radulescu 说,”我们想做的是给全世界的智能供能,成为每个模型跑起来时身下的那根骨干。”

    哪里有电,就拖到哪里

    这种集装箱最大的卖点是”可搬家”。因为它自带一切、不挑电网,哪有便宜的电——比如太阳能电站旁边——往那一放就行。平均三周能部署一个,传统方案要三到五年。每个 Pod 接入同一张网络,一个挂了流量自动切到别的节点,不会整片瘫痪。目前 Runware 说已经在美、欧、亚太部署了 10 个,还有 160 个预备点位,客户里能点到 Higgsfield AI 和 Wix 的名字。

    一场和超大规模厂的逆向赛跑

    有意思的地方在于,OpenAI、xAI 和几家云巨头都在往几百亿、上千亿美元的固定资产里砸钱,Runware 却从另一头进场:那些对运行地点不挑、哪儿便宜往哪跑的推理负载,用能 truck 进来、插上电、再挪走的算力也许更划算。公司背后是今年 1 月拿到的 5000 万美元 A 轮(Dawn Capital 领投,a16z speedrun、Comcast Ventures 等跟投),说自己已经帮 20 多万开发者跑出 100 多亿次生成。下半年他们计划先上 1 万个推理节点,2027 年冲到 1 吉瓦。

    • 单箱最多 1200 块 GPU、约 1 兆瓦算力,闭环液冷不耗新水
    • 推理报价比同行低 30%–80%,设施成本可低至传统方案的百分之一
    • 平均三周部署,哪里有电拖到哪里,故障自动切流
    • 下半年先上 1 万节点,2027 年冲 1 吉瓦

  • 英伟达砸完200亿美元,Groq自己又要融6.5亿美元

    英伟达刚跟Groq做完一笔200亿美元的”非收购式招聘”,这家AI芯片初创公司自己又要融资了。据Axios报道,Groq正在寻求6.5亿美元的新一轮融资,投资方正是它现有的那些支持者。

    Groq做的事跟英伟达不太一样。它押注的是AI推理环节——也就是模型接收用户提示后生成回答的那个阶段。现在整个行业都在疯抢推理算力,训练的需求反而没那么紧张了。

    英伟达那笔200亿美元的交易到底买了什么

    2025年12月,英伟达和Groq签了一笔结构很特殊的协议。表面上看不是收购,但Groq的多名高层直接跳槽去了英伟达,同时Groq把硬件技术授权给了英伟达使用。如果这是一笔正常的收购,它会是英伟达历史上最大的一笔。

    对Groq的投资者来说,这反而是个好消息——他们拿到了现金回报,现在又被邀请继续投钱,支持Groq把推理云(Inference Neocloud)业务做起来。


    推理为什么比训练更值钱

    训练一个大模型是一次性投入,而推理是每次用户发消息都要消耗算力的持续过程。ChatGPT每天要处理几十亿次请求,每一次都是推理。这个市场的规模,某种程度上比训练市场还要大。

    Groq的芯片设计思路跟英伟达完全不同,它追求的是极致的推理速度,而不是训练所需的大规模并行计算。这套打法能不能跑通,6.5亿美元的新融资会给出部分答案。

    • 现有投资者Disruptive和Infinitium已承诺,若其他投资者认购不足,将全额补足本轮融资
    • 临时CEO Adam Winter和临时CFO Matt Eng领导业务转型
    • Groq推理云直接面向开发者和企业提供API服务,与英伟达的芯片销售模式形成差异