YOHO AI

标签： AI推理

  • OpenAI拿出第一块自己的AI芯片，代工的是Broadcom

    OpenAI Jalapeño AI芯片
    OpenAI首款定制AI推理芯片Jalapeño（概念图）

    昨天OpenAI办了个小仪式，Broadcom的CEO Hock Tan亲自把第一块Jalapeño芯片交到了Sam Altman和Greg Brockman手里。这块芯片的全名很长——OpenAI Intelligence Processor，代号Jalapeño——是OpenAI第一次真正拥有自己名字的定制AI推理处理器。

    这件事的意义不只是”OpenAI做了块芯片”这么简单。它意味着这家公司正在把掌控权从Nvidia手里往自己这边挪一步。

    为什么是现在

    OpenAI和Broadcom的合作关系去年10月就公布了，但芯片真正亮相还是这两天的事。根据OpenAI官方的说法，从设计到送厂制造（tape-out），整个过程只用了9个月。他们说自己用AI模型辅助了芯片设计，所以才能跑这么快。

    如果这个数字属实，这确实是高性能半导体行业里最快的ASIC开发周期之一。通常这种级别的芯片从设计到出炉要走两三年，OpenAI说自己9个月搞定了，里面有它自己模型的功劳——用AI设计AI芯片，这个逻辑闭环很有意思。

    Jalapeño不是一块通用加速卡，它是从零开始为大型语言模型推理设计的。用OpenAI硬件项目负责人Richard Ho的话说：”我们围绕对前沿AI模型推理需求的理解，从头优化了架构。”

    它到底强在哪里

    OpenAI目前给出的最核心数据是：性能功耗比（performance per watt）大幅优于当前业界最先进水平。具体好多少，他们说要等几个月后的技术报告才会披露。

    目前Jalapeño的工程样品已经在实验室里跑起来了，生产目标频率和功耗都达标，跑的负载包括GPT-5.3-Codex-Spark。这块芯片的设计思路是减少数据搬运（data movement），同时把计算、内存和网络资源平衡好，让实际利用率尽量接近理论峰值。

    专门做推理，不是训练。这个定位很清晰——预训练这种最吃算力的任务短期内还是会跑在Nvidia的GPU上，但推理侧的成本优化空间巨大，哪怕只省个10-20%，对OpenAI这种规模的运营来说都是真金白银。

    全栈叙事

    OpenAI在这波宣传里反复强调的一个词是”full stack”——全栈。他们的逻辑是：不光做模型，不光做产品，现在连芯片架构、内核、内存系统、网络、调度、部署系统全部自己设计，每一层都围绕同一个目标优化：让模型更快、更可靠、更便宜。

    这个叙事其实和Google的TPU、Amazon的Trainium是一个路子。这些公司都发现，与其完全依赖Nvidia，不如自己掌握一部分算力供应链。区别在于，OpenAI是纯软件公司起家，现在往硬件走，这个跨越比Google和Amazon都要大。

    接下来怎么铺

    Jalapeño只是第一代。OpenAI和Broadcom签的是multi-generation路线图，计划从2026年底开始部署到吉瓦级（gigawatt scale）的数据中心，合作方包括Microsoft和其他伙伴。

    Broadcom的CEO Hock Tan在声明里说：”这只是多代路线图的第一步。通过和OpenAI直接联合开发我们的领先硅片，我们能让吉瓦级数据中心从2026年开始部署。”

    吉瓦级是个什么概念？大概是一个中等城市的总用电功率。把AI数据中心做到这个规模，算力供给确实是个核心瓶颈，这也是为什么OpenAI要自己下场做芯片。

    这块芯片目前还在测试阶段，离大规模部署还有段时间。但它传递的信号很明确：OpenAI不想在算力这件事上完全被人卡脖子，哪怕这个”人”是Nvidia。

  • 这个AI不直接回答问题，它把Claude和Gemini叫来一起干活

    大多数AI模型的工作方式都很直白：你问问题，它给你答案。但日本AI创业公司Sakana AI最近发布的Fugu Ultra模型，选择了一条完全不同的路——它自己不生产答案，而是充当”调度主任”，把任务派给其他AI模型来完成。

    这个听起来有点”偷懒”的思路， benchmark跑分居然干翻了一众前沿模型。Sakana说Fugu Ultra在编码、推理、科学计算、智能体能力这些硬核测试里，成绩和Anthropic的Fable 5、Mythos Preview基本持平。一个”二传手”凭什么做到这个水平？答案藏在它的架构里。

    Sakana Fugu Ultra AI模型架构示意图
    Fugu Ultra通过调度多个前沿AI模型协同完成任务（配图由AI生成）

    “河豚”的命名来由

    Fugu在日语里是”河豚”的意思。河豚是一道需要极高烹饪技艺的菜——处理得当是美味，处理不好就是毒药。Sakana（日语”鱼”的发音）用这个词命名自己的模型，大概是在暗示：把多个AI模型编排在一起，本身就是一门险中求胜的手艺。

    技术上说，Fugu本身也是一个训练过的语言模型，只是它的专长不是直接回答用户的提问，而是学会了一套”智能体编排”的能力。当你向Fugu发起请求，它先判断这个任务该怎么做：简单的就自己搞定，复杂的就自动组建一个”专家团队”来协同完成。

    Fugu通过训练学会了判断”什么时候该把任务委托出去、智能体之间怎么通信、怎么把多个模型的输出整合成一个可靠的答案”——这整套编排逻辑不是人工写死的规则，而是模型自己学出来的。

    底层调用了哪些模型？

    Sakana没有公开完整名单，但确认Fugu会在合适的任务上调用Claude和Gemini等前沿模型。有意思的是，Fugu不会告诉你它这次具体用了哪个模型——用户看到的是一个统一的回答，底层调度对用户透明。

    这个设计有个很实用的好处：如果某家供应商突然限制访问（比如美国政府某天又说不许某些地区用Claude），Fugu可以自动切换到其他可用模型，不需要用户手动干预。这种”供应商无关”的架构，在当下的地缘政治环境下显得格外有意思。

    • Fugu Ultra针对复杂多步骤任务优化，可调度更深的智能体池
    • 基础版Fugu平衡性能与延迟，支持用户自主排除特定模型（满足数据合规需求）
    • 底层智能体池完全可替换，未来会持续纳入更新的高效模型
    • Sakana强调：未公开可用的闭源模型（如Fable 5）不会被纳入智能体池

    Beta测试用户的真实反馈

    接近500人的Beta测试里，收集到了一些挺有说服力的反馈。一位软件工程师说，Fugu Ultra做代码审查比GPT-5.5更全面，能发现其他工具漏掉的漏洞——别的工具标出3个问题，Fugu能找出20个以上。一位企业平台公司的高管提到，Fugu在长会话里的人格稳定性远超其他模型，不会出现”人格漂移”，这对智能体类产品来说是个关键指标。

    还有一位网络安全工程师的反馈也很典型：只要给Fugu一个范围明确的指令，它能端到端完成信息收集、XSS/SQL注入检测、认证逻辑审查，最后输出一份带证据和复测步骤的完整报告，而且全程不超出指定范围，不会乱执行破坏性操作。

    这会不会是AI的新范式？

    Fugu的出现，触及了一个正在AI圈子里引发越来越多讨论的问题：未来最强大的AI能力，会不会不是来自某个单一的超大模型，而是来自能把各种模型调度好的”元模型”？如果答案是肯定的，那训练和拥有底座大模型的公司，和那些最擅长编排底座模型的上层公司，谁的价值链地位更高？

    Sakana自己当然相信后者。他们在ICLR 2026发表的两篇论文（TRINITY和Conductor）就是在为这个方向做学术背书。Fugu能不能真的跑出来，还需要更多真实场景的验证，但至少它提出了一个值得认真看待的问题：当每个人都在训练更大的模型的时候，也许最聪明的玩法不是造更大的模型，而是把现有的模型用得更聪明。

  • AI正在进入「循环」时代：当AI开始指挥AI干活

    AI agent loops conceptual illustration
    AI agents working in recursive loops — 概念图

    上周五，在Meta举办的@Scale开发者大会上，观众问了Claude Code的创造者Boris Cherny一个问题：AI里的”循环”（loops）到底是下一个炒作周期，还是来真的？

    Cherny的回答很干脆：来真的，而且这一步和当年从手写代码过渡到AI agents一样重要。

    “两年前我们手写源代码。然后过渡到让agents写代码。现在我们正在过渡到agents prompting agents、再由后者写代码的阶段。从源代码到agents是一步大跨越，loops是同样重要、同样大的一步。”

    一个agent在后台永不停工

    Cherny在演讲中（YouTube视频32分钟左右）具体描述了他自己在用的loop：一个agent持续寻找改进代码架构的方法，另一个agent寻找可以合并的重复抽象层。它们像普通程序员一样提交pull request，而由于代码在不断变化，这两个agent永远不会停止运行。

    这个想法听起来激进，但背后逻辑其实很直接。agentic AI的主流用法是”管好你的agents”——设清楚目标，检查进度，别让它们跑太远。loop把这个逻辑再推一步：授权一群agents在后台持续工作，没有止境。这是对AI的极大信任，但随着模型能力快速提升，让AI处理真实工作，loop可能是下一步。

    不是什么新鲜事，但也不一样

    严格来说，递归循环（recursive loops）并不是新东西。函数在自己内部调用自己来重复执行某个操作，再加一个停止条件——这是计算机科学入门课的基本内容。

    但今天的agentic loops遵循的是非确定性逻辑——停止循环的时机由一个子agent来判断，而不是明确的边界条件。只要程序员开始用AI完成任务，某种版本的递归循环（AI监督AI）迟早会出现。

    流行的一种做法是”Ralph Loop”（以《辛普森》里的Ralph Wiggum命名），基本思路是让模型总结自己已经做了什么，然后判断目标是否完成。这是应对AI模型运行时间过长后”迷失方向”的一种办法——本质上就是把模型来回”弹”，直到任务完成。

    烧token的速度会很快

    另一种理解loop的角度是：这是业界推动test-time compute（推理时计算）更大规模使用的一部分。OpenAI研究员Noam Brown本月初指出，当代模型只要砸足够多的算力进去，几乎能解决任何问题。这意味着确保一个问题被解决的一个办法，就是不停地砸算力，直到完成为止。

    对于”爬山坡”类的问题（比如改进代码库），模型可以不断做增量改进，直到达到某个阈值。或者，像Cherny的例子一样，只要有算力可花，它就可以一直做增量改进。

    如果这听起来很烧钱，那是因为它确实很烧钱。和agentic AI一样，AI loops消耗token的速度比简单问答机器人快得多——而且因为设计目标就是让loop一直运行，你能花多少钱没有天花板。对Anthropic来说这没问题，毕竟它本质上就是卖token的生意。但对其他所有人来说，这可能是一种昂贵的工作方式。

    当然，只要agentic loop要解决的问题值得，而且设置有得当的监督（token支出、漂移等经典AI问题），好处可能足够大，值得这个成本。

    这场”loop革命”目前还处在非常早期的阶段。Cherny的公开表态意味着Anthropic正在认真押注这个方向。问题是，大多数公司有没有足够的算力预算来跑一群不停工作的agents？答案可能取决于你的代码库有多大、问题有多难，以及你愿意为自动化付出多少。

  • Groq在Nvidia挖角后逆势融资6.5亿美元，AI推理云的下一战才刚开始

    Nvidia的”非收购收购”之后，Groq活下来了

    去年12月，Nvidia和Groq之间那笔交易让不少人看不懂。Nvidia付了一笔可观的”IP授权费”，然后把Groq的创始人兼CEO Jonathan Ross、总裁Sunny Madra和一帮核心工程师全部挖走。这不是收购，但比收购还彻底——人走了，技术授权给Nvidia了，Groq还剩下什么？

    半年之后，答案似乎是：还挺多。6月22日，Groq正式宣布完成6.5亿美元的新融资，确认了此前外界的传闻。估值没有披露，但上次融资（2025年9月）时Groq的估值已经是69亿美元，这轮融资的投资人据传在上次Nvidia交易中已经赚得盆满钵满，现在继续押注。

    AI芯片与推理计算技术概念图
    AI推理芯片赛道持续升温，Groq在Nvidia挖角后完成新一轮融资 © 配图

    Jonathan Ross的遗产：从Google TPU到Groq LPU

    要理解Groq的价值，得先认识Jonathan Ross这个人。他在Google期间参与了TPU（张量处理单元）的研发，那是Google专门为AI计算设计的芯片。离开Google后，Ross和另一位Google工程师Doug Wightman一起创立了Groq，主攻方向是AI推理芯片——他们称之为LPU（语言处理单元）。

    Wightman在Nvidia交易后选择留在Groq，现在担任CEO。Ross和Madra走了，但Groq的技术团队和产品方向还在。更重要的是，Nvidia虽然拿到了LPU的IP授权，但Groq同步宣布了战略转型：从芯片厂商转向”NeoCloud”业务。

    NeoCloud这个概念，说白了就是专门为AI训练和推理优化的云基础设施服务，和AWS、Azure那种通用云不一样，它只干AI这一件事，而且干得更狠。

    13个数据中心，每周处理万亿级Token

    Groq的NeoCloud业务在Madra被挖走前就已经在运作（Groq在2024年收购了他的AI数据分析公司Definitive Intelligence）。根据公司披露的数据，目前已在北美、欧洲、中东和亚太地区部署了13个数据中心，服务超过500万开发者和数千家AI公司，每周处理的AI Token数量达到万亿级别。

    这个规模说大不大，说小也不小。和Nvidia、AWS、Google Cloud比起来，Groq还是个小朋友。但在AI推理这个细分赛道上，需求增长速度之快，让即使是很小的玩家也有饭吃。

    新管理层就位，从xAI和Meta挖来高手

    融资之余，Groq也在快速补强管理层。新上任的COO Alan Rice之前在xAI和Meta都干过，再之前在美国海军服役。CTO Sinclair Schuller和CPO Rakesh Malhotra是一对创业搭档，之前一起做过企业云软件公司Apprenda，后来又共同创立了软件工程公司Nuvalence，2024年被EY收购。

    Malhotra本人在微软待了大约十年，参与过多个云产品的开发。这个背景对Groq的NeoCloud业务来说相当对口。

    关键问题：IP给了Nvidia，Groq还能打吗？

    外界对Groq最大的疑问就在这里：Nvidia现在合法持有LPU技术的IP，而且已经在今年3月的GTC大会上发布了自己的Groq 3 LPX推理硬件系统。Groq转型做NeoCloud，本质上是在用别人的技术授权来运营云服务——这不就是帮Nvidia培育市场吗？

    但也有另一种看法。推理云服务这个赛道的需求增长太快，Nvidia一家吃不下所有客户。Groq如果能把NeoCloud的体验做到足够好，在性价比、延迟、开发者工具链这些维度上建立优势，它不一定非要靠自研芯片才能活。

    类似的剧情在Scale AI身上也发生过。去年Meta用143亿美元”不是收购的收购”把Scale AI的创始人Alexandr Wang和一批核心人才挖走，外界一度认为Scale AI要完了。但CEO Jason Droege今年5月对Forbes说，公司业务已经反弹，今年营收预计能达到10亿美元。

    AI这场大棋局里，人才流动和资本重组几乎每个月都在发生。今天被挖角，明天拿到新融资，后天可能又换一个赛道重新开始。Groq这6.5亿美元能不能让它真正站稳脚跟，接下来12个月见分晓。