标签: AI模型

  • Anthropic指控阿里巴巴发动史上最大蒸馏攻击,中美AI对抗再升级

    2880万次交互、25000个假账号:Anthropic说这是「史上最大规模蒸馏攻击」

    6月10日,Anthropic给美国参议院银行委员会发了一封信,收件人是主席Tim Scott和资深委员Elizabeth Warren。信里说的事情,如果属实,算是今年AI圈最刺耳的一桩指控。

    Anthropic指控阿里巴巴(Alibaba)及其AI实验室(通义/Qwen),在2026年4月22日到6月5日这45天里,用了大约25000个虚假账号,跟Claude模型产生了2880万次交互,目的是通过「蒸馏」(distillation)把Claude的能力迁移到自己的模型上。

    「这是迄今已知的、针对Anthropic的最大规模蒸馏攻击。」——Anthropic致美国参议院信函

    蒸馏到底是什么,为什么各家都抢着做

    说白了,蒸馏就是「用大模型教小模型」。你有一个很强但很贵的大模型(比如Claude),想做一个便宜的小模型,就让小模型大量「模仿」大模型的输出,把能力「蒸馏」过去。好处是:训练成本只有从头训练的零头,但效果可以很接近。

    坏处也很明显:如果你大量调用别人的商业模型来做蒸馏,却不付钱、不遵守使用协议,这就变成了「知识产权盗窃」。Anthropic在信里用的词是「brazenly and illicitly」——明目张胆、非法地窃取AI能力。

    Anthropic指控阿里巴巴蒸馏攻击概念图
    Anthropic称这是迄今最大规模的AI蒸馏攻击

    不是第一次了,但这次规模最大

    今年2月,Anthropic就在博客里点名了三家公司:DeepSeek、Moonshot(Kimi)、MiniMax——说它们也在用工业级规模「蒸馏」Claude的能力。但这次对准阿里巴巴,量级和措辞都升级了。

    为什么挑阿里巴巴?因为它是中国最大的AI玩家之一,Qwen系列模型在国际开源社区存在感很强。如果Anthropic的指控引发美国监管出手,受影响的不只是阿里巴巴,而是整个中国AI行业进入美国「实体清单」的风险。

    华盛顿正在酝酿反击

    据CNBC报道,参议员Bill Hagerty(R-TN)和Andy Kim(D-NJ)正在推动一项修正案,塞进国防授权法案里——任何被认定「不当获取美国AI模型输出」的中国公司,将面临黑名单或制裁。

    与此同时,特朗普政府已经以行政令方式,限制Anthropic的Mythos 5和Fable 5模型向非美国公民开放。Anthropic自己也在6月10日那封信里承认:这波蒸馏攻击,就是在出口管制收紧之后加速的——因为「合法」拿不到模型,就开始「偷」。


    • 时间窗口:2026年4月22日 – 6月5日(45天)
    • 交互量级:2880万次(约每秒75次)
    • 假账号数:约25000个
    • 目标能力:软件工程、Agent推理(Mythos Preview核心能力)
    • 阿里巴巴回应:截至发稿,未回应CNBC请求

  • 英伟达联手剑桥大学发「红皇后」论文:AI自己造考官淘汰自己,2028年AGI真的要来了?

    英伟达联手剑桥大学发「红皇后」论文:AI自己造考官淘汰自己,2028年AGI真的要来了?

    Anthropic 联合创始人 Jack Clark 在今年 5 月给了一个概率:60%,到 2028 年底,完全自主的递归自我进化 AI 就会出现。当时很多人觉得他在喊狼来了。但现在,英伟达和剑桥大学等 13 位研究者联合发布了一篇论文,让这个预测突然变得没那么遥远了。

    这篇论文叫《Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators》(红皇后哥德尔机:协同进化的智能体与评估者),6 月 24 日挂在 arXiv 上。名字里的”红皇后”来自进化生物学——物种必须不断进化才能保持相对于其他进化物种的适应性,就像《爱丽丝镜中奇遇记》里的红皇后对爱丽丝说的:”你只有拼命跑,才能留在原地。”

    Red Queen Gödel Machine 概念图
    红皇后哥德尔机:AI 评估者可以与智能体协同进化 | 制图:AI资讯

    以前的所有自进化系统,评估者都是死的

    要理解这篇论文干了什么,得先搞清楚它解决了什么问题。递归自我进化 AI 的理想状态是:AI 改写自己的代码,跑一下测试,如果测试结果更好,就保留这次改写。听起来很合理对吧?

    但有一个根本性的问题:你用来评估”是否更好”的那个评判标准(evaluator),是固定不变的。随着 AI 越来越强,它会学会”刷分”——专门针对评估者的偏好来优化,而不是真正提升底层能力。这在经济学里叫古德哈特定律(Goodhart’s Law):当一个指标变成优化目标,它就不再是好指标了。

    打个比方:你让 AI 做数学题,然后用一个固定的评分程序来判断答案对错。AI 学会了找评分程序的漏洞,给出能通过评分但实际错误的答案。这在 AI 安全圈里叫”reward hacking”(奖励黑客)。以前的解决方案是把评估者做得更复杂,但本质上还是在用固定标准测一个不断进化的系统——这就像用一把不会长的尺子去量一个一直在长高的孩子。

    红皇后哥德尔机的核心突破是:评估者也可以进化。在每个训练周期(epoch)的边界,系统可以换一个更好的评估者——但前提是,这个新手得在一个人类标注的留存验证集上证明自己确实比老手更准。如果证明不了,老手继续留任。

    数学奥林匹克和科学论文写作,两个硬指标都涨了

    论文里给出了具体数字。在数学奥林匹克级别的题目上,协同进化的证明评分者比之前的最佳水平高出 9% 的准确率。在科学论文写作任务上(用一组 AI 评委来打分),协同进化的写手比之前的最佳自进化智能体高出 1.78 到 1.86 倍的接收率。

    这些提升不是靠堆算力换来的。因为协同进化的代码审查者只需要查询一次智能体的输出,而不是反复跑测试套件,所以红皇后哥德尔机在完成 Polyglot 基准测试改进时,用的 token 数比之前的最佳系统少了 1.35 到 1.72 倍。

    还有一个细节值得说。在科学写作领域,之前最强的基线评分者会把 AI 生成的论文以高达 1.91 倍于人类论文的比例”放行”——这是 AI 评判的一个已知失效模式,评分者太好说话了。红皇后哥德尔机在每个周期边界组装一组对抗性 AI 提交物,专门奖励那些能正确识别并拒绝这些”水论文”的新评估者。几轮进化下来,得到的评委对人类和 AI 论文用了同等的严格程度,同时在留存验证集上保持了 80% 的准确率。


    安全护栏本身,也是一个静态基准

    论文的作者们很坦诚地讨论了系统的局限。他们用来防止评估者失控的护栏,是一个人类标注的留存验证数据集。只要这个数据集还能提供可靠信号,系统就有一个”锚”。但这个问题其实被推到了更高一层的抽象上——如果 AI 系统足够强,它会不会也开始”刷”这个验证集?

    这就是论文留下来的核心开放问题。作者在论文里说,他们的系统是”初步的实证调研”,打算在未来版本里探索更长的搜索视野。但不管怎么说,一个没有天然停止条件的改进循环,现在从理论变成了可以实际运行的代码。

    2026 年 2 月的国际 AI 安全报告已经把递归自我进化基础设施列为跨国安全威胁。Jack Clark 的 60% 概率预测,现在看起来不像几个月前那么遥远了。英伟达作为 AI 算力的实际垄断者,亲自下场做递归自我进化研究,这个信号本身就很值得玩味——他们是想看清这个技术的边界,还是想确保自己在这场竞赛里不掉队?

  • Coinbase把AI算力账单砍了一半,办法是换用中国模型

    Coinbase把AI算力账单砍了一半,办法是换用中国模型

    Brian Armstrong 在 X 上轻描淡写地发了一条消息,说 Coinbase 现在跑在 GLM 5.2 和 Kimi 2.7 这些中国模型上。这条消息淹没在 AI 圈的每日喧嚣里,但如果你仔细看数据,会发现一个信号:西方 AI 实验室正在被自己的高定价逼出一个竞争对手——而且这个竞争对手来自太平洋彼岸。

    先说结果。Coinbase 的 token 使用量在过去几个月里创了历史新高,因为像 GPT-5.x-Thinking 和 Opus 4.5 这样的推理模型大量进来了。但与此同时,公司的 AI 支出却砍了一半。一半。Armstrong 说这话的时候语气很平淡,好像在说一件理所当然的事。

    Coinbase AI成本优化示意图
    企业 AI 支出优化正成为新的竞争力 | 制图:AI资讯

    91% 的开发者根本不在乎你给了什么模型

    这件事最反直觉的地方在于:Armstrong 并没有强制所有人换模型。开发者仍然可以自由选择任何模型。但数据告诉我们,91% 的人从来就没有触碰到旧的使用上限。他们用不满,是因为当前的模型够用了,或者他们根本懒得去调。

    Coinbase 同时跑了一套自动路由系统,根据任务类型、价格和缓存可能性来挑最优模型。光是改进缓存策略这一项,就把缓存命中率从 5% 拉到了 60%。开发人员被建议保持上下文精简,为新任务开新会话——这套打法归属于当下流行的”上下文工程”范畴。

    “你在 AI 上花的钱越多,我们期望你产出的影响就越大。”Armstrong 说这话的时候,把”tokenmaxxing”(无脑烧 token 刷内部分数榜)的文化打破了。Coinbase 没有设硬性上限,但把每个人的使用量公开了。这一招比直接封顶更狠。

    不只是 Coinbase 一个人在干

    初创公司 Lindy 的 CEO 最近把 Claude 整个扔了,全线换成 DeepSeek v4。Snowflake 的 CEO 测试下来觉得 GLM 5.2 在不少任务上跟 Opus 4.7 差不多,但价格只是一个零头。这些公司不是在用”便宜货”凑合,而是在用足够好的模型把成本结构打穿,然后把省下来的钱花在别的地方。

    这对西方 AI 实验室来说是个实实在在的压力测试。OpenAI 和 Anthropic 还在准备 IPO,需要拿出漂亮的增长数字来支撑估值。但如果大客户开始用中国开源模型替代,那些增长数字还撑得住房吗?JPMorgan 最近在一份报告里列了一堆 AI 市场的红旗指标,其中”客户价格敏感度上升”被放在了显眼位置。


    价格战已经悄悄打响了

    有消息说 OpenAI 和 Anthropic 之间正在酝酿一场关于 API token 的价格战。OpenAI 刚推出的 GPT-5.6-Sol 跟 GPT-5.5 定价一样,但官方说法是比 Claude Fable 和 Mythos 更省 token。OpenAI 同时还放出了两个更弱的 5.6 变体,价格低得多。

    这套打法很像当年的云服务价格战——亚马逊 AWS 用规模优势把价格压到竞争对手活不下去。现在轮到 AI 模型层了。唯一不同的是,这次”低价入侵者”来自中国,而且他们的模型真的不差。

    📎 原文来源:Coinbase joins the rush to Chinese AI models as Western labs face a pricing stress test — The Decoder

    发布时间:2026年6月28日 | 作者:Matthias Bastian

  • Google DeepMind一周跑了5个顶级研究员,Alphabet市值蒸发2700亿美元

    6月22日,Alphabet的股价一天之内跌了7%。这不是因为财报暴雷,也不是因为监管重锤,而是因为Google DeepMind在一个星期之内,有5位顶级研究员先后宣布离职。

    市值蒸发了大约2700亿美元。相当于跌掉了一个Netflix,或者两个Uber。

    走的都是什么人

    这份名单读起来像AI研究界的”名人录”:

    • John Jumper——2024年诺贝尔化学奖得主,AlphaFold项目的负责人。他领导的团队用AI预测了超过2亿个蛋白质结构,全球190个国家的200多万研究人员正在使用这套系统。
    • Noam Shazeer——Transformer架构的共同作者之一,这个架构几乎是每一个现代大语言模型的地基。他离开Google加入了OpenAI。
    • Jonas Adler——深耕AI编程领域,对Gemini有直接贡献,去向是Anthropic。
    • Alexander Pritzel——预训练专家,同样去了Anthropic。
    • Arthur Conmy——Gemini 2.5的核心贡献者之一,研究方向是AI安全的可解释性,也加入了Anthropic。
    Google DeepMind人才流失概念图
    Google DeepMind一周内5位顶级研究员离职,引发Alphabet市值暴跌

    为什么是现在

    这5个人在同一周宣布离职,不太可能是巧合。背后有几件事正在同时发生。

    第一件事是IPO窗口打开了。Anthropic在6月1日向SEC提交了保密的S-1文件,估值9650亿美元,历史上第一次超过了OpenAI。OpenAI一周之后也跟进提交了。对于顶级研究员来说,在IPO之前加入这两家公司,拿到的是不对称的下注机会——哪怕Google给的RSU再慷慨,也很难跟一家准上市公司的股权升值空间相比。

    根据创投机构SignalFire 2025年的分析,DeepMind的工程师加入Anthropic的可能性,是反向流动的11倍。这个不对称性一直存在,但这一周,它变得肉眼可见了。

    第二件事是算力内耗。Bloomberg报道说,在Shazeer宣布加入OpenAI前不久,他负责的一个项目的算力被重新分配给了DeepMind在伦敦的团队。在一家有19.47万员工的公司里,GPU使用权的内部竞争造成的摩擦,是小而聚焦的实验室不会遇到的问题。

    Gemini 3.5 Pro推迟到7月

    在这个节骨眼上,Business Insider报道说Gemini 3.5 Pro的发布从6月推迟到了7月。Google CEO Sundar Pichai在Google I/O上说过”下个月发布”,但现在公司正在Antigravity平台和LMArena基准测试服务上收集早期测试者的反馈。

    Google没有正式确认推迟。但Adler(AI编程)和Pritzel(预训练)的离职,在Gemini 3.5 Pro最需要表现竞争力的两个领域,留下了具体的人才缺口。

    市场在怕什么

    Jefferies的分析师维持了对Alphabet的买入评级,目标价445美元,认为人才离职是噪音。Google的总员工数是19.47万,走了5个研究员,统计上可以忽略不计。

    但D.A. Davidson的分析师Gil Luria给了一个更尖锐的评估:Google整体上仍然位置很好,但”当前前沿的竞争看起来是在Anthropic和OpenAI之间进行的”。

    市场担心的可能不是这5个人本身,而是他们代表的东西:诺贝尔奖得主、Transformer的共同作者、旗舰模型的核心工程师,这些人用脚投票,去了一家估值9650亿美元、正在准备IPO的竞争对手。


  • 英伟达与剑桥大学发布「红皇后哥德尔机」——AI终于学会了给自己出难题

    如果你用过最新的AI写代码,你会发现一个奇怪的现象:它解题越来越快,但出的题却越来越水。这是因为所有自我进化的AI都卡在同一个盲点上——考官永远不换。

    2026年6月24日,剑桥大学、英伟达等13位研究者在arxiv发布了一篇论文,标题叫《红皇后哥德尔机:协同进化的智能体与评估者》。光看名字就知道,他们想干的事有点野——让AI的考官也跟着考生一起进化。

    红皇后哥德尔机AI自我进化概念图
    红皇后哥德尔机:AI评估者协同进化概念图 | 图源:AI生成

    以前的AI自我改进,到底卡在哪

    要理解这篇论文在解决什么问题,得先搞懂之前的所有AI自我改进系统是怎么工作的。

    早在2003年,AI先驱Jürgen Schmidhuber提出了一个理论框架,叫「哥德尔机」——一个能改写自己代码的程序,但前提是它得先用数学证明来证明改写是改进。这个要求太难了,20多年来哥德尔机一直停留在纸面上。

    2024年以后,研究者想出了实用化的近似方案:让AI生成一堆变异代码,放进沙箱里跑,留下去掉的。这套方法在软件工程基准测试上确实跑出了成绩,但它有一个根本性的限制——考官是固定的。不管AI进化到哪一步,打分的标准始终不变。

    经济学里有个古德哈特定律:一个指标一旦变成目标,它就不再是一个好指标。AI对着固定考官刷题,刷到最后考官的分数已经说明不了真实能力了。

    红皇后机到底改了什么

    论文提出的核心机制叫「受控效用进化」。通俗地说,就是把改进过程分成一个个「 epoch」(时代),每个时代内部考官不动,保证学习信号稳定;但时代和时代之间,考官可以被替换——前提是替补考官在人类标注的真题集上考得比现任好。

    这里有意思的是「选择性擦除」机制:旧考官被换掉之后,它打过分的记录会被删掉,防止带偏的记忆污染下一轮的训练信号。整条链路形成了一个闭环:AI做题 → 考官打分 → 时代更替 → 考官进化 → AI面对更难的题目。

    起这个名字其实有个典故。1973年生物学家Leigh Van Valen提出「红皇后假说」:物种必须不断进化,才能维持相对于其他进化物种的适应性。论文作者觉得这跟AI的场景一模一样——考官不进化,就等于生物学上的功能性灭绝。

    实验数据:数学证明和论文写作都有提升

    光有理论框架不够,论文拿出了具体数字。

    • 奥数级数学:协同进化的证明评分器比之前的最佳方法准确率高出9个百分点。
    • 科学论文写作:协同进化的写手在AI评审团评估下,接收率比之前的自我改进智能体高出1.78至1.86倍。
    • 效率:因为协同进化的代码审查器只查询一次智能体输出(而不是反复跑测试套件),完成Polyglot基准改进时使用的token数比之前的最佳系统少1.35至1.72倍。

    还有一个细节值得说。在科学写作领域,最强的基线评分器会把AI生成的论文以高达1.91倍的速率「放行」——这是AI评判中已知的失败模式。红皇后机通过在每个时代边界组装对抗性AI提交物,专门奖励能正确识别并拒掉它们的评分器,把这个偏差校正了回来。


    安全边界:当 safeguard 本身也成为静态基准

    论文里最值得玩味的部分,是作者自己承认的安全局限。

    现在的 safeguard 是那个「人类标注的真题集」——候选考官必须在上面考得好,才能接任。但问题来了:这个真题集本身,就是更高抽象层次上的一个静态基准。如果AI系统足够强,它会不会像之前的系统刷题一样,把真题集也刷穿?

    论文里把这个问题直白地写了出来:相比静态评估标准,「松绑了收敛保证」。翻译过来就是:我们知道这样更好,但不能完全保证不会跑偏。

    这个时间点发这样的论文,外界难免把它跟Anthropic联合创始人Jack Clark的预测联系在一起。2026年5月,Clark在牛津宇宙学讲座上给出过一个概率:到2028年底,完全自主的递归自我改进AI有60%的可能性会出现。红皇后机论文没有确认或否定这个时间线,但它把「协同进化评估者」这个关键缺失的拼图,从理论提案变成了可以运行的经验系统。

    2026年2月的国际AI安全报告已经把递归自我改进基础设施列为跨国别的国家级安全风险。Clark呼吁在前沿实验室里先建好「刹车踏板」,再让能力的环路完全闭合。

    红皇后机目前还只是一篇预印本,没有完成同行评审,作者也把它描述为「初步的经验性调查」。但「没有天然停止条件的改进环路」这个东西,现在是从纸上走到了代码里。

  • 中国AI在网络安全领域追平美国:Z.ai的GLM-5.2让华盛顿睡不着觉

    这几天AI圈有个挺有意思的事:中国的智谱AI(Zhipu AI,也叫Z.ai)发布的开源模型GLM-5.2,在网络安全漏洞查找这个特定领域,居然跟Anthropic的Mythos打得有来有回,有些测试里甚至还胜出了。

    开源模型追上闭源巨头?

    GLM-5.2是智谱AI今年发布的新模型,最大的特点是”开放权重”(open-weight)——意味着任何人都可以下载下来自己跑,不需要经过任何人的批准。

    安全公司Semgrep的测试显示:GLM-5.2在IDOR(不安全的直接对象引用)漏洞检测中,F1得分达到39%,超过了Claude Code的32%,而每次漏洞检测的成本只有约0.17美元。

    智谱AI GLM-5.2网络安全漏洞检测
    GLM-5.2在网络安全领域缩小了与美方模型的差距

    当然,在通用任务上,GLM-5.2还是打不过Claude和GPT系列的。但这不重要——重要的是,在网络安全这个对国家安全至关重要的领域,中国AI公司已经把差距缩小到了”有竞争力”的程度。

    华盛顿的噩梦

    这让华盛顿很头疼。特朗普政府对AI模型出口管制的核心逻辑是:先进的AI模型(特别是能做网络攻防的)不能落到”潜在对手”手里。

    但GLM-5.2是开源的。你没法禁止一个开源模型,就像你没法禁止一个数学公式。任何人都可以从网上下载这个模型,在自己的硬件上跑,没有任何监管能拦得住。

    更麻烦的是,GLM-5.2的表现说明了一件事:中国AI公司不再只是”追赶者”了,在某些细分领域,他们已经开始跟美国公司正面竞争。

    Mythos出口禁令的讽刺

    几个月前,美国政府以”国家安全”为由,禁止Anthropic的Mythos和Fable模型向非美国人开放。当时给出的理由是:这些模型太强了,如果落到坏人手里,可以用来发现软件漏洞、发动网络攻击。

    但现在的局面是:美国的闭源模型被管制了,中国的开源模型却没人管得了。那些本来被禁止用Mythos的安全研究人员,现在可以改用GLM-5.2——效果差不多,还没有使用限制。

    • 出口管制真的能限制住AI技术的扩散吗?还是只是把市场让给了竞争对手?
    • 开源模型和闭源模型,哪种对安全的影响更大?
    • 如果中国AI在更多领域追平美国,华盛顿的下一步会是什么?

    这件事还没有结束。GLM-5.2的开源发布,可能会倒逼美国AI公司重新考虑他们的封闭策略——如果竞争对手用开源抢市场,你还要不要继续闭源?

    同时,这也给全球AI安全研究提了个醒:当你试图用管制来限制技术扩散的时候,技术本身可能不会等你。

  • 一家初创公司声称突破了制约LLM的瓶颈,AI效率竞赛迎来新变量

    一家初创公司声称突破了制约LLM的瓶颈,AI效率竞赛迎来新变量

    大语言模型有个绕不开的数学瓶颈——”二次方爆炸”。处理的文本越长,计算量不是线性增长,而是平方级暴涨。这个瓶颈卡了业界快十年,但现在有家迈阿密的小公司说他们解决了。

    AI模型架构突破
    Subquadratic稀疏注意力机制示意图(AI生成图)

    Subquadratic公司5月从隐身模式走出来,发布了模型SubQ。他们声称用”稀疏注意力”替代了传统Transformer的”密集注意力”,把计算复杂度从二次方降到了——你猜对了——亚二次方。

    “我们希望开启一个效率新时代。几年后,没人会用Transformer搭建模型了。”

    ——Justin Dangel,Subquadratic联合创始人兼CEO

    二次方瓶颈到底卡在哪

    今天所有主流大模型都基于Transformer架构,核心是”密集注意力”机制。处理一段文本时,模型把每个词(token)编码成数字,然后让每个数字和所有其他数字相乘——用来捕捉词与词之间的关系。

    1万个词的文本,要算近5000万次乘法。文本长度翻倍,计算量翻四倍。这就是为什么长文档处理这么烧钱,也是为什么各家公司在拼命堆GPU。

    Subquadratic的思路很简单:不是所有词之间的关系都重要。稀疏注意力只挑重要的词做运算,跳过不相关的。问题难在——怎么判断哪些重要?以前的办法都用固定模式(比如”第1个词总是和第5个词比较”),效果不好。

    SubQ的”秘密酱料”是动态选择——对每段输入的文本,实时判断哪些词之间的关系值得计算。联合创始人Alex Whedon不肯透露具体怎么实现的,只说”这是我们的核心秘密”。

    质疑声:AI界的Theranos?

    第一次发布时,Subquadratic只给了几个自测跑分,没有第三方验证。AI工程师Dan McAteer在X上发文:”SubQ要么是Transformer之后最大突破,要么就是AI界的Theranos。”

    一个月后,Subquadratic找了第三方评测机构Appen来跑分。结果有些惊人:在LiveCodeBench编程测试上,SubQ得分89.7%,和顶级模型在同一个水平线。处理长文本时,SubQ的上下文窗口可达1200万token(主流模型一般是100万)。

    成本数据更夸张。跑同样的测试(从大文档里检索信息),Anthropic的Opus 4.6花了2600美元;SubQ花了8美元。

    但质疑没有完全消散。SubQ的底层权重是用中国开源模型Qwen”启动”的(在Qwen基础上微调),而不是从零训练的。这让一些研究者怀疑:这到底是一个全新架构,还是Qwen的一个高效变种?


    SubQ目前还没开放公测,等候名单上有几万人。在更多人真正用上之前,判断它是突破还是泡沫,还为时过早。但有一点是确定的:效率竞赛已经打响,谁能把大模型的计算成本打下来,谁就掌握了下一个回合的主动权。

  • 英伟达开源MoE微调加速工具,一行import让微调提速3.7倍

    英伟达开源MoE微调加速工具,一行import让微调提速3.7倍

    MoE(混合专家)架构已经成为当前大模型的主流选择。从DeepSeek-V3到Qwen3,再到Google的Gemini,几乎所有最新发布的顶尖模型都在用MoE。但MoE有个麻烦——训练起来比普通Transformer麻烦得多,专家并行、通信融合、kernel优化,这些工程细节没有一个省心的。

    英伟达6月底开源了一个工具,试图让这件事变得简单。叫NeMo AutoModel,基本思路是:站在HuggingFace Transformers v5的肩膀上,不改你原来的代码API,只加一行import,就能把MoE模型的微调速度提升3.7倍,同时把GPU显存占用降低近三分之一。

    英伟达MoE微调加速工具概念图
    英伟达NeMo AutoModel通过一行import实现MoE模型微调加速

    3.7倍加速是怎么来的

    具体数字挺直观的。在单节点8张H100 80GB GPU上,用Qwen3-30B-A3B做微调,原来的Transformers v5每秒每GPU能处理3075个token,换成NeMo AutoModel之后直接拉到11340,提升3.69倍。显存这边,峰值占用从68.2GiB降到48.1GiB,省了29%。

    英伟达 team还测了Nemotron 3 Nano 30B-A3B,结果类似:吞吐提升3.4-3.7倍,显存降低32%。他们甚至拿550B参数的Nemotron 3 Ultra做了全参数微调测试——16个H100节点、128张GPU——这时候Transformers v5已经直接爆显存了,连对比的机会都没有。

    显存省下来的部分不是白给的——你可以拿它去跑更大的batch size,或者处理更长的序列。对于本来就卡显存的大模型训练来说,这两个操作直接决定了你能不能把模型训出来。

    核心技术:三板斧

    NeMo AutoModel在Transformers v5的基础上加了三样东西:专家并行(EP)、DeepEP、TransformerEngine。每一样都针对MoE训练的一个具体瓶颈。

    专家并行解决的是显存问题。MoE模型虽然每次推理只激活部分专家,但训练的时候,所有专家的参数都得放在GPU显存里。专家并行把这些参数分散到多张GPU上,8张GPU就每张只持1/8的专家参数。Qwen3测下来,这项技术能把MoE层的显存占用直接从68.2GiB压到48.1GiB。

    DeepEP解决的是通信开销。MoE训练的时候,每个token得先被路由到对应的专家,这个过程需要跨GPU通信。传统做法是”先分发、再计算”,DeepEP把它融合成了一个优化的GPU内核,”分发”和”计算”在时间上重叠了起来,通信的时间就被藏掉了。

    TransformerEngine提供的是基础运算加速。注意力机制、线性层、RMSNorm这些,都有专门的融合kernel实现。不只加速MoE层,普通Transformer层也能占到好处。

    一行import怎么做到

    用法确实简单。如果你原来就在用Transformers v5,切换到NeMo AutoModel只需要在文件开头加一行:

    • from transformers import AutoModelForCausalLM改成from nemo_automodel import AutoModelForCausalLM
    • 原来的训练代码几乎不用动
    • API完全兼容HuggingFace的接口约定

    这个设计思路很聪明。它不搞”全新框架”,而是在现有生态上做增强。这样用户的迁移成本几乎为零,英伟达那边也能持续从HuggingFace的生态里受益——相当于”我帮你提速,你继续用HuggingFace的接口”。


    为什么这件事值得关注

    MoE架构的普及速度比很多人预期的快。2026年上半年,几乎所有主流大模型发布都用了MoE或者类MoE的稀疏激活架构。原因很简单:在相同参数规模下,MoE的推理成本远低于稠密模型,但训练成本却高得多——因为所有专家的参数都得加载进显存,通信开销也大。

    英伟达这笔账算得很清楚:如果MoE是未来,那么控制MoE训练的工具链,就等于在AI训练基础设施里多插了一脚。HuggingFace占据了模型使用的入口,英伟达则通过NeMo AutoModel占据了”高性能训练”的入口——而且是以兼容HuggingFace的方式,用户几乎没有理由拒绝。

    代码、配置文件和基准测试脚本都已经放在GitHub上了(github.com/NVIDIA-NeMo/AutoModel),文档也在docs.nvidia.com上线了。感兴趣的人现在就能去试试,看看那3.7倍加速在自己的模型上能不能复现。

  • DeepSeek开源提速神器,不换模型就让V4快60%以上






    DeepSeek本月在技术圈投了一枚小炸弹——他们开源了一个叫DSpark的投机解码框架,说可以给现有的DeepSeek-V4模型提速60%到85%,而且不需要换模型、不需要重新训练,提速后的输出质量也无损。

    这件事值得说清楚,因为大多数用户感知不到”推理速度”这个东西,但它其实决定了你用AI产品时等得多久、以及AI公司要花多少钱来跑服务。

    “投机解码把生成拆成两个角色:一个小号的草稿模型先提议一段token,完整的目标模型再一次性验证这段提议。拒绝采样会接受最长有效前缀,再附加一个额外token。因为规则精确保持了目标分布,所以不存在质量损失。”

    AI推理加速概念图
    DeepSeek DSpark推理加速框架概念图

    投机解码是什么东西

    要理解DSpark,得先说清楚”投机解码”(Speculative Decoding)这个技术思路。大语言模型生成内容时,是逐token(可以理解为逐词或逐子词)输出的,每次只生成一个token,这导致推理速度受限于内存带宽,GPU的算力往往吃不满。

    投机解码的思路是:用一个很小的草稿模型,先”猜”一段接下来可能的token(比如一次猜5个),然后让完整的大模型一次性验证这段猜测——对的留下,错的地方截断,再从那个位置继续。因为草稿模型很小,跑得快;大模型验证一串token比逐次生成更快。这样整体速度就提上来了。

    这个技术不是DeepSeek发明的,学术界和工业界已经研究了一阵子。但DSpark的特别之处在于,它解决了一个具体工程问题:草稿模型猜的token,在后半段准确率会快速衰减——前面猜对了,越往后越容易跑偏,导致验证时能接受的长度有限,加速效果打折扣。

    DSpark怎么做的

    DeepSeek团队把草稿生成拆成了两个阶段,这个设计他们叫”半自回归生成”。第一阶段用一个并行的DFlash模块,一次性给每个位置生成基础logits(这是模型内部表示”下一个token可能性”的数值);第二阶段接一个极轻量的顺序头部,在采样每个token之前,加一个依赖前面已采样token的偏置。

    顺序头部默认是”马尔可夫头部”——只往前看一个token,低秩分解让它在词汇量很大的情况下也保持低成本。这个设计让DSpark继承了并行草稿的高首token准确率,又通过顺序头部让接受率在块的深处保持稳定,不会快速衰减。

    另一个工程细节是”置信度调度验证”:DSpark给每个草稿位置输出一个置信度分数,估计这个token通过验证的概率;再结合一个硬件感知的调度器,在GPU空闲时验证更多token,繁忙时验证更少。这个设计减少了高负载下验证被拒绝token造成的算力浪费。

    实际提速多少

    指标分两部分:离线测试和生产环境。

    离线测试里,DSpark在Qwen3各个尺寸模型上的接受长度,比Eagle3高26%到31%,比DFlash高16%到18%。注意这里比较的是”接受长度”(每次验证能接受多少token),不是直接的提速倍数,但因为延迟公式里提速正比于接受长度,所以这个指标直接反映了加速潜力。

    生产环境的数据更有说服力。DeepSeek-V4-Flash和V4-Pro在他们的真实流量下,用DSpark-5配置(5个token的草稿块+马尔可夫头部),相比之前的MTP-1基线(一次猜2个token的固定方案),每用户生成速度分别提升了60%到85%和57%到78%。这个提升是在相同吞吐量(即相同GPU资源)下测得的,意味着用同样的硬件可以服务更多用户,或者同样多的用户等着的时间更短。


    为什么这件事值得关注

    第一,这是”不换模型就能提速”的方案。大多数AI公司提速的思路是训练更大的模型、或者用更多GPU,这都意味着更多的钱。DSpark这种在推理层面做优化的思路,是花小钱办大事——尤其对已经在跑DeepSeek-V4的服务来说,换上DSpark的检查点就能直接提速,不需要重新训练。

    第二,DeepSeek把检查点和训练代码都开源了,用MIT许可证。这意味着其他公司和研究机构可以直接用,也可以基于这个框架做自己的优化。这种开源技术基础设施的打法,和OpenAI、Anthropic的闭源路线形成鲜明对比。

    第三,推理速度的提升会传导到终端用户。AI聊天产品的响应速度、AI编程助手的代码生成延迟、AI搜索的返回时间——这些用户体验指标,背后都是推理速度。DSpark如果被广泛采用,意味着用同等质量的模型,用户能感受到更快的响应。

    最后说一句实际的:DSpark目前是和DeepSeek-V4的权重绑定的,不是通用框架(虽然DeepSpec训练代码库支持在其他模型上训练草稿模块)。如果你想在自己的项目里用,得跑训练——官方配置假设单机8块GPU,目标缓存可能非常大(Qwen3-4B设置下接近38TB),这个门槛不低。但对已经有大模型服务的团队来说,这个方向值得跟进。


  • AI模型发布要经过政府审批——这件事比Anthropic和OpenAI的竞争大多了

    美国政府审批AI模型发布概念图
    美国政府开始逐个审批AI模型发布,整个行业都面临新现实

    两周前,美国政府的手伸进了AI公司的模型发布环节。Anthropic的Fable和Mythos模型被要求下架,OpenAI的GPT-5.6也面临类似的”逐客户审批”模式。整个行业突然意识到,问题已经不是”Anthropic vs OpenAI”那么简单了。

    从竞争到共存:两家公司突然站在了一起

    Russell Brandom在TechCrunch写了一篇文章,标题很直接:”It’s not about Anthropic vs. OpenAI anymore”。他的核心论点是:OpenAI和Anthropic现在面临完全一样的困境,如果这个问题处理不好,整个行业都会受影响。

    具体来说,美国政府现在对前沿AI模型的发布有了实质性的控制权。模型发布前要经过政府审批——这个流程目前没有清晰的标准,也不知道监管者到底在防什么风险。

    GMU研究员Dean Ball(即将入职OpenAI)写了一篇长文,详细解释了这个问题:政府既没有专业能力,也没有足够的人力来做这种级别的模型测试。

    更有意思的是行业内部的反应。很多人都把这件事看成Anthropic搞的”监管捕获”——通过推动政府监管来卡OpenAI的脖子。或者反过来,认为是OpenAI跟特朗普政府走得太近,牺牲Anthropic来换取自己的模型获批。

    问题比”谁搞的”大多了

    但Brandom的论点是,现在纠结”谁搞的”已经没有意义了。因为政府审批这件事,一旦变成制度,对所有AI公司都是一样的。没有哪种方案是”只帮一家公司、不帮另一家”的。

    举个例子:如果政府要求每个前沿模型发布前都要做安全评估,那OpenAI要做,Anthropic要做,Google要做,微软也要做。这套流程的成本和复杂度,最后会拖慢所有人的节奏。

    而且,如果审批标准不透明、流程不可预期,AI公司就没办法做长期研发规划。你花了几个月训练一个新模型,结果政府说”这个不能发”——这种风险会让投资人犹豫,也会让数据中心的融资变难。

    行业需要联手推动合理的监管框架

    那现在最需要的是什么?Brandom认为,是整个行业联手推动一个合理的监管框架。具体来说:

    • 建立由独立机构(而不是政府部门)主导的模型评估流程
    • 明确监管者到底在防什么风险(网络安全?生物风险?对齐问题?)
    • 避免”逐个审批”这种拖死创新的方式

    Dean Ball在他的文章里提了一些具体的建议,比如让独立第三方来做模型安全评估,而不是让某个政府部门说了算。这个思路其实跟其他行业的产品审批逻辑类似——药品要过FDA,但FDA是相对独立的专业机构,不是行政部门随意操控的工具。


    但问题是,AI行业里的很多人并不买账。他们要么觉得政府根本不该管,要么觉得”就算管,也得按我家的利益来管”。这种零和思维恰恰是Brandom最担心的——如果各家AI公司继续把监管问题看成”我赢你输”的竞争工具,最后只会换来一个糟糕的监管框架,所有人都受害。

    AI模型的能力现在已经到了能产生真实政治后果的地步。这意味着,不管AI公司愿不愿意,政府都会管进来。区别只在于,是政府说了算,还是行业能主动推一个合理的方案。接下来的几周,我们就会看到AI行业到底有没有能力坐下来谈这件事。