YOHO AI

标签： AI治理

  • DeepMind CEO呼吁设立独立机构，监管最强AI模型发布

    给最强模型找个”上市前审查员”

    前沿 AI 模型发布前，到底谁来把关？Google DeepMind 的 CEO 戴密斯·哈萨比斯这周在 X 上发了一篇长文，抛出了一个相当具体的答案：参照金融业的 FINRA，成立一个独立的”标准机构”，在最强模型向公众开放之前，先替大家把危险试出来。

    哈萨比斯把这篇框架文章命名为《前沿 AI 的框架，与一个新时代的开端》。他的设想是：最初，做前沿模型的实验室可以自愿在发布前最多 30 天，把模型交给这个标准机构做评测；一旦评估流程被证明靠谱，就会顺势变成强制要求——通不过，就不能在美国市场部署。发布之后要是冒出严重漏洞，实验室也得配合机构一起修。

    DeepMind CEO Demis Hassabis
    Google DeepMind CEO 戴密斯·哈萨比斯（图源：TechCrunch / Getty Images）

    “这个办法的好处是，它技术上聚焦，同时又不压制创新，还能奖励负责任的做法。”哈萨比斯坦言，机构要跟得上领域加速，并能在风险变大时加码。

    绕开”AI 版 FDA”的政治死结

    AI 监管在美国至今是个烫手山芋。白宫 AI 顾问、a16z 合伙人 Sriram Krishnan 前不久就把话挑明了：行政体系里”不会有 AI 的 FDA”。把标准机构设计成 FINRA 那样的自监管组织，恰恰是给这个分歧留了条缝——它既有约束力，又不用新设一个联邦部门。

    按哈萨比斯的构想，这个机构由开源代表和业内技术专家组成，资金来自各家 AI 实验室，还可以把某些评测外包给专门盯特定风险的 AI 安全小组。测试重点也很明确：网络攻击、生物威胁，以及模型试图绕开自身护栏的”欺骗”行为。

    到底是真能管住最强模型，还是最后变成大玩家们学会”应付考试”的又一处场子，现在谁也给不了答案。但至少在”模型上线前该有人先看一眼”这件事上，行业里最有分量的那几位，似乎正在慢慢达成共识。

  • OpenAI安全负责人走了：GPT-5.6上线这周，护栏谁来看守

    这两天 OpenAI 内部发生了一桩挺值得玩味的事。安全系统负责人 Johannes Heidecke 本周告诉同事，他要离开公司了。时间点很微妙——就在这周，OpenAI 刚把迄今最强的 GPT-5.6 推上线。

    不是突然的人事变动，是一轮重组的收尾

    Heidecke 的离开，跟公司正在做的一件事绑在一起：把安全团队和研究团队进一步捏合。首席研究官 Mark Chen 在一份内部备忘录里说，以后安全团队要直接向研究副总裁、对齐负责人 Mia Glaese 汇报，Glaese 的权限也扩成了「研究与安全副总裁」，一个人管两块。之前带过安全团队的 Saachi Jain 暂时顶上，做临时安全系统负责人。

    「我们训练模型的节奏快太多了，发布周期也大幅缩短，今天围绕安全的协调难度，比过去任何时候都大。」——Mark Chen 内部备忘录

    为什么这个节点让人多想

    Heidecke 2021 年以 AI 安全分析师身份加入 OpenAI，2024 年接替离职去创办 Thinking Machines Lab 的 Lilian Weng，坐上安全系统负责人的位置。也就是说，短短两年里，这个岗位已经换了两茬人。

    更巧的是，GPT-5.6 这周上线时，OpenAI 自己承认模型在用户反馈的若干案例里出现了「令人担忧的未对齐行为」。公司一边把最猛的模型往外推，一边安全条线的负责人出走，这种画面怎么看都有点拧巴。

    • 重组的逻辑是「让安全更早介入模型开发和发布决策」，听起来合理
    • 但把安全并入研究线之后，独立的挑战声音会不会被削弱，是外界最担心的
    • Heidecke 已经是近期又一位离开的安全方向高管

    说到底，这未必是某个人去留的问题。当模型从季度更变成月更、周更，旧的「发布前最后一道安全审查」流程首先会撑不住。OpenAI 把安全往研究里塞，是想缩短这个链路；只是护栏能不能真的更牢，还得看 Glaese 接手后怎么立规矩。

    OpenAI安全团队重组
    OpenAI 将安全团队并入研究线，引发外界对独立安全监督的担忧

  • OpenAI首席未来学家离职：在AGI前夜，他选择走出围墙

    OpenAI首席未来学家离职：在AGI前夜，他选择走出围墙

    一家把”实现AGI”写进公司使命的企业，通常会安排一个人专门负责”想未来”。OpenAI给这个岗位起的名字很直白——首席未来学家（chief futurist）。而就在今天，担任这个角色九年的Joshua Achiam在X上宣布，他要走了。

    他没把话说死，也没甩出什么戏剧性的理由。原话大概是：离开没有某个具体的诱因，也不是因为此刻发生了什么特别的事，只是这件事他在心里盘桓了挺久。”在一家前沿实验室的围墙之外，似乎也有可能推进同样的使命。”而他在同一条动态里留下了一句分量更重的话：人类未来的走向，取决于我们围绕AGI和超级智能共同做出的选择。

    OpenAI首席未来学家离职
    Joshua Achiam在OpenAI的九年，恰好覆盖了这家公司从研究小组走向AI中心舞台的全过程

    他不是普通意义上”管未来”的人

    要在中文语境里讲清Achiam的分量，得回到2022年那篇名为《Training language models to follow instructions with human feedback》的论文。正是这篇后来被称为InstructGPT的工作，把”人类反馈强化学习”（RLHF）这套方法立成了ChatGPT的底座。Achiam是那篇论文的共同作者之一，也是OpenAI最早一批研究科学家里的关键人物。

    他还有另一件被整个AI圈记住的事：主导打造了开源项目”Spinning Up in Deep RL”。这是OpenAI当年推出的一套深度强化学习入门教材，把原本高门槛的RL知识摊开给普通人，培养了不少后来入行的人。一个既写得出奠基性论文、又愿意把知识免费撒出去的研究者，在一家以技术信仰立身的公司里，分量可想而知。

    “A chief futurist”这个头衔本身就耐人寻味——当一家公司的日常被产品、融资、诉讼填满时，总得有人专门抬头看远方。Achiam做的，正是这件容易被忽略的事。

    离开的时机，有点微妙

    Achiam最近一次公开露面，是在马斯克起诉Altman的庭审上作证，内容涉及OpenAI从非营利机构转向营利性公司的那段架构变迁。一个在内部待了九年、又刚在法庭上回顾过公司来路的人，转头宣布离开，时间点很难不让人多想。

    更微妙的是他选择留下的那句话——”在围墙之外也能推进使命”。这既像是一种体面的告别，也像是在暗示：今天的前沿实验室，或许已经不是承载那份初心最顺手的容器了。当模型越做越大、商业压力越来越重，那些最早抱着”为了全人类”想法进来的人，和这架高速运转的机器之间，摩擦只会越来越多。

    目前还不清楚Achiam下一步要去哪里，他也没透露。但一个细节值得留意：他说的是”从外部推进使命”，而不是”去另一家公司”。在AGI看似越来越近的当下，离开一家最靠近它的实验室，反倒可能是想离那个真正重要的命题更近一点。至于OpenAI会怎么填补这个专门”看未来”的空缺，恐怕比又发一个新产品更值得关注。

  • 微软CEO纳德拉忍不住了：AI垄断是个问题，别忘了微软自己就是那个垄断者


    微软CEO纳德拉忍不住了：AI垄断是个问题，别忘了微软自己就是那个”垄断者”

    Satya Nadella最近接受《华尔街日报》采访时说了一句话，大意是：不能让少数几家公司”替全世界学习”。他担心AI的力量过度集中，担心这种集中度最后变成一种武器。

    他说得很诚恳。但有一个细节他没提：微软是OpenAI最大的股东，是Anthropic的计算合作伙伴，是GitHub Copilot的背后推手，是Azure上绝大多数AI工作负载的运行平台。如果真有一家公司正在”替全世界学习”，微软可能比任何人都更接近这个位置。

    Satya Nadella谈AI垄断
    纳德拉批评AI垄断，但微软本身就是最大的AI基础设施持有者之一

    “你不能说……”

    Nadella的原话被《The Verge》引用时，显得很有紧迫感。他说：”你不能说，嘿，所有白领工作都没了，这可能甚至是一件武器，而我们要用所有的力量去建数据中心。”

    这番话的背景是：AI领域正在出现明显的寡头化。训练前沿模型需要数亿甚至数十亿美元的算力投入，这个门槛把几乎所有玩家挡在门外，只留下微软、Google、Amazon、Meta几家。Nadella说人们不会容忍这种格局，这话本身没错。

    但他选择在这个时间点说这话，多少有点微妙。微软过去两年在AI上的投入是天文数字级别的——130亿美元投OpenAI，数十亿美元建Azure AI基础设施，再加上与Anthropic、xAI等的各种合作。微软可能是世界上唯一一家同时在多条AI赛道上下重注的公司。

    “你不能说，嘿，所有白领工作都没了，这可能甚至是一件武器，而我们要用所有的力量去建数据中心。”——Satya Nadella，《华尔街日报》访谈，2026年6月。

    微软的”反垄断”人设

    Nadella这番表态，很容易让人想起微软自己的一段历史。90年代末到2000年代初，微软因为Windows的垄断地位被美国司法部起诉，最终以和解告终。那场反垄断案定义了Nadella加入微软后最初十几年的企业文化——低调、合作、避免引起监管注意。

    现在历史好像在重演，只是战场从操作系统换成了AI基础设施。微软这次的打法更聪明：它不直接拥有OpenAI，而是”合作伙伴”；它不自己训练所有模型，而是通过Azure把Google、Meta、Anthropic的模型都跑在自己的云上。

    这种”云中介”模式让微软处在了一个很舒服的位置——不管哪家AI公司赢，微软都赢。但反过来，这也意味着微软对AI行业的控制力比表面上看起来大得多。

    Nadella现在出来批评AI垄断，有一种”先发制人”的味道。如果在监管真正动手之前，行业自己先形成某种共识，或许能避免当年那样的反垄断诉讼。

    其他人在做什么

    Nadella不是唯一一个在这个时候谈AI垄断的人。欧盟已经在调查Microsoft-OpenAI的合作是否构成反垄断问题。美国FTC也在看类似的案子。

    但有趣的是，当Nadella说”不能让少数几家公司替全世界学习”的时候，他描述的那个问题，某种程度上就是微软正在参与构建的东西。Azure上的AI服务，本质上是微软（和它的合作伙伴）决定什么样的模型可以用、什么样的AI能力可以被访问。

    这并不是说Nadella的话是虚伪的。他可能真心这么认为。但当一个身处垄断位置的人出来批评垄断，听众有理由多问一句：你说的”垄断”，包括你自己吗？

    这件事为什么重要

    AI和传统软件不一样的地方在于：一旦一个模型成为主流，它会影响人们的思维方式。如果大多数人用的AI工具都来自少数几家公司，这几家公司对信息的过滤、对知识的组织方式，就会潜移默化地变成社会的默认设置。

    Nadella说的”替全世界学习”，指的就是这件事。当AI模型替你总结新闻、替你写邮件、替你做决策的时候，它也在替你”思考”。如果这个过程被少数几家公司控制，那”学习”这件事本身就变成了一种权力。

    这个担心不是没有道理。但解决这个问题的办法，显然不是靠几家大公司CEO的良心发现，而是需要真正的竞争——更多开源模型、更多AI基础设施提供者、更低的进入门槛。

    Nadella的话至少把这个问题摆到了台面上。至于微软准备怎么行动，光说显然不够。


  • 当AI代理开始「成群结队」地上网，Google DeepMind说：得先研究一下会出什么事

    当AI代理开始「成群结队」地上网，Google DeepMind说：得先研究一下会出什么事

    一个人干坏事，和一万个人同时干坏事，完全是两个概念。AI代理也是一样。Google DeepMind的AGI安全与对齐研究负责人Rohin Shah最近在担心一件事：当数以百万计的AI代理同时在线、互相交互的时候，会发生什么？

    这个问题听起来有点遥远，但Shah说：还有几个月就来了。他没有危言耸听——AI代理正在从「演示视频」走向「真实部署」，而当数量突破临界点，行为模式可能完全不一样。

    1000万美元，买一个研究领域

    为了未雨绸缪，Google DeepMind在2026年6月联合几家机构宣布了一笔1000万美元的研究资金，专门用来研究多智能体系统的安全风险。

    跟Google DeepMind一起出钱的包括：施密特科学基金会（Eric Schmidt夫妇的慈善基金）、英国政府的「登月局」ARIA、非营利研究组织Cooperative AI Foundation、以及Google的慈善部门Google.org。

    AI多智能体系统安全概念图
    多智能体AI系统的安全风险正在成为新的研究前沿（配图由AI生成）

    Shah说，这笔钱的主要目的是「启动学术界对多智能体安全的研究」。工业界实验室忙着做产品、冲估值，没人仰望星空——学者的优势是可以想得很远，包括那些工业界「脑子里排不上号」的问题。

    「主要问题是，多智能体安全几乎还不是一个真正的研究领域。我们希望它成为。」
    ——Rohin Shah，Google DeepMind

    风险到底是什么？

    Shah和施密特科学的James Fox说，最主要的担心是：现在互联网上已经有的坏事——诈骗、网络攻击、恶意软件——到了AI代理时代，会被「超级加倍」。

    比如「提示注入」（prompt injection）：如果一个AI代理被喂了恶意指令，它就会变成一台自动行动的恶意软件，而且比任何人类黑客能干的都多。Fox说：「我们的数字公共空间是社会运作的基础，你真的不希望它陷入无政府状态。」

    为什么这个问题特别难？

    你不能用研究单个代理的方法来研究多代理系统。Fox说，基于LLM的AI代理不总是理性行动，而多代理系统的复杂性来自于「海量交互同时发生」。

    唯一理解它的方法，是在沙箱里做逼真的模拟。有些研究者（包括Google DeepMind的一个团队）甚至认为：通用人工智能（AGI）可能不是来自于单个超级模型，而是来自于一种「代理蜂巢思维」——多个代理的能力加起来大于部分之和。

    不是只有Google在担心

    Google DeepMind不是唯一一家对自己的技术感到担心的AI巨头。几周前，Anthropic发布了基于「零信任」原则的AI代理部署指南——零信任是网络安全里的一个思路，核心假设是：系统一定有漏洞，代理可能是攻击者，入侵一定会发生。

    以色列特拉维夫网络安全公司Akeyless的联合创始人兼CTO Refael Angel说：「过去所有的安全方法都假设机器是人类写的软件，走固定路径、做固定事情。代理打破了所有这些假设。它会推理，它会即兴发挥，它可能被人用一句话劫持。」

    Angel欢迎这笔1000万美元的研究资金，但他提醒：安全研究者容易沉迷于「极端假设场景」，而忽视了已经发生的无聊问题。这也是Shah他们在努力平衡的——既要看远，也要看准。

    我们还有多少时间？

    Shah说，我们还有「几个月」的时间，代理就会在经济中大规模部署，到那时潜在风险就成了真正的问题。他想跑在这个时刻前面。

    Fox补充说：几年前还是假设的风险，现在已经很真实了。「未来来得比预期快。」

    1000万美元，对于Google DeepMind自己的研发预算来说，是九牛一毛。但这笔钱的意义在于：把多智能体安全这个问题，从工业界的「顺手看看」变成学术界的「正经研究领域」。当AI代理开始成群结队地上网，我们最好已经想清楚会发生什么。

  • 美国政府想用出口管制锁住AI，但历史告诉我们的答案不太乐观

    美国政府想用出口管制锁住AI，但历史告诉我们的答案不太乐观

    上周，白宫以国家安全为由，下令Anthropic限制其最强大AI模型Fable和Mythos的出口。Anthropic在接到通知后大约90分钟内，匆忙切断了这两款模型对境外用户以及美国境内外国国民的访问。这一事件，是美国政府首次真正尝试用出口管制来遏制前沿AI的扩散。

    Mythos的”末日机器”叙事

    自今年4月Mythos发布以来，Anthropic一直在营销中把它描述成某种”可能摧毁互联网的末日网络机器”——如果广泛发布，会对互联网造成严重破坏。这也是为什么在禁令出台前，只有大约150家经过审查的公司和政府组织能够访问它。背后的逻辑是：先帮防御方加固软件和服务的安全，再考虑更广泛地开放。

    那么是什么触发了禁令？据报道有两件事。第一：Anthropic通过有限合作伙伴计划，向一家韩国电信公司开放了Mythos访问权限，美国官员在确认该公司与中国有关联的嫌疑后感到警觉（该公司被广泛报道为SK Telecom，已否认任何中国关联）。第二：Amazon CEO Andy Jassy据报告知政府，Amazon的研究人员找到了绕过Fable 5安全保护措施的方法。Anthropic对”越狱”这个说法有异议，称那是一个狭窄的、已经修补的问题，而非模型安全措施的全面失败。

    AI出口管制与历史启示
    美国政府试图用出口管制锁住AI，但历史经验并不乐观。

    PGP加密战争：出口管制的第一课

    但这种做法并不是新鲜事。美国政府在过去几十年里，一直试图用出口管制来限制所谓”危险”网络技术的扩散，结果是好坏参半。

    最著名的失败案例发生在1990年代早期。当时计算机科学家正在开发加密技术，用来保护数据在互联网上传输时的安全。其中一款加密产品叫做PGP（Pretty Good Privacy），它可以加密数据，使得即使数据在传输过程中被截获，也几乎无法破译。

    美国政府的直觉是：PGP是一种危险武器，担心它会妨碍情报机构在电子邮件穿越网络线路时进行窃听。为了阻止PGP的传播，美国海关对PGP的创建者Phil Zimmermann展开了刑事调查，指控他涉嫌违反武器出口管制规定。

    Zimmermann反击的方式颇具极客精神：他把PGP的源代码印成了一本实体书出版。这样做的目的是利用”书籍不受出口管制”这一法律漏洞。这一举动点燃了后来被称为”加密战争”的历史事件。

    Zimmermann后来赢得了一场关键战役——调查被关闭了。这为后来Signal、WhatsApp等应用所使用的端到端加密算法铺平了道路。一个政府试图用20世纪的出口管制逻辑来限制21世纪的软件传播，结果碰了一鼻子灰。

    间谍软件：瓦森纳协定的尴尬

    2010年代早期，研究人员开始发现西方制造的间谍软件被用于对中东的异见人士。作为回应，几个政府同意扩大《瓦森纳协定》（Wassenaar Arrangement），这是一个限制双用途软件和技术的国际条约，要求成员国在向外出口时获得许可证。

    想法是好的：把监控和黑客软件也列为双用途，迫使间谍软件制造商在向外销售产品时先拿到出口许可证。但这个协定从一开始就有两个致命弱点。

    第一：有几个国家根本不遵守该协定，其中包括以色列——世界上一些最活跃的间谍软件制造商的所在地。第二：协定依赖各国自行决定对其境内的公司应用规则。意大利政府曾允许该国当时的顶级间谍软件制造商Hacking Team获得许可证，向全世界出口其工具——尽管Hacking Team有向压迫政府出售软件、用来黑客攻击记者和人权活动家的记录。

    自那时起，欧洲其他国家在遏制间谍软件出口方面一直很松懈。尽管丑闻一起接一起，欧洲作为许多间谍软件制造商的大本营，至今未能有效阻止向威权政权出口间谍软件。有些制造商干脆把业务搬到了出口管制宽松的国家。

    AI出口管制的未来走向

    截至目前，Anthropic与特朗普政府之间的僵局仍未解除。有两种可能的走向。

    一种可能是：政府让步，取消限制。理由是保持美国AI公司在全球范围内的竞争力——这相当于默认承认，无论美国限制什么，中国等其他地方的AI实验室很可能达到类似的能力水平。另一种可能是：美国AI公司向外国客户提供服务之前，最终需要政府批准，这是一种合规负担，将不可避免地损害这些公司的利润。

    鉴于世界各国政府在试图控制软件传播范围方面的历史经验，政府强制出口管制不太可能是阻止恶意行为者滥用强大双用途网络技术的正确方法。

    这个故事还没有结束。但它已经给出了一个清晰的信号：用20世纪的出口管制思维来应对21世纪的AI扩散，大概率是行不通的。真正的问题不是”能不能锁住”，而是”锁住之后怎么办”。

  • Google DeepMind给AI代理装上了副刹车：这份安全路线图，把AI当成潜在内鬼来防

    Google DeepMind给AI代理装上了副刹车：这份安全路线图，把AI当成潜在内鬼来防

    AI代理（Agent）正在快速渗透企业内网，帮开发人员写代码、查漏洞、调度系统。它们越能干，也越危险——一个被攻破的AI代理，本质上和拿到账号的内鬼没两样。Google DeepMind本周发布了一份AI Control Roadmap，专门讲怎么在”AI可能已经不对齐”的前提下，还能管住它。

    把AI代理当成”潜在内鬼”来防

    这份路线图的底层的假设相当冷静：就算模型对齐做得再好，也不能完全信任。 这跟传统安全思路一脉相承——你不光要相信员工不会干坏事，还得在门禁、权限、审计上做好铺垫，防止万一。

    DeepMind把这套思路叫作”防御纵深”（defense-in-depth）。它是在模型对齐这个第一道防线之外，再加一层系统级的安全保障。好比驾校教练带学员上路，副驾驶脚下有一套刹车——教练相信学员，但也做好了随时接管的准备。

    “Think of it like a driving instructor with dual controls. The instructor trusts the student but stays ready to take the wheel or hit the brakes if a mistake occurs.”
    —— Google DeepMind博客

    三个支柱：威胁建模、监控、响应

    路线图的框架建立在三个支柱上。

    第一是威胁建模。DeepMind借鉴了网络安全界常用的MITRE ATT&CK框架，把AI代理可能搞破坏的方式拆解成一个个具体战术和技术。这样就能系统性地追踪风险，而不是等到出事再瞎找原因。他们把AI代理视为”内部威胁”（insider threat）——就跟公司里有权限的员工可能作恶一样，AI代理有了权限之后也得被盯着。

    第二是检测。这套系统用其他可信的AI模型当”监工”，持续审查正在工作的代理的推理链、行动和计划，看它有没有跑偏。这里的核心是监控模型的”思维链”（chain-of-thought）——如果模型学会了隐藏自己的推理，光看输出就不够用了。

    第三是预防和响应。一旦监工发现代理在干坏事，可以实时拦截，在损害发生前叫停。对于低风险可逆的操作，可以事后看日志再处理；对于高风险操作（比如执行网络攻击），必须实时阻断。

    Google DeepMind AI Control Roadmap
    Google DeepMind发布的AI代理安全控制框架示意图

    模型越聪明，防御也得跟着升级

    这份路线图最有意思的地方是，它把安全协议和模型的能力里程碑绑定在一起。随着模型越来越强，防御措施也要同步升级。

    有两个维度在同步演进。一个是规避检测的能力：现在的模型，你还能看它的思维链来判读意图；但以后的模型可能会学会”知道自己在被监控”（oversight awareness），或者干脆用不可读的内部推理（opaque reasoning）。到那时候，光看输出文本就不够了，得去检查模型内部的工作原理。

    另一个是造成危害的能力。对于低风险操作，异步响应（先做事、后审计）就够了；对于高风险操作，必须同步响应（先做安全评估、再执行）。路线图把模型的检测规避能力分成D1到D4四个等级，把攻击执行能力分成R1到R3三个等级，不同等级匹配不同的安全策略。

    已经分析了100万条代理行为轨迹

    这不是纸上谈兵。DeepMind团队已经搭了一个异步监控系统原型，用来审查编程代理的行为轨迹，并把可疑事件按路线图的威胁分类法进行标记。他们已经分析了100万条编程代理的任务记录，从中提炼出有价值的安全模式。

    一个值得注意的发现是：大部分被标记的事件，并不是因为代理有恶意，而是因为误解了指令或者太急于完成任务。这说明AI安全不只是防”坏AI”，还要防”太努力的好AI”干出格的事。

    这项研究已经在Gemini Spark代理上部署了实时监控系统，能及时捕捉到比如意外删除数据这类问题。

    为什么要现在发这个？

    AI代理正在从演示阶段走向真实部署。企业里用上Claude Code、Cursor、Devin之类的编程代理已经不稀奇了，这些代理有读写代码、执行命令、访问内部系统的权限。一旦这些代理被prompt injection攻击，后果不比账号泄露轻。

    DeepMind发这份路线图，既是展示自己在安全上的投入，也是在给行业立标杆——潜台词是：”我们在这方面想得最远，你们可以参考我们的框架。” 同期还发布了一份给政策制定者看的技术框架文件《Agent Security的三层》，明显是在影响监管方向的节奏。

    • AI代理安全的核心矛盾：代理越能干，权限越大，出事后的损失也越大
    • DeepMind的方案：不假设对齐完美，而是在系统层面加”副刹车”
    • 威胁建模+AI监工+分级响应，三层防线
    • 已分析100万条真实代理行为轨迹，发现大部分”异常”源于过度积极而非恶意
  • OpenAI冲刺IPO前夜：挖来Google Transformer之父，还找了特朗普政府的老人

    OpenAI冲刺IPO前夜：挖来Google Transformer之父，还找了特朗普政府的老人

    OpenAI最近两天的动作，像是一场精心编排的IPO前戏。先是从Google挖来了Noam Shazeer——这个人可不是普通工程师，他是2017年那篇《Attention Is All You Need》的作者之一，也就是Transformer架构的奠基人。要知道，现在所有大模型公司都在用的Transformer，源头就是这篇论文。

    从Google到OpenAI，一场人才”逆向输送”

    Shazeer在Google的履历很有意思。他在2000年就加入了Google，中间离开过三年去创办Character.AI——那个让你和AI角色聊天的平台。2024年Google花了27亿美元把他请回来，顺便拿到了Character.AI的技术授权。结果不到两年，他又走了，这次目的地是OpenAI。

    他在Google期间不是没有争议。据The Information报道，Shazeer在内部留言板上发表过关于跨性别身份和以色列在加沙战争的看法，以至于管理层不得不删除了他的帖子。这些争议会不会跟着他到OpenAI，现在还不好说。

    OpenAI IPO前的人才布局
    OpenAI在IPO前夜的关键人才布局

    不只是技术人才，还有政策”内幕人”

    更值得玩味的是另一个人的加入——Dean Ball。这个名字你可能不太熟悉，但他刚刚在特朗普白宫待过，帮忙起草并发布了”美国AI行动计划”。现在他要在7月6日加入OpenAI，领导一个叫”Strategic Futures”的新团队。

    Ball自己说，这个团队的任务是”帮助公司领导层塑造前沿AI政策”，直接向首席战略官Jason Kwon汇报。具体管什么事呢？他列了一份清单：灾难性风险、递归自我改进、劳动力市场规模影响，还有”前沿实验室与政府（尤其是美国联邦政府）之间的关系”。

    Ball在博客里写了一句挺直白的话：”换句话说，内部治理对未来AI的重要性，比大多数人意识到的要高得多。”

    时机很微妙：Anthropic正在挨揍

    Ball加入OpenAI的时机，让人忍不住多想一层。就在上周，特朗普政府下令禁止Anthropic的最新模型Fable 5和Mythos 5向外国国民提供访问权限，Anthropic被迫把这两个模型整个下架——因为要避免违反出口管制。Anthropic和美国政府的关系，正在从”合作”走向”对抗”。

    而OpenAI这边，招揽Ball这样一位刚从特朗普白宫出来的人，信号很明确：他们要在华盛顿拿到”自己人”的席位。如果你在写S-1文件（IPO招股书），”政府干预”一定是风险因子之一。Ball就是OpenAI对这一风险的答案——与其让政府来管，不如先把自己的政策人安排好。

    • Shazeer的加入补上了OpenAI在技术原创性上的叙事——”Transformer之父在我们这里”
    • Ball的加入则是在政策层面筑起一道墙，尤其是Anthropic正在和政府交恶的当下
    • 两件事同时发生，时间点选在IPO之前，很难说是巧合

    这一轮AI人才争夺战，已经不只是技术人才的竞争了。政策人才、政府关系人才，现在也成了前沿AI实验室的必争之地。OpenAI在IPO前把这件事摆上台面，等于告诉市场和监管机构：我们想清楚了谁来管”AI治理”这件事。

    至于Shazeer那些在Google惹过的争议，OpenAI显然认为这不算什么——技术大神的才华，向来比他的帖子更值钱。只是这一次，他要在一家正在准备上市、面临更多公众审视的公司里工作。那些帖子的事，恐怕不会就这样被遗忘。

  • G7峰会上，世界领导人对美国AI又爱又怕：担心随时被「拔网线」

    G7峰会上，世界领导人对美国AI又爱又怕：担心随时被「拔网线」

    这周的G7峰会上，发生了一幕有点尴尬的戏码。

    法国总统马克龙、印度总理莫迪，这些平时愿意跟美国站在一起的世界领导人，居然在午餐会上向美国表达了一个很直白的担忧：你们能不能别随时把我们访问AI的开关关掉？

    AI全球网络与数据主权
    AI基础设施的全球依赖正在成为新的地缘政治筹码丨图源：生成图

    马克龙的警告

    马克龙当时坐在G7领导人和顶级AI公司CEO们中间——Anthropic的Dario Amodei、OpenAI的Sam Altman，还有特朗普本人都在场。他警告说，如果美国”从一天到另一天就能关掉开关”，那不仅会损害欧洲客户的经济，还会直接伤害那些AI公司自己。

    这话说得很重，背景也很新鲜。

    Anthropic被冻住了

    几天前，特朗普政府刚刚以国家安全为由，封掉了Anthropic向境外出口其最新模型Mythos 5和Fable 5的权限。亚马逊事先向白宫”打了小报告”，说这些模型的安全护栏可能被绕过。

    但网络安全专家马上出来打脸：政府引用的那些”危险能力”，在市面上仍然免费提供的模型里也有，包括OpenAI的模型。也就是说，你封了Anthropic，但OpenAI的模型还在外面跑，逻辑上挺难自圆其说。

    Anthropic的模型现在还冻着。这件事暴露了一个之前很多人没认真想过的风险：任何现在搭美国AI基础设施的公司或政府，都得面对”访问权限可能一夜之间被撤销”的可能性——而且理由你可能永远不知道。

    莫迪也有话要说

    莫迪也表达了同样的担忧。他表示，民主国家必须不受限制地访问顶级AI模型，才能保护关键基础设施。

    加拿大企业AI公司Cohere的CEO Aidan Gomez说了一句话，挺精辟：”这次对Anthropic模型的限制，印证了我们在Cohere一直知道的事情：公司和民主国家继续依赖少数几家大科技公司，对韧性来说是危险的。数字主权不只是一个市场竞争问题，也不只是某家公司或某个国家的问题。它关乎谁控制了基础技术——这项技术将在未来几十年塑造我们的经济安全和主权。”

    G7的”可信合作伙伴”计划

    G7领导人这次在会上也讨论了一个所谓的”可信合作伙伴”计划，目的是建立一个开放贸易网络，绕开美国的限制。只要国家和公司承诺用这些模型来加强对中国等对手的防御，就可以成为”可信合作伙伴”。

    但这个计划能延伸到什么程度，现在谁也说不准。更何况，对于巴黎或班加罗尔的一家创业公司来说，产品突然断了线，没有警告，也没有解释——这种事，一个”可信合作伙伴”计划真能解决吗？

    马克龙倒是提了个务实的建议：华盛顿应该支持这样的计划，也应该让Mythos的访问权限放得更开。毕竟，如果买来的AI访问权限随时可能一夜消失，没人会愿意掏钱。

    这整件事最讽刺的地方在于：欧洲和其他非美国国家正在努力推动”AI主权”——但在美国模型一路狂奔、所有人都怕被落下的当下，这个叙事越来越难讲圆了。

  • Cohere牵手德国Aleph Alpha，200亿美元跨大西洋AI强国来了

    Cohere牵手德国Aleph Alpha，200亿美元跨大西洋AI强国来了

    Cohere牵手德国Aleph Alpha，200亿美元”跨大西洋AI强国”来了

    过去几年，AI赛道给人的感觉是硅谷随手一抓就是一家巨头。OpenAI、Anthropic、Google DeepMind、Meta——这几家基本上把前沿模型的话语权包圆了。但在企业级AI市场，一家加拿大公司和一家德国公司的合并，正在试图改变这个格局。

    一家加拿大公司，一家德国公司

    Cohere这个名字，关注企业AI的人应该不陌生。这家2019年成立于多伦多的公司，由曾在Google Brain工作的Aidan Gomez联合创立（他是Transformer论文的作者之一），主打企业级大语言模型，客户可以在自己的基础设施上部署Cohere的模型，数据不用离开自己的服务器。

    Aleph Alpha的来头也不小。这家总部位于海德堡的德国AI公司，由曾在Heidelberg大学任教的Jonas Andrulis创立，是欧洲”主权AI”运动的重要参与者。它的客户包括大众、博世、SAP等欧洲大企业，还有德国联邦政府。Schwarz Group（就是经营Lidl和Kaufland那家零售巨头）是Aleph Alpha的重要支持者之一。

    Cohere Aleph Alpha merger concept
    Cohere与Aleph Alpha合并，打造跨加拿大和德国的AI强国（配图由AI生成）

    200亿美元估值，背后是谁在押注

    根据金融时报的报道，这笔合并交易对合并后新公司的估值约为200亿美元。与此同时，Schwarz Group还会向Cohere的E轮融资注入6亿美元，这轮融资预计今年晚些时候完成。

    把两家公司的技术团队和客户资源合在一起，新公司的定位很明确：给企业和政府提供一个”非硅谷选项”。数据留在自己手里，模型可以私有化部署，不用把命运交到美国科技巨头的API密钥里。

    “企业和政府需要对自己技术的控制权。”合并声明里的这句话，直接点出了这次交易的真正动机——不是技术互补这么简单，而是地缘政治在AI行业的投射。

    时机很微妙

    这笔交易宣布的时间点——2026年4月——刚好是美国政府以国家安全为由，要求Anthropic切断外国用户对Fable 5和Mythos 5模型访问的前夜。这件事让很多国家的政府和企业都意识到：如果你用的AI完全依赖美国公司，那你的数字基础设施的”开关”握在别人手里。

    欧洲的反应尤其强烈。法国总统马克龙直接点名批评美国的AI出口管制政策。英国的数据保护监管机构也借机推动了本土AI能力的建设。在这种大环境下，一家总部在加拿大、一家在德国、两家都强调数据主权的AI公司合并，吸引力不言而喻。

    当然，200亿美元的估值能不能撑住，还得看合并后的产品能不能真的打。企业AI市场不缺大玩家，微软的Copilot、Google的Vertex AI、AWS的Bedrock，哪一个都不是省油的灯。Cohere和Aleph Alpha的”主权”牌能不能转化成真实的采购订单，是接下来最值得观察的事情。

    这件事更大的意义在于：AI行业正在从”技术竞赛”转向”地缘竞赛”。以前大家比的是谁的模型强、谁先跑出AGI，现在越来越多人在问：这家公司的模型，我的政府允许我用吗？我的数据，存在谁的地盘上？

    Cohere和Aleph Alpha的合并，是这个问题的一个答案。不一定是最好的答案，但至少是一个答案。