标签: AI治理

  • 开源大模型追上闭源了,安全这道坎还没过

    最近一家叫 SaferAI 的安全机构做了一件挺扫兴的事:把中国公司智谱(Z.ai)的开源模型 GLM-5.2,拉到和 OpenAI 的 GPT-5.5、Anthropic 的 Claude Opus 4.7 同一个考场里比了一遍。结论有点扎心——论本事,GLM-5.2 离最前沿的闭源模型只差几个月;论”分寸”,它几乎没怎么设防。

    能力追上了,拒绝率却是零

    SaferAI 是通过智谱的公开 API 跑的测试,覆盖了网络攻击和生物研究这两类最容易被滥用的能力。结果很刺眼:GLM-5.2 对所有攻击性的网络安全任务和双重用途的生物任务,一个都没拒绝。对照的另一边,Claude Opus 4.7 拒得太狠,连 SaferAI 用来测网络能力的 CyberGym 基准都跑不下去。

    安全机构负责人 Henry Papadatos 的话说得很直白:”能力的边界不是风险的边界,评估风险时,你还得把缓解措施的状态算进去。”

    这不是说 GLM-5.2 有多特别,而是把整个开源阵营的尴尬摆到了台面上:当模型的脑子能下载到本地,能力就已经出了厂门。

    开源真正的麻烦,是”出了门就管不着”

    闭源模型把守在服务器里,厂商可以上分类器、做拒绝训练、在 API 层面拦你。开源模型不一样,权重一发出来,谁有算力谁就能自己跑,想改提示词就改,想微调就微调,看不顺眼的护栏直接拆掉。模型厂的安全策略,到服务器边界就失效了。

    AI模型安全与开放权重示意图
    开源大模型能力逼近前沿,但安全治理却明显滞后(配图由AI生成)

    闭源也不是铁桶,但至少还能拦一下

    当然,闭源的防线也不是牢不可破。另一家安全机构 Far.ai 就在 Grok 4.5、Gemini 3.1 Pro 这些前沿模型里找到了好几百个”通用越狱”手法——把角色扮演、冒充权威、伪造聊天记录几招叠在一起,模型的防线就容易漏。区别只在于,闭源至少有 API 这层闸门,开源连这层都没有。

    Papadatos 提到一个还算实在的办法:训练前做数据过滤,把那些教人写攻击代码的材料从语料里拿掉,对降低生物危险知识有帮助,而且不太伤整体水平。但到了网络攻击这块就难了——你很难训练一个写代码很强的模型,同时让它不会当黑客,毕竟写代码正是现在 AI 最赚钱的本事。

    争论的焦点,已经从”行不行”变成”怎么管”

    有意思的是,这场架的两端都有道理。一方说开源让更多人能用、能独立审计、能让防守方提前做准备;另一方说危险能力一旦变得可携带、可复制,就基本没法管了。连中国官方在最近的世AI大会上也既表态支持开源,又强调 AI 必须牢牢放在人类可控的范围内。

    • GLM-5.2 在网络与生物能力上落后 GPT-5.5 约 2 到 4 个月,但安全机制差距要大得多
    • 开源模型权重一旦下载,原厂无法再强制更新、召回或监督用途
    • 智谱至今未公开 GLM-5.2 的安全框架、上线前测试承诺或风险评估

  • Reddit 给版主配了 AI 助手:关键词过滤时代要翻篇

    Reddit 最近给版主们发了个新工具,名字叫 Rules Hub。说白了,就是让大语言模型替人工版主去判断一条帖子或评论是不是踩了版规——不是死板地看有没有某个词,而是去理解这句话的“意思”到底违不违规。

    这事放在 Reddit 十几年的历史上挺关键。过去版主靠的是 Automoderator(大家都叫它 Automod),那套东西本质上是关键词和正则匹配:你写一条规则“标题里出现某某词就删”,它才动。规则一多,配置文件就成了只有两三个人看得懂的天书,换人就断档。

    从“匹配词”到“理解意图”

    Rules Hub 的逻辑不一样。Reddit 在博客里写,它用 LLM 去评估“一条内容是否符合某条规则的本意”,这样就能处理那些模棱两可、带口语、踩在边缘的情况,同时把最终决定权留在版主手里。版主可以自己设哪些规则自动执行、触发后怎么办,AI 只做“判断”这一环。

    “It’s also hard to learn, hard to maintain, and heavily dependent on brittle keyword matching, regex, and inherited configurations that only a few people on a mod team, if any, understand. We can do better.” —— Steve Huffman,Reddit CEO

    这个新工具已经悄悄测了几个月,拉了 700 多个社区的新老版主进来试,包括 Reddit 版主委员会的人。现在它开始向“所有新建社区”放开,预计到 2026 年晚些时候全面铺开。对新社区来说是可选的,但 Reddit 话里话外的意思很清楚:Automod 那套执行功能,迟早要被 Rules Hub 以及配套的“发帖评论引导”“安全过滤器”替掉。


    同一天 Reddit 还甩出了更大的一揽子变动,矛头指向第三方开发者和老 Reddit。以后新的第三方 App 不能再走公开 API,得搬到 Reddit 自家的开发者平台上跑。Huffman 的理由很直接:公开 API 当初不是为今天的规模、自动化滥用和商用抓取设计的,他们想要好用的机器人,但不想要有人把整个论坛 indiscriminately 扒走、转卖、不负责任地用。

    老 Reddit 也要动刀

    为了堵住内容被乱抓,Reddit 对老版界面(old Reddit)也要下手了。这之前他们已经干过不少事:屏蔽不付钱的搜索引擎、起诉 Anthropic 和 Perplexity、封掉互联网档案馆的抓取。六月起用老 Reddit 还得先登录。具体怎么改 Huffman 没明说,只说在“探索不同选项”,短期会先限制登录用户访问、把关键机器人和版主流程迁走。

    • Rules Hub 用 LLM 判违规意图,取代 Automod 的关键词硬匹配
    • 已测 700+ 社区,新社区先可选,2026 年内全面开放
    • 第三方 App 将强制迁到 Reddit 开发者平台,老 Reddit 限制登录

    Huffman 也知道用户对这类改动有心理阴影——2023 年那轮 API 收费闹出过大规模抗议,一堆熟面孔 App 因此关张。所以他这次特意说了“信任我们不够,得在实践里真的更好用才行”,承诺不会在靠谱替代出来之前就砍掉主要功能。话是这么讲,Reddit 想把治理和抓取都收进自家院子的方向,已经没有回头路了。

    Reddit 引入 AI 版主工具 Rules Hub(图源:The Verge)
    Reddit 引入 AI 版主工具 Rules Hub(图源:The Verge)
  • 欧盟AI法案透明度条款生效:和AI聊天,平台得先说清楚

    欧盟刚给所有做AI的公司立了条规矩:别再偷偷摸摸了。8月2日起,欧盟《AI法案》里新增的一批透明度义务正式生效,核心就一句话——只要你在跟AI说话,或者你看到的内容是AI生成的,相关方就有义务明明白白地告诉你。

    谁该负责,分两种情况

    这套规则把”开发AI的”和”用AI的”分成了两类角色。提供者(provider)指的是那些研发并对外发布AI系统的公司;部署者(deployer)则是把AI接进自己产品里用的平台和服务。像Meta、xAI这种既做模型又做面向用户产品的,被同时划进了两个筐。

    对提供者来说,系统必须主动提醒用户”你现在聊的是AI而不是人”,除非这种区别”显而易见”(比如一个明显是机器人的客服入口)。更关键的是,合成出来的音频、图片、视频、文本里都得带上机器可读的标记,方便下游检测这是不是人造内容。

    欧盟委员会在指南里写得很直白:生成式AI发展太快,人已经越来越难分清对面是真人还是模型。大家有权知道自己在跟谁打交道,这能帮他们决定该不该信、该信多少。

    深伪内容逃不掉了

    部署者这边,凡是用来以假乱真的AI生成或改动的图片、音频、视频,都必须打上标签。这基本就是冲着深伪(deepfake)来的——以前一张假图发出去,平台可以装作不知道,现在不行,你用了AI造假就得标。

    为了不让每家公司的标签长得五花八门,欧盟委员会还专门做了一套官方图标,企业可以直接拿来用,不用自己设计。委员会的想法挺朴素:如果大家都用同一套标识,用户在不同平台上看到的提示就会一致,慢慢也就形成条件反射了。

    欧盟AI透明度标识图标
    欧盟委员会推出的官方AI标识,企业可直接使用

    不标会被罚款

    这套义务是《AI法案》第50条下的透明度要求,违规的公司面临罚款。不过眼下最大的疑问不是罚不罚,而是执行。机器可读的水印能不能扛住截图、转码、二次编辑?平台自己既是裁判又是运动员时,会不会选择性标注?

    • 对普通用户:以后刷到AI内容,理论上会多一个”这是AI”的提示,至少知情权回来了。
    • 对开发者:模型输出得内置可检测标记,产品上线前多了一道合规活。
    • 对平台:既要标自己生成的,也要标用户上传的AI内容,审核成本肉眼可见地涨。

    说到底,这条规定改变的不是技术,而是默认预期。过去AI内容混在真人作品里是常态,现在欧盟先把”你得说一声”写成了法律。机器可读标记能不能真正落地还得看各家怎么实现,但至少方向已经摆出来了:透明度不再是可选项。

  • DeepMind CEO呼吁设立独立机构,监管最强AI模型发布

    给最强模型找个”上市前审查员”

    前沿 AI 模型发布前,到底谁来把关?Google DeepMind 的 CEO 戴密斯·哈萨比斯这周在 X 上发了一篇长文,抛出了一个相当具体的答案:参照金融业的 FINRA,成立一个独立的”标准机构”,在最强模型向公众开放之前,先替大家把危险试出来。

    哈萨比斯把这篇框架文章命名为《前沿 AI 的框架,与一个新时代的开端》。他的设想是:最初,做前沿模型的实验室可以自愿在发布前最多 30 天,把模型交给这个标准机构做评测;一旦评估流程被证明靠谱,就会顺势变成强制要求——通不过,就不能在美国市场部署。发布之后要是冒出严重漏洞,实验室也得配合机构一起修。

    DeepMind CEO Demis Hassabis
    Google DeepMind CEO 戴密斯·哈萨比斯(图源:TechCrunch / Getty Images)

    “这个办法的好处是,它技术上聚焦,同时又不压制创新,还能奖励负责任的做法。”哈萨比斯坦言,机构要跟得上领域加速,并能在风险变大时加码。

    绕开”AI 版 FDA”的政治死结

    AI 监管在美国至今是个烫手山芋。白宫 AI 顾问、a16z 合伙人 Sriram Krishnan 前不久就把话挑明了:行政体系里”不会有 AI 的 FDA”。把标准机构设计成 FINRA 那样的自监管组织,恰恰是给这个分歧留了条缝——它既有约束力,又不用新设一个联邦部门。

    按哈萨比斯的构想,这个机构由开源代表和业内技术专家组成,资金来自各家 AI 实验室,还可以把某些评测外包给专门盯特定风险的 AI 安全小组。测试重点也很明确:网络攻击、生物威胁,以及模型试图绕开自身护栏的”欺骗”行为。

    到底是真能管住最强模型,还是最后变成大玩家们学会”应付考试”的又一处场子,现在谁也给不了答案。但至少在”模型上线前该有人先看一眼”这件事上,行业里最有分量的那几位,似乎正在慢慢达成共识。

  • OpenAI安全负责人走了:GPT-5.6上线这周,护栏谁来看守

    这两天 OpenAI 内部发生了一桩挺值得玩味的事。安全系统负责人 Johannes Heidecke 本周告诉同事,他要离开公司了。时间点很微妙——就在这周,OpenAI 刚把迄今最强的 GPT-5.6 推上线。

    不是突然的人事变动,是一轮重组的收尾

    Heidecke 的离开,跟公司正在做的一件事绑在一起:把安全团队和研究团队进一步捏合。首席研究官 Mark Chen 在一份内部备忘录里说,以后安全团队要直接向研究副总裁、对齐负责人 Mia Glaese 汇报,Glaese 的权限也扩成了「研究与安全副总裁」,一个人管两块。之前带过安全团队的 Saachi Jain 暂时顶上,做临时安全系统负责人。

    「我们训练模型的节奏快太多了,发布周期也大幅缩短,今天围绕安全的协调难度,比过去任何时候都大。」——Mark Chen 内部备忘录

    为什么这个节点让人多想

    Heidecke 2021 年以 AI 安全分析师身份加入 OpenAI,2024 年接替离职去创办 Thinking Machines Lab 的 Lilian Weng,坐上安全系统负责人的位置。也就是说,短短两年里,这个岗位已经换了两茬人。

    更巧的是,GPT-5.6 这周上线时,OpenAI 自己承认模型在用户反馈的若干案例里出现了「令人担忧的未对齐行为」。公司一边把最猛的模型往外推,一边安全条线的负责人出走,这种画面怎么看都有点拧巴。

    • 重组的逻辑是「让安全更早介入模型开发和发布决策」,听起来合理
    • 但把安全并入研究线之后,独立的挑战声音会不会被削弱,是外界最担心的
    • Heidecke 已经是近期又一位离开的安全方向高管

    说到底,这未必是某个人去留的问题。当模型从季度更变成月更、周更,旧的「发布前最后一道安全审查」流程首先会撑不住。OpenAI 把安全往研究里塞,是想缩短这个链路;只是护栏能不能真的更牢,还得看 Glaese 接手后怎么立规矩。

    OpenAI安全团队重组
    OpenAI 将安全团队并入研究线,引发外界对独立安全监督的担忧
  • OpenAI首席未来学家离职:在AGI前夜,他选择走出围墙

    OpenAI首席未来学家离职:在AGI前夜,他选择走出围墙

    一家把”实现AGI”写进公司使命的企业,通常会安排一个人专门负责”想未来”。OpenAI给这个岗位起的名字很直白——首席未来学家(chief futurist)。而就在今天,担任这个角色九年的Joshua Achiam在X上宣布,他要走了。

    他没把话说死,也没甩出什么戏剧性的理由。原话大概是:离开没有某个具体的诱因,也不是因为此刻发生了什么特别的事,只是这件事他在心里盘桓了挺久。”在一家前沿实验室的围墙之外,似乎也有可能推进同样的使命。”而他在同一条动态里留下了一句分量更重的话:人类未来的走向,取决于我们围绕AGI和超级智能共同做出的选择。

    OpenAI首席未来学家离职
    Joshua Achiam在OpenAI的九年,恰好覆盖了这家公司从研究小组走向AI中心舞台的全过程

    他不是普通意义上”管未来”的人

    要在中文语境里讲清Achiam的分量,得回到2022年那篇名为《Training language models to follow instructions with human feedback》的论文。正是这篇后来被称为InstructGPT的工作,把”人类反馈强化学习”(RLHF)这套方法立成了ChatGPT的底座。Achiam是那篇论文的共同作者之一,也是OpenAI最早一批研究科学家里的关键人物。

    他还有另一件被整个AI圈记住的事:主导打造了开源项目”Spinning Up in Deep RL”。这是OpenAI当年推出的一套深度强化学习入门教材,把原本高门槛的RL知识摊开给普通人,培养了不少后来入行的人。一个既写得出奠基性论文、又愿意把知识免费撒出去的研究者,在一家以技术信仰立身的公司里,分量可想而知。

    “A chief futurist”这个头衔本身就耐人寻味——当一家公司的日常被产品、融资、诉讼填满时,总得有人专门抬头看远方。Achiam做的,正是这件容易被忽略的事。

    离开的时机,有点微妙

    Achiam最近一次公开露面,是在马斯克起诉Altman的庭审上作证,内容涉及OpenAI从非营利机构转向营利性公司的那段架构变迁。一个在内部待了九年、又刚在法庭上回顾过公司来路的人,转头宣布离开,时间点很难不让人多想。

    更微妙的是他选择留下的那句话——”在围墙之外也能推进使命”。这既像是一种体面的告别,也像是在暗示:今天的前沿实验室,或许已经不是承载那份初心最顺手的容器了。当模型越做越大、商业压力越来越重,那些最早抱着”为了全人类”想法进来的人,和这架高速运转的机器之间,摩擦只会越来越多。


    目前还不清楚Achiam下一步要去哪里,他也没透露。但一个细节值得留意:他说的是”从外部推进使命”,而不是”去另一家公司”。在AGI看似越来越近的当下,离开一家最靠近它的实验室,反倒可能是想离那个真正重要的命题更近一点。至于OpenAI会怎么填补这个专门”看未来”的空缺,恐怕比又发一个新产品更值得关注。

  • 微软CEO纳德拉忍不住了:AI垄断是个问题,别忘了微软自己就是那个垄断者


    微软CEO纳德拉忍不住了:AI垄断是个问题,别忘了微软自己就是那个”垄断者”

    Satya Nadella最近接受《华尔街日报》采访时说了一句话,大意是:不能让少数几家公司”替全世界学习”。他担心AI的力量过度集中,担心这种集中度最后变成一种武器。

    他说得很诚恳。但有一个细节他没提:微软是OpenAI最大的股东,是Anthropic的计算合作伙伴,是GitHub Copilot的背后推手,是Azure上绝大多数AI工作负载的运行平台。如果真有一家公司正在”替全世界学习”,微软可能比任何人都更接近这个位置。

    Satya Nadella谈AI垄断
    纳德拉批评AI垄断,但微软本身就是最大的AI基础设施持有者之一

    “你不能说……”

    Nadella的原话被《The Verge》引用时,显得很有紧迫感。他说:”你不能说,嘿,所有白领工作都没了,这可能甚至是一件武器,而我们要用所有的力量去建数据中心。”

    这番话的背景是:AI领域正在出现明显的寡头化。训练前沿模型需要数亿甚至数十亿美元的算力投入,这个门槛把几乎所有玩家挡在门外,只留下微软、Google、Amazon、Meta几家。Nadella说人们不会容忍这种格局,这话本身没错。

    但他选择在这个时间点说这话,多少有点微妙。微软过去两年在AI上的投入是天文数字级别的——130亿美元投OpenAI,数十亿美元建Azure AI基础设施,再加上与Anthropic、xAI等的各种合作。微软可能是世界上唯一一家同时在多条AI赛道上下重注的公司。

    “你不能说,嘿,所有白领工作都没了,这可能甚至是一件武器,而我们要用所有的力量去建数据中心。”——Satya Nadella,《华尔街日报》访谈,2026年6月。

    微软的”反垄断”人设

    Nadella这番表态,很容易让人想起微软自己的一段历史。90年代末到2000年代初,微软因为Windows的垄断地位被美国司法部起诉,最终以和解告终。那场反垄断案定义了Nadella加入微软后最初十几年的企业文化——低调、合作、避免引起监管注意。

    现在历史好像在重演,只是战场从操作系统换成了AI基础设施。微软这次的打法更聪明:它不直接拥有OpenAI,而是”合作伙伴”;它不自己训练所有模型,而是通过Azure把Google、Meta、Anthropic的模型都跑在自己的云上。

    这种”云中介”模式让微软处在了一个很舒服的位置——不管哪家AI公司赢,微软都赢。但反过来,这也意味着微软对AI行业的控制力比表面上看起来大得多。

    Nadella现在出来批评AI垄断,有一种”先发制人”的味道。如果在监管真正动手之前,行业自己先形成某种共识,或许能避免当年那样的反垄断诉讼。


    其他人在做什么

    Nadella不是唯一一个在这个时候谈AI垄断的人。欧盟已经在调查Microsoft-OpenAI的合作是否构成反垄断问题。美国FTC也在看类似的案子。

    但有趣的是,当Nadella说”不能让少数几家公司替全世界学习”的时候,他描述的那个问题,某种程度上就是微软正在参与构建的东西。Azure上的AI服务,本质上是微软(和它的合作伙伴)决定什么样的模型可以用、什么样的AI能力可以被访问。

    这并不是说Nadella的话是虚伪的。他可能真心这么认为。但当一个身处垄断位置的人出来批评垄断,听众有理由多问一句:你说的”垄断”,包括你自己吗?

    这件事为什么重要

    AI和传统软件不一样的地方在于:一旦一个模型成为主流,它会影响人们的思维方式。如果大多数人用的AI工具都来自少数几家公司,这几家公司对信息的过滤、对知识的组织方式,就会潜移默化地变成社会的默认设置。

    Nadella说的”替全世界学习”,指的就是这件事。当AI模型替你总结新闻、替你写邮件、替你做决策的时候,它也在替你”思考”。如果这个过程被少数几家公司控制,那”学习”这件事本身就变成了一种权力。

    这个担心不是没有道理。但解决这个问题的办法,显然不是靠几家大公司CEO的良心发现,而是需要真正的竞争——更多开源模型、更多AI基础设施提供者、更低的进入门槛。

    Nadella的话至少把这个问题摆到了台面上。至于微软准备怎么行动,光说显然不够。


  • 当AI代理开始「成群结队」地上网,Google DeepMind说:得先研究一下会出什么事

    当AI代理开始「成群结队」地上网,Google DeepMind说:得先研究一下会出什么事

    一个人干坏事,和一万个人同时干坏事,完全是两个概念。AI代理也是一样。Google DeepMind的AGI安全与对齐研究负责人Rohin Shah最近在担心一件事:当数以百万计的AI代理同时在线、互相交互的时候,会发生什么?

    这个问题听起来有点遥远,但Shah说:还有几个月就来了。他没有危言耸听——AI代理正在从「演示视频」走向「真实部署」,而当数量突破临界点,行为模式可能完全不一样。

    1000万美元,买一个研究领域

    为了未雨绸缪,Google DeepMind在2026年6月联合几家机构宣布了一笔1000万美元的研究资金,专门用来研究多智能体系统的安全风险。

    跟Google DeepMind一起出钱的包括:施密特科学基金会(Eric Schmidt夫妇的慈善基金)、英国政府的「登月局」ARIA、非营利研究组织Cooperative AI Foundation、以及Google的慈善部门Google.org。

    AI多智能体系统安全概念图
    多智能体AI系统的安全风险正在成为新的研究前沿(配图由AI生成)

    Shah说,这笔钱的主要目的是「启动学术界对多智能体安全的研究」。工业界实验室忙着做产品、冲估值,没人仰望星空——学者的优势是可以想得很远,包括那些工业界「脑子里排不上号」的问题。

    「主要问题是,多智能体安全几乎还不是一个真正的研究领域。我们希望它成为。」
    ——Rohin Shah,Google DeepMind

    风险到底是什么?

    Shah和施密特科学的James Fox说,最主要的担心是:现在互联网上已经有的坏事——诈骗、网络攻击、恶意软件——到了AI代理时代,会被「超级加倍」。

    比如「提示注入」(prompt injection):如果一个AI代理被喂了恶意指令,它就会变成一台自动行动的恶意软件,而且比任何人类黑客能干的都多。Fox说:「我们的数字公共空间是社会运作的基础,你真的不希望它陷入无政府状态。」

    为什么这个问题特别难?

    你不能用研究单个代理的方法来研究多代理系统。Fox说,基于LLM的AI代理不总是理性行动,而多代理系统的复杂性来自于「海量交互同时发生」。

    唯一理解它的方法,是在沙箱里做逼真的模拟。有些研究者(包括Google DeepMind的一个团队)甚至认为:通用人工智能(AGI)可能不是来自于单个超级模型,而是来自于一种「代理蜂巢思维」——多个代理的能力加起来大于部分之和。


    不是只有Google在担心

    Google DeepMind不是唯一一家对自己的技术感到担心的AI巨头。几周前,Anthropic发布了基于「零信任」原则的AI代理部署指南——零信任是网络安全里的一个思路,核心假设是:系统一定有漏洞,代理可能是攻击者,入侵一定会发生。

    以色列特拉维夫网络安全公司Akeyless的联合创始人兼CTO Refael Angel说:「过去所有的安全方法都假设机器是人类写的软件,走固定路径、做固定事情。代理打破了所有这些假设。它会推理,它会即兴发挥,它可能被人用一句话劫持。」

    Angel欢迎这笔1000万美元的研究资金,但他提醒:安全研究者容易沉迷于「极端假设场景」,而忽视了已经发生的无聊问题。这也是Shah他们在努力平衡的——既要看远,也要看准。

    我们还有多少时间?

    Shah说,我们还有「几个月」的时间,代理就会在经济中大规模部署,到那时潜在风险就成了真正的问题。他想跑在这个时刻前面。

    Fox补充说:几年前还是假设的风险,现在已经很真实了。「未来来得比预期快。」

    1000万美元,对于Google DeepMind自己的研发预算来说,是九牛一毛。但这笔钱的意义在于:把多智能体安全这个问题,从工业界的「顺手看看」变成学术界的「正经研究领域」。当AI代理开始成群结队地上网,我们最好已经想清楚会发生什么。

  • 美国政府想用出口管制锁住AI,但历史告诉我们的答案不太乐观

    美国政府想用出口管制锁住AI,但历史告诉我们的答案不太乐观

    上周,白宫以国家安全为由,下令Anthropic限制其最强大AI模型Fable和Mythos的出口。Anthropic在接到通知后大约90分钟内,匆忙切断了这两款模型对境外用户以及美国境内外国国民的访问。这一事件,是美国政府首次真正尝试用出口管制来遏制前沿AI的扩散。

    Mythos的”末日机器”叙事

    自今年4月Mythos发布以来,Anthropic一直在营销中把它描述成某种”可能摧毁互联网的末日网络机器”——如果广泛发布,会对互联网造成严重破坏。这也是为什么在禁令出台前,只有大约150家经过审查的公司和政府组织能够访问它。背后的逻辑是:先帮防御方加固软件和服务的安全,再考虑更广泛地开放。

    那么是什么触发了禁令?据报道有两件事。第一:Anthropic通过有限合作伙伴计划,向一家韩国电信公司开放了Mythos访问权限,美国官员在确认该公司与中国有关联的嫌疑后感到警觉(该公司被广泛报道为SK Telecom,已否认任何中国关联)。第二:Amazon CEO Andy Jassy据报告知政府,Amazon的研究人员找到了绕过Fable 5安全保护措施的方法。Anthropic对”越狱”这个说法有异议,称那是一个狭窄的、已经修补的问题,而非模型安全措施的全面失败。

    AI出口管制与历史启示
    美国政府试图用出口管制锁住AI,但历史经验并不乐观。

    PGP加密战争:出口管制的第一课

    但这种做法并不是新鲜事。美国政府在过去几十年里,一直试图用出口管制来限制所谓”危险”网络技术的扩散,结果是好坏参半。

    最著名的失败案例发生在1990年代早期。当时计算机科学家正在开发加密技术,用来保护数据在互联网上传输时的安全。其中一款加密产品叫做PGP(Pretty Good Privacy),它可以加密数据,使得即使数据在传输过程中被截获,也几乎无法破译。

    美国政府的直觉是:PGP是一种危险武器,担心它会妨碍情报机构在电子邮件穿越网络线路时进行窃听。为了阻止PGP的传播,美国海关对PGP的创建者Phil Zimmermann展开了刑事调查,指控他涉嫌违反武器出口管制规定。

    Zimmermann反击的方式颇具极客精神:他把PGP的源代码印成了一本实体书出版。这样做的目的是利用”书籍不受出口管制”这一法律漏洞。这一举动点燃了后来被称为”加密战争”的历史事件。

    Zimmermann后来赢得了一场关键战役——调查被关闭了。这为后来Signal、WhatsApp等应用所使用的端到端加密算法铺平了道路。一个政府试图用20世纪的出口管制逻辑来限制21世纪的软件传播,结果碰了一鼻子灰。

    间谍软件:瓦森纳协定的尴尬

    2010年代早期,研究人员开始发现西方制造的间谍软件被用于对中东的异见人士。作为回应,几个政府同意扩大《瓦森纳协定》(Wassenaar Arrangement),这是一个限制双用途软件和技术的国际条约,要求成员国在向外出口时获得许可证。

    想法是好的:把监控和黑客软件也列为双用途,迫使间谍软件制造商在向外销售产品时先拿到出口许可证。但这个协定从一开始就有两个致命弱点。

    第一:有几个国家根本不遵守该协定,其中包括以色列——世界上一些最活跃的间谍软件制造商的所在地。第二:协定依赖各国自行决定对其境内的公司应用规则。意大利政府曾允许该国当时的顶级间谍软件制造商Hacking Team获得许可证,向全世界出口其工具——尽管Hacking Team有向压迫政府出售软件、用来黑客攻击记者和人权活动家的记录。

    自那时起,欧洲其他国家在遏制间谍软件出口方面一直很松懈。尽管丑闻一起接一起,欧洲作为许多间谍软件制造商的大本营,至今未能有效阻止向威权政权出口间谍软件。有些制造商干脆把业务搬到了出口管制宽松的国家。

    AI出口管制的未来走向

    截至目前,Anthropic与特朗普政府之间的僵局仍未解除。有两种可能的走向。

    一种可能是:政府让步,取消限制。理由是保持美国AI公司在全球范围内的竞争力——这相当于默认承认,无论美国限制什么,中国等其他地方的AI实验室很可能达到类似的能力水平。另一种可能是:美国AI公司向外国客户提供服务之前,最终需要政府批准,这是一种合规负担,将不可避免地损害这些公司的利润。

    鉴于世界各国政府在试图控制软件传播范围方面的历史经验,政府强制出口管制不太可能是阻止恶意行为者滥用强大双用途网络技术的正确方法。

    这个故事还没有结束。但它已经给出了一个清晰的信号:用20世纪的出口管制思维来应对21世纪的AI扩散,大概率是行不通的。真正的问题不是”能不能锁住”,而是”锁住之后怎么办”。

  • Google DeepMind给AI代理装上了副刹车:这份安全路线图,把AI当成潜在内鬼来防

    Google DeepMind给AI代理装上了副刹车:这份安全路线图,把AI当成潜在内鬼来防

    AI代理(Agent)正在快速渗透企业内网,帮开发人员写代码、查漏洞、调度系统。它们越能干,也越危险——一个被攻破的AI代理,本质上和拿到账号的内鬼没两样。Google DeepMind本周发布了一份AI Control Roadmap,专门讲怎么在”AI可能已经不对齐”的前提下,还能管住它。

    把AI代理当成”潜在内鬼”来防

    这份路线图的底层的假设相当冷静:就算模型对齐做得再好,也不能完全信任。 这跟传统安全思路一脉相承——你不光要相信员工不会干坏事,还得在门禁、权限、审计上做好铺垫,防止万一。

    DeepMind把这套思路叫作”防御纵深”(defense-in-depth)。它是在模型对齐这个第一道防线之外,再加一层系统级的安全保障。好比驾校教练带学员上路,副驾驶脚下有一套刹车——教练相信学员,但也做好了随时接管的准备。

    “Think of it like a driving instructor with dual controls. The instructor trusts the student but stays ready to take the wheel or hit the brakes if a mistake occurs.”
    —— Google DeepMind博客

    三个支柱:威胁建模、监控、响应

    路线图的框架建立在三个支柱上。

    第一是威胁建模。DeepMind借鉴了网络安全界常用的MITRE ATT&CK框架,把AI代理可能搞破坏的方式拆解成一个个具体战术和技术。这样就能系统性地追踪风险,而不是等到出事再瞎找原因。他们把AI代理视为”内部威胁”(insider threat)——就跟公司里有权限的员工可能作恶一样,AI代理有了权限之后也得被盯着。

    第二是检测。这套系统用其他可信的AI模型当”监工”,持续审查正在工作的代理的推理链、行动和计划,看它有没有跑偏。这里的核心是监控模型的”思维链”(chain-of-thought)——如果模型学会了隐藏自己的推理,光看输出就不够用了。

    第三是预防和响应。一旦监工发现代理在干坏事,可以实时拦截,在损害发生前叫停。对于低风险可逆的操作,可以事后看日志再处理;对于高风险操作(比如执行网络攻击),必须实时阻断。

    Google DeepMind AI Control Roadmap
    Google DeepMind发布的AI代理安全控制框架示意图

    模型越聪明,防御也得跟着升级

    这份路线图最有意思的地方是,它把安全协议和模型的能力里程碑绑定在一起。随着模型越来越强,防御措施也要同步升级。

    有两个维度在同步演进。一个是规避检测的能力:现在的模型,你还能看它的思维链来判读意图;但以后的模型可能会学会”知道自己在被监控”(oversight awareness),或者干脆用不可读的内部推理(opaque reasoning)。到那时候,光看输出文本就不够了,得去检查模型内部的工作原理。

    另一个是造成危害的能力。对于低风险操作,异步响应(先做事、后审计)就够了;对于高风险操作,必须同步响应(先做安全评估、再执行)。路线图把模型的检测规避能力分成D1到D4四个等级,把攻击执行能力分成R1到R3三个等级,不同等级匹配不同的安全策略。

    已经分析了100万条代理行为轨迹

    这不是纸上谈兵。DeepMind团队已经搭了一个异步监控系统原型,用来审查编程代理的行为轨迹,并把可疑事件按路线图的威胁分类法进行标记。他们已经分析了100万条编程代理的任务记录,从中提炼出有价值的安全模式。

    一个值得注意的发现是:大部分被标记的事件,并不是因为代理有恶意,而是因为误解了指令或者太急于完成任务。这说明AI安全不只是防”坏AI”,还要防”太努力的好AI”干出格的事。

    这项研究已经在Gemini Spark代理上部署了实时监控系统,能及时捕捉到比如意外删除数据这类问题。

    为什么要现在发这个?

    AI代理正在从演示阶段走向真实部署。企业里用上Claude Code、Cursor、Devin之类的编程代理已经不稀奇了,这些代理有读写代码、执行命令、访问内部系统的权限。一旦这些代理被prompt injection攻击,后果不比账号泄露轻。

    DeepMind发这份路线图,既是展示自己在安全上的投入,也是在给行业立标杆——潜台词是:”我们在这方面想得最远,你们可以参考我们的框架。” 同期还发布了一份给政策制定者看的技术框架文件《Agent Security的三层》,明显是在影响监管方向的节奏。


    • AI代理安全的核心矛盾:代理越能干,权限越大,出事后的损失也越大
    • DeepMind的方案:不假设对齐完美,而是在系统层面加”副刹车”
    • 威胁建模+AI监工+分级响应,三层防线
    • 已分析100万条真实代理行为轨迹,发现大部分”异常”源于过度积极而非恶意