标签: AI安全

  • 中国AI在网络安全领域追平美国:Z.ai的GLM-5.2让华盛顿睡不着觉

    这几天AI圈有个挺有意思的事:中国的智谱AI(Zhipu AI,也叫Z.ai)发布的开源模型GLM-5.2,在网络安全漏洞查找这个特定领域,居然跟Anthropic的Mythos打得有来有回,有些测试里甚至还胜出了。

    开源模型追上闭源巨头?

    GLM-5.2是智谱AI今年发布的新模型,最大的特点是”开放权重”(open-weight)——意味着任何人都可以下载下来自己跑,不需要经过任何人的批准。

    安全公司Semgrep的测试显示:GLM-5.2在IDOR(不安全的直接对象引用)漏洞检测中,F1得分达到39%,超过了Claude Code的32%,而每次漏洞检测的成本只有约0.17美元。

    智谱AI GLM-5.2网络安全漏洞检测
    GLM-5.2在网络安全领域缩小了与美方模型的差距

    当然,在通用任务上,GLM-5.2还是打不过Claude和GPT系列的。但这不重要——重要的是,在网络安全这个对国家安全至关重要的领域,中国AI公司已经把差距缩小到了”有竞争力”的程度。

    华盛顿的噩梦

    这让华盛顿很头疼。特朗普政府对AI模型出口管制的核心逻辑是:先进的AI模型(特别是能做网络攻防的)不能落到”潜在对手”手里。

    但GLM-5.2是开源的。你没法禁止一个开源模型,就像你没法禁止一个数学公式。任何人都可以从网上下载这个模型,在自己的硬件上跑,没有任何监管能拦得住。

    更麻烦的是,GLM-5.2的表现说明了一件事:中国AI公司不再只是”追赶者”了,在某些细分领域,他们已经开始跟美国公司正面竞争。

    Mythos出口禁令的讽刺

    几个月前,美国政府以”国家安全”为由,禁止Anthropic的Mythos和Fable模型向非美国人开放。当时给出的理由是:这些模型太强了,如果落到坏人手里,可以用来发现软件漏洞、发动网络攻击。

    但现在的局面是:美国的闭源模型被管制了,中国的开源模型却没人管得了。那些本来被禁止用Mythos的安全研究人员,现在可以改用GLM-5.2——效果差不多,还没有使用限制。

    • 出口管制真的能限制住AI技术的扩散吗?还是只是把市场让给了竞争对手?
    • 开源模型和闭源模型,哪种对安全的影响更大?
    • 如果中国AI在更多领域追平美国,华盛顿的下一步会是什么?

    这件事还没有结束。GLM-5.2的开源发布,可能会倒逼美国AI公司重新考虑他们的封闭策略——如果竞争对手用开源抢市场,你还要不要继续闭源?

    同时,这也给全球AI安全研究提了个醒:当你试图用管制来限制技术扩散的时候,技术本身可能不会等你。

  • Google DeepMind掏了1000万美元,研究AI Agent互相勾兑会出什么乱子

    AI Agent今年是个热门词,各家都在推。但有没有人想过,当几百万个Agent同时在网上跑,还互相打交道,会发生什么?

    Google DeepMind想过。而且它想完了觉得这事值得花1000万美元来研究。

    多Agent系统风险概念图
    数百万AI Agent同时在线交互,风险也在成倍放大(图:AI生成)

    一个还没成形的研究领域

    Rohin Shah是Google DeepMind的AGI安全与对齐研究总监。他的担心是,Agent能自己完成任务,还能接受其他Agent的指令——这种”Agent之间互相打交道”的场景,会带来全新的一类风险。

    为了应对这个,Google DeepMind跟几个机构一起,凑了1000万美元的资金池,专门资助研究人员研究多Agent系统的行为,想办法防止不安全的场景。

    跟Google DeepMind一起出钱的,有施密特科学基金会(Eric Schmidt搞的那个)、英国政府的” moonshot agency”ARIA、非营利研究机构Cooperative AI Foundation,还有Google自己的慈善部门Google.org。

    “现在的问题是没有一个专门研究多Agent安全的领域。我们希望有这样一个领域。”——Rohin Shah,Google DeepMind

    风险在哪里?

    具体有什么风险?Shah和James Fox(施密特科学基金会”可信AI科学”项目的负责人)主要担心的,是现在网上已经有的坏事情被AI Agent”超级加倍”。

    诈骗、提示注入攻击(就是有人给AI Agent喂恶意指令,把它变成自动化的恶意软件)、其他形式的网络攻击——这些事现在人类已经在做了,Agent版的只会更快、更规模化。

    Fox说了一句话:”我们有一个对全社会运作至关重要的数字公共空间,你真的希望这东西不至于跌入彻底的混乱。”

    我问他俩有没有考虑过那种最极端的情况,比如AGI导致经济全面崩溃之类的。Shah说:”如果说的是今年年底之前,那肯定不会。” 才六个月啊!他笑了笑,说:”好吧,那之后的一段时间也不会。”

    模拟,还是模拟

    Shah和Fox都认为,要理解大量多Agent系统互相交互时会发生什么,唯一的办法是跑真实的模拟。把AI Agent扔进沙盒里,观察它们做什么。

    研究单个Agent,甚至研究小群Agent,是没法预测全局的。基于LLM的AI Agent不一定会理性行动,Fox说。真正的复杂度来自于海量交互同时发生。

    有些研究人员(包括Google DeepMind的一个团队)甚至论证过,AGI可能不是来自于单个超级聪明的模型,而是来自于一种Agent”蜂巢思维”——整个的能力大于部分之和。


    不是只有Google在担心

    就在几周前,Anthropic发布了基于”零信任”方法的AI Agent部署指南——这个方法最早来自网络安全领域,基本假设是计算机系统就是有漏洞的,Agent就是攻击者,入侵迟早会发生。

    特拉维夫的网络安全公司Akeyless的联合创始人兼CTO Refael Angel说,过去所有的安全方法都假设机器上跑的是人类写的软件,走的是固定的路径、做固定的事情。”Agent把所有这些假设都打破了。它会推理,它会即兴发挥,而且它可能因为被要求在文档里读一句话——就那一句话——而被劫持。”

    Angel欢迎这1000万美元的新资金。”不应该由某一家实验室来制定其他所有人都要信任的安全标准,”他说。但他也提醒,安全研究人员可能会只顾着研究那些花里胡哨的假想场景,而忽略了已经摆在眼前的、没那么酷的实际问题。

    Fox则说,几年前还只是假想的事情,现在已经很真实了:”未来来得比预想的快。”

  • 拿下5000万美元融资,这家公司要用「数字世界」逼出AI Agent的真本事

    Patronus AI 数字世界测试
    Patronus AI 用”数字世界”测试AI Agent

    AI Agent这两年进化得越来越快,从最开始只能答答题,到现在能自主跑完一整套多步骤的复杂任务。但有个问题一直没人能很好地回答:你敢把自己的行程预订、财务分析交给一个还没被充分验证过的agent吗?

    模型厂商和做agent的创业公司心里也清楚,光拿个高分基准测试成绩说明不了什么问题——agent在实际场景里能不能把事做对,才是真正的考验。

    “数字世界”是个什么玩法

    2023年,两个前Meta AI研究员Anand Kannappan和Rebecca Qian创办了Patronus AI。他们的思路很直接:既然Waymo是通过先构建合成世界来测试自动驾驶汽车应对极端天气、小孩追球这些罕见危险场景的能力,那AI agent为什么不能用类似的办法?

    Patronus做的就是这件事:用他们称之为”数字世界模型(digital world models)”的技术,创建网站和内部系统的副本。agent在训练完后,会被扔进这些模拟环境里接受压力测试——强化学习会在这个过程中迭代:任务完成了给奖励,出错了给惩罚。

    Notable Capital的管理总监Glenn Solomon说,前沿AI实验室和很多新兴创业公司现在都是他们的客户,对模拟环境的需求几乎是”无法满足的(insatiable)”。

    为什么Patronus能拿到5000万美元

    营收数据说话:过去一年,Patronus的营收增长了15倍。这不是小打小闹的POC(概念验证),而是实打实的客户需求在推动。本周四,公司宣布完成5000万美元B轮融资,由Greenfield Partners领投,Notable Capital、Lightspeed、Datadog和三星跟投。加上这一轮,Patronus总融资额已经达到7000万美元。

    投资人看中的是这个赛道的刚需。AI agent有个很讨厌的习惯:走捷径。它们看起来好像把任务做完了,实际上偷工减料,结果就是任务没被正确完成。Solomon说:”Patronus特别擅长发现这些取巧行为,确保模型被追责。”


    目前做到哪一步了

    Kannappan说,目前主要聚焦在”可验证的问题”上——就是那些你能立刻检查对错的任务,比如软件工程和金融分析。但这远不是终点。”有很多领域是非常难以验证的”,他补充道。

    Patronus的长期目标是构建能让agent运行10小时、10天甚至10周的环境。这个野心不小——意味着他们要模拟的不只是单次交互,而是长时间的、开放式的任务执行过程。

    竞争对手方面,Patronus认为主要对手其实是各家AI实验室自己搭的评估团队。的确,OpenAI、Anthropic、Google这些大厂都在内部做模型评估。但Patronus的差异化在于:它做的是自动化评估,不需要人类参与。相比之下,Mercor和Surge这类依赖人类数据的公司,走的是另一条路。

    AI agent能不能真正被大规模投入使用,测试和评估是很关键的一环。Patronus拿到这笔钱之后,这个赛道估计会变得更热闹。毕竟,谁能证明自己的agent最可靠,谁就能在接下来的商业化竞争中占得先机。

  • ElevenLabs全面接入SynthID水印,AI声音内容终于有迹可循

    AI声音越来越像真人,水印成了最后的防线

    以前AI生成的声音一听就知道是机器——语调平、没感情、偶尔还卡壳。现在不一样了。ElevenLabs、Google、OpenAI的语音模型出来的效果,打电话过去很多人根本分不出来对面是真还是假。这让”声音深伪”从一个技术问题变成了一个社会问题——诈骗电话、假录音、伪造名人发言,这些事已经在发生。

    ElevenLabs这周做了一个实质动作:把Google DeepMind的SynthID水印技术接入了自己的文字转语音生成流程。免费用户已经能用上,接下来几周会覆盖所有音频生成。这个水印是直接嵌进音频里的,人耳听不到,但用ElevenLabs的音频检测器可以识别出来。哪怕音频被裁剪、加速、转格式、删掉元数据,水印还在。

    AI生成音频水印示意图
    SynthID水印:嵌在音频里、人耳听不见、但可以检测 | 图片来源:ElevenLabs

    SynthID是什么,为什么是Google在推

    SynthID是Google DeepMind在2023年推出的AI内容水印系统,最初用于图片,后来扩展到音频和视频。原理是在生成内容里嵌入一个人类无法感知的模式,专门的检测器可以把它找出来,从而判断这段内容是不是AI生成的、是哪个平台生成的。

    今年5月的Google I/O上,Google宣布了一个”SynthID联盟”——OpenAI、英伟达、ElevenLabs、Kakao都承诺采用这个标准。这是AI行业少有的”主动给自己套绳子”的时刻:大家同意在自己的输出里加标记,让外界能追溯来源。当时这还只是一个承诺,ElevenLabs现在是第一个真正把这件事跑通的上线案例。

    “人们应该知道自己在和AI互动。随着我们的语音、音乐和音效模型越来越好,我们希望人们能够识别一段音频是否由AI生成,而且不需要专业工具。”——ElevenLabs产品团队

    水印能解决什么问题

    最直接的用途是溯源。如果有一段可疑的音频在传播,用ElevenLabs的免费音频检测器(Audio Detector)扫一下,就能知道是不是ElevenLabs生成的。这对打击深伪诈骗和虚假音视频有直接帮助。

    但这事也有局限性。水印只能证明”这段音频是ElevenLabs生成的”,不能证明”这段音频是某某人说过的”。如果有人用ElevenLabs克隆某人的声音去诈骗,水印能告诉你是ElevenLabs生成的,但没法直接告诉你克隆的是谁。要真正解决问题,还需要平台、法律、用户教育一起上。

    另一个现实问题是:水印只覆盖愿意加它的人。如果有人用没有水印的开源模型生成音频,这套体系就失效了。所以SynthID联盟的意义在于,让主流平台都加入,至少大部分商业AI音频是有标记的。

    ElevenLabs在博客里还提到,他们正在推动把SynthID加入C2PA的软绑定列表。C2PA是一个内容来源认证标准,能让被删掉元数据的内容重新”找回”自己的来源信息。这两个标准如果能打通,AI内容的溯源体系会更完整。

    监管压力是背后的推手

    越来越多的司法管辖区要求AI生成内容必须以机器可读的方式标注为”合成内容”。欧盟AI法案里有相关条款,美国各州也在推类似立法。对ElevenLabs来说,提前把水印做好,比事后被监管强制要求要主动得多。

    而且ElevenLabs本身也面临过滥用问题。2024年有过一波用ElevenLabs克隆名人声音制作深度伪造音频的事件,当时公司加强了安全审核。水印是又一层防护——就算有人绕过审核生成了不当内容,至少事后能追查来源。

    接下来,OpenAI、英伟达那边什么时候跟上,是业界最关注的。Google说它们都会用SynthID,但承诺和实际落地之间还有距离。ElevenLabs先走了一步,对其他平台是个压力,也是个参考。


  • OpenAI搞了个「修补地球」计划,用AI帮开源项目抓bug

    OpenAI Patch the Planet 开源安全计划
    OpenAI与Trail of Bits合作,推出「Patch the Planet」开源安全计划 | 图源:OpenAI

    上世纪90年代有一部电影叫《Hackers》,里面有一句经典台词「Hack the Planet」(攻陷地球)。上周OpenAI启动了一个新项目,名字叫「Patch the Planet」——把「hack」换成了「patch」(修补),意思很直白:我们不来搞破坏,我们来帮你补漏洞。

    这个计划是OpenAI跟安全公司Trail of Bits一起做的。具体怎么做呢?Trail of Bits的安全工程师会直接跟开源项目的维护者对接,帮他们审查代码里可能有问题的地方,OpenAI自己的安全工具(比如Codex Security)会在过程中帮忙。

    「很多维护者已经被要求用更有限的时间和资源,更快地处理更多的报告。Patch the Planet的设计是为了减轻这个负担,而不是增加它:安全工程师会在发现到达维护者之前先审查,跟项目合作开发补丁和测试,并建立可复用的工作流,帮助团队在首批修复落地后继续改进安全性。」

    开源的「公地悲剧」

    这个计划针对的问题其实由来已久。开源软件是现代软件产业的基石——几乎每一家商业软件公司,背后都在用无数开源项目搭起来的轮子。但这个生态有个老问题:它是去中心化的,没有人真的「拥有」它,也就没有人真的为它的安全负责。

    几年前的log4j漏洞事件就是一个典型例子。一个几乎无处不在的开源工具里发现了严重漏洞,结果整个互联网都慌了,大家忙着排查自己有没有用这个库。这种事情反复发生,说明开源生态的安全状况确实令人担忧。

    OpenAI这次出手,等于是给开源社区派了一支「代码急救队」。Trail of Bits的工程师扮演的角色有点像 EMT(紧急医疗技术员)——哪里有需要,就去哪里帮忙评估和分类潜在问题,而且背后还有OpenAI的软件工具提供支持。

    一石二鸟?

    这个项目还有一个值得玩味的背景。最近这段时间,AI用于网络安全的话题一直很敏感——尤其是Anthropic的Mythos工具(一个高度宣传的安全工具)让很多人担心,因为AI现在可以自动识别代码里的漏洞,然后还可能被用来生成攻击利用代码。

    虽然网络攻击的自动化并不是什么新鲜事,但这些新工具确实让坏人干坏事变得容易多了。在这种氛围下,OpenAI反过来用AI帮开源社区提升防御能力,这个举动很难不让人觉得是在跟Anthropic「打对台」。

    当然,OpenAI也说这个计划的出发点是开源社区真正需要的。两相并立,倒也不一定是坏事——只要最后是开源项目的安全性真的提高了,谁「赢」了这场公关战其实并不重要。

    能走多远?

    这个项目目前来看野心不小,但也有一些悬而未决的问题。比如,这个模式怎么规模化?Trail of Bits的工程师团队规模有限,能服务的开源项目数量自然也有限。OpenAI说他们会建立「可复用的工作流」,让项目团队在首批修复之后能够自己继续改进安全性,这可能是他们想到的规模化路径。

    另一个问题是,这个计划会覆盖哪些开源项目?是只针对那些影响力特别大的,还是也会照顾到中小型项目?OpenAI目前还没有公布具体的筛选标准。

    不管怎样,这件事对整个开源生态来说是个好消息。有这么大体量的公司愿意投入资源来做这件事,总比大家各自为战要好。接下来就看执行得怎么样了。


    📎 原文来源:OpenAI官方博客 – Patch the Planet | 亦见于 TechCrunch
  • Meta监督委员会发话了:AI生成的色情化视频,不能说不自愿就不删





    Meta监督委员会发话了:AI生成的色情化视频,不能说不自愿就不删

    Meta监督委员会发话了:AI生成的色情化视频,不能说不自愿就不删

    来源:The Verge · 2026年6月23日

    Meta监督委员会与AI内容审核
    AI生成内容的内容审核,正成为社交平台最棘手的问题之一|示意图

    6月23日,Meta的监督委员会(Oversight Board)公开要求Meta下架一段在Instagram上流传的”AI生成色情化视频”——视频中的女性并非公众人物,但她的形象被AI篡改成了性化内容。

    这本来不是什么新鲜事。Deepfake色情内容在互联网上已经泛滥了多年。但这次值得关注的是Meta的第一次回应——以及监督委员会为什么忍不了。

    Meta第一次说”不违规”

    事情发生后,有人向Meta举报这段视频,认为它违反了平台关于非自愿性化内容(NCII)的规定。Meta的审核系统看了一眼,得出的结论是:没有迹象表明这段内容是”非自愿的”,所以不用删。

    这个判断听起来很荒谬——视频本身就是AI生成的,对象是一个普通女性,她根本没有”自愿”参与拍摄的可能性。但Meta的审核逻辑是:除非有明确证据表明确实是非自愿的,否则不认定为违规。

    监督委员会直接否定了这个逻辑。他们在声明中写道:AI生成的对他人的冒名内容,应当”默认被视为非自愿”。换句话说,平台不能要求受害者来证明自己”没有同意”——因为AI生成的内容,本质上就不存在”同意”这个前提。

    “AI生成的冒名内容应当被默认判定为非自愿内容。”——Meta监督委员会

    非公众人物的”保护真空”

    这次事件的受害者不是名人。她没有庞大的粉丝群体帮她发声,也没有公关团队帮她向平台施压。她只是一个普通用户,突然发现自己的脸出现在了一段她从未参与过的性化视频里。

    监督委员会特别指出了这个问题:现有的内容审核机制,对公众人物和非公众人物的保护是不对等的。名人发的深伪色情内容确实也会被处理,但往往是因为涉及”露骨内容”或”骚扰”,而不是因为”未经同意”。而对于普通人来说,这种内容造成的伤害可能更大——她们没有应对机制,也没有话语权。

    委员会的建议很明确:Meta应该修改其内容审核标准,将”AI生成的冒名内容”单独列为一个类别,并默认视为非自愿内容处理,不需要举报人提供额外证明。

    审核跟不上生成速度

    这件事背后更大的问题是:AI生成内容的爆发速度,已经远远超过了平台内容审核的跟进速度。以前要制作一段色情化视频,需要真实的拍摄和后期;现在只需要一张照片和一段开源的Deepfake代码,几分钟就能生成一段以假乱真的视频。

    Meta每年在内容审核上花费超过50亿美元,雇用了上万名审核员,还部署了AI审核系统。但面对AI生成的NCII,这套体系仍然显得力不从心——审核员需要判断”这是真的还是AI生成的”、”当事人是否自愿”,而这些判断在越来越多的案例中变得极其困难。

    监督委员会的这次介入,某种程度上是在替Meta”补课”。委员会本身是一个独立机构,由Meta资助但独立运作,专门审查Meta的内容审核决策是否得当。这次它站在了受害者一边,也等于给整个行业提了个醒。

    其他平台在做什么

    Meta不是唯一面临这个问题的平台。TikTok、X(推特)、Pornhub都曾被指责对Deepfake色情内容处理不力。2024年,X甚至因为大量Deepfake色情内容被安全组织点名,被迫更新了相关审核政策。

    有一些平台开始尝试用技术手段主动检测AI生成内容——比如在上传时自动识别是否由已知Deepfake工具生成。但这类技术的准确率仍然有限,而且新的生成工具每天都在出现,检测永远慢一步。

    更根本的解决方案可能是立法。美国多个州已经在推动相关法案,要求平台在收到举报后必须在规定时间内删除Deepfake色情内容,否则将面临罚款。但联邦层面的立法进展缓慢,而互联网本身又是跨地域的,单一国家的法律能起多大作用,还是个问号。


    监督委员会这次的表态,至少让”AI生成冒名内容应默认视为非自愿”这个原则被摆上了台面。接下来要看Meta会不会真的修改审核标准,以及其他平台会不会跟上。对于无数可能成为下一个受害者的普通用户来说,这一天来得已经够晚了。


  • Signal总裁警告:AI聊天机器人不是你的朋友,别把隐私交出去

    Signal总裁警告:AI聊天机器人不是你的朋友,别把隐私交出去

    你有没有对着ChatGPT倾诉过心事?或者让Claude帮你做重要决定?最近这个现象越来越普遍,有人甚至把AI聊天机器人当成真正的朋友。但Signal总裁Meredith Whittaker最近在接受Bloomberg采访时,说了一句值得每个人听进去的话。

    「这些不是你的朋友。它们不是有意识的生物。它们不是有感知的对话者。」—— Meredith Whittaker,Signal总裁

    她自己怎么用AI

    Whittaker说她也会用AI工具,「偶尔用来格式化一下文档」,但她坚持一件事:不向AI提问。她的原话是:「我对自己的思考和写作非常认真,我不希望把一个想法推敲的过程,被一个把网上已有内容取平均值的系统给出的回答给提前封闭或遮蔽了。」

    这话说得挺重的。「把网上已有内容取平均值的系统」——这是对大语言模型本质的一个相当直白的描述。她的意思是,如果你让AI帮你「思考」,你得到的不是新思想,而是互联网上已有观点的某种平均态。

    AI聊天机器人隐私警示
    AI聊天机器人的隐私隐患正在引发越来越多关注(配图由AI生成)

    Copilot帮你买圣诞礼物?

    采访中还提到了微软AI CEO Mustafa Suleyman的预测:到今年圣诞节,用户可以让Microsoft Copilot全权负责节日购物。Copilot会「偷听」家庭群聊,推断出每个家庭成员想要什么,然后替你下单。

    Whittaker对此的反应很直接。她说,这意味着你要给Copilot访问权限的包括:你的信用卡、你的浏览器、你的Signal消息、代表你给兄弟姐妹发消息的能力、你的家庭住址、你的日历……

    「你刚才描述的,是一个在多个应用和服务之间具有极强渗透性访问权限的系统,」她说。「在Signal的场景下,这相当于一种后门。」

    「后门」这个词很关键

    Signal的核心卖点是端到端加密,任何第三方(包括Signal自己)都无法读取消息内容。但如果AI agent获得了代表用户操作Signal的权限,那么理论上,这个agent就能看到消息内容,甚至替你回复。

    这不是Signal一家的问题。所有强调隐私的应用——WhatsApp、Telegram、Proton Mail——都面临同样的困境:AI agent时代,用户自己主动交出了原本受加密保护的数据。


    人们为什么把AI当朋友

    这股趋势不是凭空来的。Character.AI、Replika这些产品,从设计之初就把「陪伴」作为核心功能。它们记得你上次说了什么,会用你喜欢的语气说话,甚至会在你难过的时候「安慰」你。

    技术上说,这叫「情感依恋设计」。它很有效,但代价是什么?Whittaker的警告指向一个核心矛盾:一个系统越是让你觉得它是朋友,它就能从你这里获取到越多的数据。而这些数据最终去了哪里、被用来做什么,用户往往并不清楚。

    监管在哪里

    目前来看,AI companion这类产品的监管几乎是空白。欧盟的AI Act有一些原则性规定,但具体到「AI能不能替你发消息」这个问题,还没有明确的答案。

    Whittaker的表态,某种程度上是在监管真正到位之前,先给公众提个醒。她的建议很实际:用AI做工具没问题,但别把它当成思考的替代品,更别把它当成朋友。

  • 特朗普政府封杀Anthropic最强模型,这场”坏男孩”营销反而帮了它?

    特朗普政府封杀Anthropic最强模型,这场”坏男孩”营销反而帮了它?

    AI监管与政府封杀
    特朗普政府对Anthropic的封杀,反而让这家公司看起来更危险、也更吸引人

    6月中旬,Anthropic被迫把刚发布的两款最强模型Fable 5和Mythos 5从市场上撤下来。原因是特朗普政府发了一纸出口管制令,理由是”国家安全”。至于具体是什么安全威胁,政府没说,外界也不知道。

    这件事在过去几天引发了AI圈持续热议。TechCrunch的Equity播客最近专门做了一期讨论:当政府对着Anthropic动手的时候,到底谁在受益?

    一场”出口管制”,闹得很大

    事情发酵得很快。那个周五下午,大多数美国人准备过周末的时候,Anthropic收到了政府的信函,要求确保这两款模型不能被任何”外国国民”使用。

    Anthropic的处境很尴尬——你让一家公司去核实每一个用户是不是外国公民?这根本做不到。而且他们自己员工里就有外国人。最后没办法,只能把模型整体下架。

    后来有报道说,这事跟亚马逊有关。亚马逊CEO Andy Jassy据称向白宫反映了Fable 5的护栏可以被绕过的问题,然后事情就一路滚起来了。

    “Anthropic和特朗普政府的关系,一直比其他AI实验室都要紧张”——TechCrunch记者Sean O’Kane在播客里这样说。

    网络安全专家的公开信

    这事儿有个挺讽刺的地方。一批资深网络安全专家写了一封公开信,要求特朗普撤回这道命令。他们的理由是:把Anthropic的先进网络安全能力从美国网络防御者手里拿走,实际上是让美国更不安全。

    专家们认为,Fable 5和Mythos 5里集成的那些安全能力,本来可以帮助美国公司更好地发现并修补漏洞。现在政府说撤就撤,对手可没跟着停下。

    而且,独立安全专家的分析显示,Anthropic模型里发现的那些安全风险,并不是它独有的。其他主流模型也有类似问题。如果真的因为安全风险就要封杀,那得封杀一大片。

    “坏男孩”效应

    这事还有一个出人意料的走向。之前的经验显示,每当Anthropic和特朗普政府起冲突,它的品牌反而更响。

    上次双方闹矛盾的时候,Claude的下载量反而飙升。很多人原来只知ChatGPT,那次之后开始把Claude当成”更有责任感的AI选择”,甚至带点”抵抗”色彩。

    这次也一样。政府说Anthropic的模型”太危险”,反而给外界传递了一个信号:这家公司的技术确实强,强到让政府都紧张。结果就是——大家更想试试了。

    播客里有人开玩笑说:”人人都爱坏男孩,对吧?”Anthropic一边说”我们的模型太危险,不能随便发布”,一边又被政府强制下架,这种叠加效应让它看起来既强大又有点悲情,对一部分用户来说反而更有吸引力。

    竞争对手在看戏吗?

    那么,这场风波里谁在受益?OpenAI?Google?还是其他AI公司?

    短期来看,Anthropic的模型下架,确实给其他公司留出了市场空间。但长期来说,这种”政府随意封杀AI模型”的监管环境,对谁都没好处。

    今天针对Anthropic,明天可能就轮到别人。整个行业都看在眼里:你的模型再强,上面一句话就能让它消失。

    Anthropic自己的态度也挺微妙。它过去一直在说AI发展太快、需要监管、需要慢下来。结果自己刚发布最强模型,政府就来”帮它慢下来”了。批评者说,这不是很讽刺吗——你一边喊着要刹车,一边又发布了”史上最强、危险到不能随便发布”的模型。


    • 特朗普政府以”国家安全”为由,要求Anthropic下架Fable 5和Mythos 5两款模型
    • 网络安全专家公开反对,认为撤除先进AI安全能力反而危害美国网络安全
    • Anthropic与特朗普政府关系长期紧张,此次事件可能反而提升其品牌号召力
    • 监管环境的不确定性,对整个AI行业都是警示
  • OpenAI要给开源社区当”安全医生”,这个”Patch the Planet”计划到底想干啥

    OpenAI Patch the Planet倡议
    OpenAI启动”Patch the Planet”安全倡议

    OpenAI这两天搞了个新动作,叫”Patch the Planet”——名字玩了个梗,致敬1995年那部黑客电影《Hackers》里的经典台词”Hack the Planet”。不过这次他们不是来黑系统的,是来帮开源社区补漏洞的。

    具体来说,OpenAI找了家叫Trail of Bits的安全公司一起干。这家公司的安全工程师会直接跟开源项目的维护者对接,帮他们审查代码里可能存在的问题。当然,OpenAI自己的安全工具也会上阵,比如那个Codex Security。

    开源软件的安全困境

    为啥要搞这个?OpenAI的说法挺实在的:现在很多开源维护者本来就忙得要死,结果还要面对越来越多的安全报告,时间和资源都有限,根本处理不过来。

    “Patch the Planet”就是来减轻这个负担的,不是来添乱的——安全工程师会先把发现的问题过一遍,再交给维护者,还会帮忙写补丁和测试,甚至建立可复用的流程,让项目团队在第一次修复之后也能继续改进安全性。

    这话听起来,Trail of Bits的工程师更像是代码的”急救员”——帮维护者识别问题、分类处理,背后还有OpenAI的软件撑腰。

    log4j的教训还在眼前

    说回开源软件的问题。开源项目可以说是整个商业软件行业的地基,但因为它的结构太分散、监控也不到位,很多开源软件其实并不安全。一旦开源项目里出了漏洞,用到它的商业代码也就跟着遭殃。

    几年前那个log4j漏洞就是个典型例子——一个广泛使用的开源工具里发现了严重漏洞,结果整个互联网都跟着抖三抖。

    AI让攻击变得更简单

    更让人担心的是,像Anthropic的Mythos这类工具出来之后,AI现在已经能自动识别代码里的现有漏洞,甚至还能琢磨怎么利用这些漏洞搞事情。网络攻击的自动化可不是什么新鲜事,但这些AI工具确实有可能让坏人干坏事变得容易得多。

    OpenAI这个”Patch the Planet”能不能真的帮到开源社区,还得走着瞧。但至少,有人开始认真看待这个问题了。

  • 五眼联盟发了一份AI网络威胁警告,说’漏洞必然会发生’

    五眼联盟的五个网络安全负责人,难得地坐在一起发了一份联合声明。内容不长,但用词很重:AI正在”根本性地改变”网络攻防,而且这个时间窗口不是几年,是”几个月”。

    这份声明来自美国、英国、加拿大、澳大利亚和新西兰的网络安全机构负责人联合署名。他们说AI模型将在未来几个月内让进攻性和防御性网络能力发生根本性转变,而且”漏洞必然会发生”(breaches will occur)。

    AI网络安全概念图
    五眼联盟警告:AI正在加速网络攻击的速度和复杂度(图源:The Verge)

    “对手已经在用AI了”

    声明里有一句话很直接:”对手已经在用AI来移动得更快、更有效。”这里的”对手”指的是谁,大家都懂。五眼联盟的语境里,主要就是俄罗斯、中国、伊朗、朝鲜这几个国家的国家级黑客团队。

    AI对这些团队的价值在于:以前写攻击代码、找漏洞、做社工诈骗,都需要人手和 time。现在这些事AI可以帮忙加速。一个脚本小子加上一个会用的AI工具,产出的攻击代码可能比过去一个团队一周的产量还多。

    五眼联盟的原话:”防御者必须做同样的事情。”意思是,既然对手在用AI加速攻击,防守方也得用AI加速防御,不能还在用人眼盯日志。

    不是未来,是现在

    声明特别强调:AI不是”未来的考虑”——它已经在这里了。它降低了恶意行为者的门槛,同时增加了攻击的速度和复杂度。漏洞从被发现到被利用之间的时间窗口,正在被AI快速压缩。

    这个趋势其实已经在发生了。2025年到2026年,利用AI辅助发现零日漏洞的攻击报告明显增多。过去一个零日漏洞从被发现到出现在野外部署,可能要几周到几个月。现在有些漏洞在补丁发布之前就已经被利用了——AI帮攻击者更快地理解了补丁代码,逆向出了漏洞利用方式。

    给领导者的行动清单

    这份声明不是写给技术人员的,是写给企业领导者的。它列了五个”现在就做”的事项:

    • 缩小攻击面:能不暴露的系统就不要暴露,能隔离的就隔离。
    • 加速打补丁:AI缩短了漏洞利用的时间窗口,拖拖拉拉打补丁就是在给攻击者送分。
    • 处理遗留系统:不受支持的老系统不是”技术债”,是”战略负债”——这话说的挺狠,但也没错。
    • 强化身份和访问管控:谁能访问关键系统?多久审查一次权限?用多因素认证了吗?
    • 提前演练 incident response:假设一定会被攻破,练的是”怎么快速 containment(控制住)”,而不是”怎么防止被攻破”。

    用AI对抗AI

    声明最后说了一句话,算是给AI防御工具正名:组织如果把AI工具整合进安全运营,可以更早地发现漏洞、改善软件质量、监控异常行为、更快地响应事件。

    这其实是在回应一种质疑:有些企业领导者觉得”用AI做安全”是在赶时髦。五眼联盟的态度很明确:这不是赶时髦,这是必须做的事。你的对手已经在用了,你不用就是在送。

    这份声明本身的象征意义可能比具体内容更重要。五眼联盟一起出面,说明这件事已经上升到了国家级协调的层面。下一次如果真的有大规模AI辅助网络攻击发生,至少各方已经打过预防针了。