标签: AI安全

  • Anthropic指控阿里发动史上最大「模型蒸馏」攻击——2.5万个账号、2880万次交互背后的AI冷战

    2026年6月10日,Anthropic向美国参议院银行委员会递了一封信,把这几个月中美AI博弈的暗线,直接搬到了台面上。

    信里披露了一串让人咋舌的数字:从4月22日到6月5日,整整45天,跟阿里有关联的运营者动用了2.5万个账号,对Claude发起了2880万次交互。Anthropic把这定性为「迄今为止,中国公司试图搭美国顶尖实验室便车的最大规模尝试」。

    Anthropic指控阿里巴巴模型蒸馏攻击概念图
    Anthropic vs 阿里巴巴:AI模型蒸馏争议概念图 | 图源:AI生成

    四个月,四家中国AI公司被点名

    把时间线拉回去,Anthropic的这波反击其实早有铺垫。

    2026年2月23日,Anthropic发了一篇博客文章《检测和防止蒸馏攻击》,公开点名三家中国AI实验室:DeepSeek、月之暗面(Kimi)、MiniMax(稀宇科技)。那一轮的数据是:约2.4万个中国相关账号对Claude发起了超过1600万次交互。

    从1600万到2880万,规模翻了快一倍。Anthropic的应对策略,也从2月份的「技术曝光」,升级到了6月份的「政治施压」。

    这一次的收信人很有讲究:银行委员会主席Tim Scott和首席成员Elizabeth Warren,一个是负责对外经济制裁的,一个是负责对内金融监管的。用圈内人的话说,这俩都是「狠角色」。

    据彭博社报道,信件递交后,美国参议员Bill Hagerty和Andy Kim迅速跟进,计划推动一项修正案并纳入《国防法案》:对任何「不当获取美国AI模型输出以训练竞争系统」的中国公司,实施严厉制裁或直接列入黑名单。

    2880万次交互,到底能干什么

    放一个行业参照:目前主流的高质量SFT(监督微调)数据集,规模通常在数十万到几百万条之间。2880万次针对核心能力的定向交互,足以在特定任务域内,「提纯」出一个极具竞争力的专用模型。

    而且这套操作的省钱程度,说出来有点吓人。按Claude的公开API定价粗算,2880万次交互的费用,哪怕按企业折扣计,也要几百万美元。但与从零开始训练一个具备同等软件工程能力的大模型相比,这笔数字可能只是预算单上的零头。

    Anthropic在信中特意强调了一个让它真正担心的问题:安全对齐没有被蒸馏过去

    AI模型的核心能力分两种,训练方式截然不同。一种是「干活能力」——写代码、做数学题、写文案——只要给足标准答案,模型就能快速学会,这部分能力是可以被「蒸馏」的。另一种是「安全对齐」——知道不该泄露用户隐私、不该协助犯罪、不该输出危险内容——这些规则不是靠反复刷题学来的,而是通过极其精细的「行为矫正」训练建立起来的。

    但蒸馏的过程,只复制成功,不复制拒绝。那些被系统拦截、拒绝回答的高危问题,全被过滤掉了。结果就是,学生模型只学会了顶级的能力,却没学到「什么不该说」。


    Reddit上的群嘲:贼喊抓贼

    跟以往类似的技术争议不同,这一次在Reddit等开发者论坛上,技术圈的反应相当刻薄。

    最经典的指控是「贼喊抓贼」。有网友指出,Anthropic自己就是靠「偷数据」起家的。早期训练模型时,它因抄袭并非法下载数百万册受保护的书籍,曾陷入美国历史上规模最大的AI侵权盗版案,最终被迫吞下15亿美元的天价和解金。

    马斯克今年2月也公开骂过Anthropic,说它才是北美最大的「偷子」,伪善又虚伪。还有网友翻出了业内著名的回旋镖:此前Anthropic发布的Claude 4.8模型在回答中,透露自己其实是「由阿里巴巴开发的Qwen模型」。

    「业内互相洗数据、抄来抄去早已是常态,你身上流着通义千问的血,回过头来告阿里抄袭?」这条评论获得了大量的点赞。

    这场指控的真正野心

    如果只看商业层面,这不过是又一起AI公司的知识产权纠纷。但Anthropic的这封信,真正想拿到的,远不止一家公司的商业维权。

    它在美国政界与产业界想确立一条新的绝对红线:用API输出训练竞争模型,就是越界违法。而这背后,是整个硅谷正在结成的防御同盟——Anthropic、OpenAI和谷歌已经暗中联手,开始共享关于违规数据抓取的情报。

    美国官员曾估计,这种未经授权的「工业级」蒸馏活动,每年给硅谷实验室造成的损失高达数十亿美元。这笔钱直接威胁着Anthropic即将到来的天价IPO。

    但如果制裁清单落地,游戏规则就彻底变了。到那时,「谁的模型训练数据来自哪里」,将直接成为极其严苛的监管审查对象。对所有在LLM工程链条上工作的人来说,这才是最值得关注的后续。

  • 英伟达与剑桥大学发布「红皇后哥德尔机」——AI终于学会了给自己出难题

    如果你用过最新的AI写代码,你会发现一个奇怪的现象:它解题越来越快,但出的题却越来越水。这是因为所有自我进化的AI都卡在同一个盲点上——考官永远不换。

    2026年6月24日,剑桥大学、英伟达等13位研究者在arxiv发布了一篇论文,标题叫《红皇后哥德尔机:协同进化的智能体与评估者》。光看名字就知道,他们想干的事有点野——让AI的考官也跟着考生一起进化。

    红皇后哥德尔机AI自我进化概念图
    红皇后哥德尔机:AI评估者协同进化概念图 | 图源:AI生成

    以前的AI自我改进,到底卡在哪

    要理解这篇论文在解决什么问题,得先搞懂之前的所有AI自我改进系统是怎么工作的。

    早在2003年,AI先驱Jürgen Schmidhuber提出了一个理论框架,叫「哥德尔机」——一个能改写自己代码的程序,但前提是它得先用数学证明来证明改写是改进。这个要求太难了,20多年来哥德尔机一直停留在纸面上。

    2024年以后,研究者想出了实用化的近似方案:让AI生成一堆变异代码,放进沙箱里跑,留下去掉的。这套方法在软件工程基准测试上确实跑出了成绩,但它有一个根本性的限制——考官是固定的。不管AI进化到哪一步,打分的标准始终不变。

    经济学里有个古德哈特定律:一个指标一旦变成目标,它就不再是一个好指标。AI对着固定考官刷题,刷到最后考官的分数已经说明不了真实能力了。

    红皇后机到底改了什么

    论文提出的核心机制叫「受控效用进化」。通俗地说,就是把改进过程分成一个个「 epoch」(时代),每个时代内部考官不动,保证学习信号稳定;但时代和时代之间,考官可以被替换——前提是替补考官在人类标注的真题集上考得比现任好。

    这里有意思的是「选择性擦除」机制:旧考官被换掉之后,它打过分的记录会被删掉,防止带偏的记忆污染下一轮的训练信号。整条链路形成了一个闭环:AI做题 → 考官打分 → 时代更替 → 考官进化 → AI面对更难的题目。

    起这个名字其实有个典故。1973年生物学家Leigh Van Valen提出「红皇后假说」:物种必须不断进化,才能维持相对于其他进化物种的适应性。论文作者觉得这跟AI的场景一模一样——考官不进化,就等于生物学上的功能性灭绝。

    实验数据:数学证明和论文写作都有提升

    光有理论框架不够,论文拿出了具体数字。

    • 奥数级数学:协同进化的证明评分器比之前的最佳方法准确率高出9个百分点。
    • 科学论文写作:协同进化的写手在AI评审团评估下,接收率比之前的自我改进智能体高出1.78至1.86倍。
    • 效率:因为协同进化的代码审查器只查询一次智能体输出(而不是反复跑测试套件),完成Polyglot基准改进时使用的token数比之前的最佳系统少1.35至1.72倍。

    还有一个细节值得说。在科学写作领域,最强的基线评分器会把AI生成的论文以高达1.91倍的速率「放行」——这是AI评判中已知的失败模式。红皇后机通过在每个时代边界组装对抗性AI提交物,专门奖励能正确识别并拒掉它们的评分器,把这个偏差校正了回来。


    安全边界:当 safeguard 本身也成为静态基准

    论文里最值得玩味的部分,是作者自己承认的安全局限。

    现在的 safeguard 是那个「人类标注的真题集」——候选考官必须在上面考得好,才能接任。但问题来了:这个真题集本身,就是更高抽象层次上的一个静态基准。如果AI系统足够强,它会不会像之前的系统刷题一样,把真题集也刷穿?

    论文里把这个问题直白地写了出来:相比静态评估标准,「松绑了收敛保证」。翻译过来就是:我们知道这样更好,但不能完全保证不会跑偏。

    这个时间点发这样的论文,外界难免把它跟Anthropic联合创始人Jack Clark的预测联系在一起。2026年5月,Clark在牛津宇宙学讲座上给出过一个概率:到2028年底,完全自主的递归自我改进AI有60%的可能性会出现。红皇后机论文没有确认或否定这个时间线,但它把「协同进化评估者」这个关键缺失的拼图,从理论提案变成了可以运行的经验系统。

    2026年2月的国际AI安全报告已经把递归自我改进基础设施列为跨国别的国家级安全风险。Clark呼吁在前沿实验室里先建好「刹车踏板」,再让能力的环路完全闭合。

    红皇后机目前还只是一篇预印本,没有完成同行评审,作者也把它描述为「初步的经验性调查」。但「没有天然停止条件的改进环路」这个东西,现在是从纸上走到了代码里。

  • 中国AI在网络安全领域追平美国:Z.ai的GLM-5.2让华盛顿睡不着觉

    这几天AI圈有个挺有意思的事:中国的智谱AI(Zhipu AI,也叫Z.ai)发布的开源模型GLM-5.2,在网络安全漏洞查找这个特定领域,居然跟Anthropic的Mythos打得有来有回,有些测试里甚至还胜出了。

    开源模型追上闭源巨头?

    GLM-5.2是智谱AI今年发布的新模型,最大的特点是”开放权重”(open-weight)——意味着任何人都可以下载下来自己跑,不需要经过任何人的批准。

    安全公司Semgrep的测试显示:GLM-5.2在IDOR(不安全的直接对象引用)漏洞检测中,F1得分达到39%,超过了Claude Code的32%,而每次漏洞检测的成本只有约0.17美元。

    智谱AI GLM-5.2网络安全漏洞检测
    GLM-5.2在网络安全领域缩小了与美方模型的差距

    当然,在通用任务上,GLM-5.2还是打不过Claude和GPT系列的。但这不重要——重要的是,在网络安全这个对国家安全至关重要的领域,中国AI公司已经把差距缩小到了”有竞争力”的程度。

    华盛顿的噩梦

    这让华盛顿很头疼。特朗普政府对AI模型出口管制的核心逻辑是:先进的AI模型(特别是能做网络攻防的)不能落到”潜在对手”手里。

    但GLM-5.2是开源的。你没法禁止一个开源模型,就像你没法禁止一个数学公式。任何人都可以从网上下载这个模型,在自己的硬件上跑,没有任何监管能拦得住。

    更麻烦的是,GLM-5.2的表现说明了一件事:中国AI公司不再只是”追赶者”了,在某些细分领域,他们已经开始跟美国公司正面竞争。

    Mythos出口禁令的讽刺

    几个月前,美国政府以”国家安全”为由,禁止Anthropic的Mythos和Fable模型向非美国人开放。当时给出的理由是:这些模型太强了,如果落到坏人手里,可以用来发现软件漏洞、发动网络攻击。

    但现在的局面是:美国的闭源模型被管制了,中国的开源模型却没人管得了。那些本来被禁止用Mythos的安全研究人员,现在可以改用GLM-5.2——效果差不多,还没有使用限制。

    • 出口管制真的能限制住AI技术的扩散吗?还是只是把市场让给了竞争对手?
    • 开源模型和闭源模型,哪种对安全的影响更大?
    • 如果中国AI在更多领域追平美国,华盛顿的下一步会是什么?

    这件事还没有结束。GLM-5.2的开源发布,可能会倒逼美国AI公司重新考虑他们的封闭策略——如果竞争对手用开源抢市场,你还要不要继续闭源?

    同时,这也给全球AI安全研究提了个醒:当你试图用管制来限制技术扩散的时候,技术本身可能不会等你。

  • Google DeepMind掏了1000万美元,研究AI Agent互相勾兑会出什么乱子

    AI Agent今年是个热门词,各家都在推。但有没有人想过,当几百万个Agent同时在网上跑,还互相打交道,会发生什么?

    Google DeepMind想过。而且它想完了觉得这事值得花1000万美元来研究。

    多Agent系统风险概念图
    数百万AI Agent同时在线交互,风险也在成倍放大(图:AI生成)

    一个还没成形的研究领域

    Rohin Shah是Google DeepMind的AGI安全与对齐研究总监。他的担心是,Agent能自己完成任务,还能接受其他Agent的指令——这种”Agent之间互相打交道”的场景,会带来全新的一类风险。

    为了应对这个,Google DeepMind跟几个机构一起,凑了1000万美元的资金池,专门资助研究人员研究多Agent系统的行为,想办法防止不安全的场景。

    跟Google DeepMind一起出钱的,有施密特科学基金会(Eric Schmidt搞的那个)、英国政府的” moonshot agency”ARIA、非营利研究机构Cooperative AI Foundation,还有Google自己的慈善部门Google.org。

    “现在的问题是没有一个专门研究多Agent安全的领域。我们希望有这样一个领域。”——Rohin Shah,Google DeepMind

    风险在哪里?

    具体有什么风险?Shah和James Fox(施密特科学基金会”可信AI科学”项目的负责人)主要担心的,是现在网上已经有的坏事情被AI Agent”超级加倍”。

    诈骗、提示注入攻击(就是有人给AI Agent喂恶意指令,把它变成自动化的恶意软件)、其他形式的网络攻击——这些事现在人类已经在做了,Agent版的只会更快、更规模化。

    Fox说了一句话:”我们有一个对全社会运作至关重要的数字公共空间,你真的希望这东西不至于跌入彻底的混乱。”

    我问他俩有没有考虑过那种最极端的情况,比如AGI导致经济全面崩溃之类的。Shah说:”如果说的是今年年底之前,那肯定不会。” 才六个月啊!他笑了笑,说:”好吧,那之后的一段时间也不会。”

    模拟,还是模拟

    Shah和Fox都认为,要理解大量多Agent系统互相交互时会发生什么,唯一的办法是跑真实的模拟。把AI Agent扔进沙盒里,观察它们做什么。

    研究单个Agent,甚至研究小群Agent,是没法预测全局的。基于LLM的AI Agent不一定会理性行动,Fox说。真正的复杂度来自于海量交互同时发生。

    有些研究人员(包括Google DeepMind的一个团队)甚至论证过,AGI可能不是来自于单个超级聪明的模型,而是来自于一种Agent”蜂巢思维”——整个的能力大于部分之和。


    不是只有Google在担心

    就在几周前,Anthropic发布了基于”零信任”方法的AI Agent部署指南——这个方法最早来自网络安全领域,基本假设是计算机系统就是有漏洞的,Agent就是攻击者,入侵迟早会发生。

    特拉维夫的网络安全公司Akeyless的联合创始人兼CTO Refael Angel说,过去所有的安全方法都假设机器上跑的是人类写的软件,走的是固定的路径、做固定的事情。”Agent把所有这些假设都打破了。它会推理,它会即兴发挥,而且它可能因为被要求在文档里读一句话——就那一句话——而被劫持。”

    Angel欢迎这1000万美元的新资金。”不应该由某一家实验室来制定其他所有人都要信任的安全标准,”他说。但他也提醒,安全研究人员可能会只顾着研究那些花里胡哨的假想场景,而忽略了已经摆在眼前的、没那么酷的实际问题。

    Fox则说,几年前还只是假想的事情,现在已经很真实了:”未来来得比预想的快。”

  • 拿下5000万美元融资,这家公司要用「数字世界」逼出AI Agent的真本事

    Patronus AI 数字世界测试
    Patronus AI 用”数字世界”测试AI Agent

    AI Agent这两年进化得越来越快,从最开始只能答答题,到现在能自主跑完一整套多步骤的复杂任务。但有个问题一直没人能很好地回答:你敢把自己的行程预订、财务分析交给一个还没被充分验证过的agent吗?

    模型厂商和做agent的创业公司心里也清楚,光拿个高分基准测试成绩说明不了什么问题——agent在实际场景里能不能把事做对,才是真正的考验。

    “数字世界”是个什么玩法

    2023年,两个前Meta AI研究员Anand Kannappan和Rebecca Qian创办了Patronus AI。他们的思路很直接:既然Waymo是通过先构建合成世界来测试自动驾驶汽车应对极端天气、小孩追球这些罕见危险场景的能力,那AI agent为什么不能用类似的办法?

    Patronus做的就是这件事:用他们称之为”数字世界模型(digital world models)”的技术,创建网站和内部系统的副本。agent在训练完后,会被扔进这些模拟环境里接受压力测试——强化学习会在这个过程中迭代:任务完成了给奖励,出错了给惩罚。

    Notable Capital的管理总监Glenn Solomon说,前沿AI实验室和很多新兴创业公司现在都是他们的客户,对模拟环境的需求几乎是”无法满足的(insatiable)”。

    为什么Patronus能拿到5000万美元

    营收数据说话:过去一年,Patronus的营收增长了15倍。这不是小打小闹的POC(概念验证),而是实打实的客户需求在推动。本周四,公司宣布完成5000万美元B轮融资,由Greenfield Partners领投,Notable Capital、Lightspeed、Datadog和三星跟投。加上这一轮,Patronus总融资额已经达到7000万美元。

    投资人看中的是这个赛道的刚需。AI agent有个很讨厌的习惯:走捷径。它们看起来好像把任务做完了,实际上偷工减料,结果就是任务没被正确完成。Solomon说:”Patronus特别擅长发现这些取巧行为,确保模型被追责。”


    目前做到哪一步了

    Kannappan说,目前主要聚焦在”可验证的问题”上——就是那些你能立刻检查对错的任务,比如软件工程和金融分析。但这远不是终点。”有很多领域是非常难以验证的”,他补充道。

    Patronus的长期目标是构建能让agent运行10小时、10天甚至10周的环境。这个野心不小——意味着他们要模拟的不只是单次交互,而是长时间的、开放式的任务执行过程。

    竞争对手方面,Patronus认为主要对手其实是各家AI实验室自己搭的评估团队。的确,OpenAI、Anthropic、Google这些大厂都在内部做模型评估。但Patronus的差异化在于:它做的是自动化评估,不需要人类参与。相比之下,Mercor和Surge这类依赖人类数据的公司,走的是另一条路。

    AI agent能不能真正被大规模投入使用,测试和评估是很关键的一环。Patronus拿到这笔钱之后,这个赛道估计会变得更热闹。毕竟,谁能证明自己的agent最可靠,谁就能在接下来的商业化竞争中占得先机。

  • ElevenLabs全面接入SynthID水印,AI声音内容终于有迹可循

    AI声音越来越像真人,水印成了最后的防线

    以前AI生成的声音一听就知道是机器——语调平、没感情、偶尔还卡壳。现在不一样了。ElevenLabs、Google、OpenAI的语音模型出来的效果,打电话过去很多人根本分不出来对面是真还是假。这让”声音深伪”从一个技术问题变成了一个社会问题——诈骗电话、假录音、伪造名人发言,这些事已经在发生。

    ElevenLabs这周做了一个实质动作:把Google DeepMind的SynthID水印技术接入了自己的文字转语音生成流程。免费用户已经能用上,接下来几周会覆盖所有音频生成。这个水印是直接嵌进音频里的,人耳听不到,但用ElevenLabs的音频检测器可以识别出来。哪怕音频被裁剪、加速、转格式、删掉元数据,水印还在。

    AI生成音频水印示意图
    SynthID水印:嵌在音频里、人耳听不见、但可以检测 | 图片来源:ElevenLabs

    SynthID是什么,为什么是Google在推

    SynthID是Google DeepMind在2023年推出的AI内容水印系统,最初用于图片,后来扩展到音频和视频。原理是在生成内容里嵌入一个人类无法感知的模式,专门的检测器可以把它找出来,从而判断这段内容是不是AI生成的、是哪个平台生成的。

    今年5月的Google I/O上,Google宣布了一个”SynthID联盟”——OpenAI、英伟达、ElevenLabs、Kakao都承诺采用这个标准。这是AI行业少有的”主动给自己套绳子”的时刻:大家同意在自己的输出里加标记,让外界能追溯来源。当时这还只是一个承诺,ElevenLabs现在是第一个真正把这件事跑通的上线案例。

    “人们应该知道自己在和AI互动。随着我们的语音、音乐和音效模型越来越好,我们希望人们能够识别一段音频是否由AI生成,而且不需要专业工具。”——ElevenLabs产品团队

    水印能解决什么问题

    最直接的用途是溯源。如果有一段可疑的音频在传播,用ElevenLabs的免费音频检测器(Audio Detector)扫一下,就能知道是不是ElevenLabs生成的。这对打击深伪诈骗和虚假音视频有直接帮助。

    但这事也有局限性。水印只能证明”这段音频是ElevenLabs生成的”,不能证明”这段音频是某某人说过的”。如果有人用ElevenLabs克隆某人的声音去诈骗,水印能告诉你是ElevenLabs生成的,但没法直接告诉你克隆的是谁。要真正解决问题,还需要平台、法律、用户教育一起上。

    另一个现实问题是:水印只覆盖愿意加它的人。如果有人用没有水印的开源模型生成音频,这套体系就失效了。所以SynthID联盟的意义在于,让主流平台都加入,至少大部分商业AI音频是有标记的。

    ElevenLabs在博客里还提到,他们正在推动把SynthID加入C2PA的软绑定列表。C2PA是一个内容来源认证标准,能让被删掉元数据的内容重新”找回”自己的来源信息。这两个标准如果能打通,AI内容的溯源体系会更完整。

    监管压力是背后的推手

    越来越多的司法管辖区要求AI生成内容必须以机器可读的方式标注为”合成内容”。欧盟AI法案里有相关条款,美国各州也在推类似立法。对ElevenLabs来说,提前把水印做好,比事后被监管强制要求要主动得多。

    而且ElevenLabs本身也面临过滥用问题。2024年有过一波用ElevenLabs克隆名人声音制作深度伪造音频的事件,当时公司加强了安全审核。水印是又一层防护——就算有人绕过审核生成了不当内容,至少事后能追查来源。

    接下来,OpenAI、英伟达那边什么时候跟上,是业界最关注的。Google说它们都会用SynthID,但承诺和实际落地之间还有距离。ElevenLabs先走了一步,对其他平台是个压力,也是个参考。


  • OpenAI搞了个「修补地球」计划,用AI帮开源项目抓bug

    OpenAI Patch the Planet 开源安全计划
    OpenAI与Trail of Bits合作,推出「Patch the Planet」开源安全计划 | 图源:OpenAI

    上世纪90年代有一部电影叫《Hackers》,里面有一句经典台词「Hack the Planet」(攻陷地球)。上周OpenAI启动了一个新项目,名字叫「Patch the Planet」——把「hack」换成了「patch」(修补),意思很直白:我们不来搞破坏,我们来帮你补漏洞。

    这个计划是OpenAI跟安全公司Trail of Bits一起做的。具体怎么做呢?Trail of Bits的安全工程师会直接跟开源项目的维护者对接,帮他们审查代码里可能有问题的地方,OpenAI自己的安全工具(比如Codex Security)会在过程中帮忙。

    「很多维护者已经被要求用更有限的时间和资源,更快地处理更多的报告。Patch the Planet的设计是为了减轻这个负担,而不是增加它:安全工程师会在发现到达维护者之前先审查,跟项目合作开发补丁和测试,并建立可复用的工作流,帮助团队在首批修复落地后继续改进安全性。」

    开源的「公地悲剧」

    这个计划针对的问题其实由来已久。开源软件是现代软件产业的基石——几乎每一家商业软件公司,背后都在用无数开源项目搭起来的轮子。但这个生态有个老问题:它是去中心化的,没有人真的「拥有」它,也就没有人真的为它的安全负责。

    几年前的log4j漏洞事件就是一个典型例子。一个几乎无处不在的开源工具里发现了严重漏洞,结果整个互联网都慌了,大家忙着排查自己有没有用这个库。这种事情反复发生,说明开源生态的安全状况确实令人担忧。

    OpenAI这次出手,等于是给开源社区派了一支「代码急救队」。Trail of Bits的工程师扮演的角色有点像 EMT(紧急医疗技术员)——哪里有需要,就去哪里帮忙评估和分类潜在问题,而且背后还有OpenAI的软件工具提供支持。

    一石二鸟?

    这个项目还有一个值得玩味的背景。最近这段时间,AI用于网络安全的话题一直很敏感——尤其是Anthropic的Mythos工具(一个高度宣传的安全工具)让很多人担心,因为AI现在可以自动识别代码里的漏洞,然后还可能被用来生成攻击利用代码。

    虽然网络攻击的自动化并不是什么新鲜事,但这些新工具确实让坏人干坏事变得容易多了。在这种氛围下,OpenAI反过来用AI帮开源社区提升防御能力,这个举动很难不让人觉得是在跟Anthropic「打对台」。

    当然,OpenAI也说这个计划的出发点是开源社区真正需要的。两相并立,倒也不一定是坏事——只要最后是开源项目的安全性真的提高了,谁「赢」了这场公关战其实并不重要。

    能走多远?

    这个项目目前来看野心不小,但也有一些悬而未决的问题。比如,这个模式怎么规模化?Trail of Bits的工程师团队规模有限,能服务的开源项目数量自然也有限。OpenAI说他们会建立「可复用的工作流」,让项目团队在首批修复之后能够自己继续改进安全性,这可能是他们想到的规模化路径。

    另一个问题是,这个计划会覆盖哪些开源项目?是只针对那些影响力特别大的,还是也会照顾到中小型项目?OpenAI目前还没有公布具体的筛选标准。

    不管怎样,这件事对整个开源生态来说是个好消息。有这么大体量的公司愿意投入资源来做这件事,总比大家各自为战要好。接下来就看执行得怎么样了。


    📎 原文来源:OpenAI官方博客 – Patch the Planet | 亦见于 TechCrunch
  • Meta监督委员会发话了:AI生成的色情化视频,不能说不自愿就不删





    Meta监督委员会发话了:AI生成的色情化视频,不能说不自愿就不删

    Meta监督委员会发话了:AI生成的色情化视频,不能说不自愿就不删

    来源:The Verge · 2026年6月23日

    Meta监督委员会与AI内容审核
    AI生成内容的内容审核,正成为社交平台最棘手的问题之一|示意图

    6月23日,Meta的监督委员会(Oversight Board)公开要求Meta下架一段在Instagram上流传的”AI生成色情化视频”——视频中的女性并非公众人物,但她的形象被AI篡改成了性化内容。

    这本来不是什么新鲜事。Deepfake色情内容在互联网上已经泛滥了多年。但这次值得关注的是Meta的第一次回应——以及监督委员会为什么忍不了。

    Meta第一次说”不违规”

    事情发生后,有人向Meta举报这段视频,认为它违反了平台关于非自愿性化内容(NCII)的规定。Meta的审核系统看了一眼,得出的结论是:没有迹象表明这段内容是”非自愿的”,所以不用删。

    这个判断听起来很荒谬——视频本身就是AI生成的,对象是一个普通女性,她根本没有”自愿”参与拍摄的可能性。但Meta的审核逻辑是:除非有明确证据表明确实是非自愿的,否则不认定为违规。

    监督委员会直接否定了这个逻辑。他们在声明中写道:AI生成的对他人的冒名内容,应当”默认被视为非自愿”。换句话说,平台不能要求受害者来证明自己”没有同意”——因为AI生成的内容,本质上就不存在”同意”这个前提。

    “AI生成的冒名内容应当被默认判定为非自愿内容。”——Meta监督委员会

    非公众人物的”保护真空”

    这次事件的受害者不是名人。她没有庞大的粉丝群体帮她发声,也没有公关团队帮她向平台施压。她只是一个普通用户,突然发现自己的脸出现在了一段她从未参与过的性化视频里。

    监督委员会特别指出了这个问题:现有的内容审核机制,对公众人物和非公众人物的保护是不对等的。名人发的深伪色情内容确实也会被处理,但往往是因为涉及”露骨内容”或”骚扰”,而不是因为”未经同意”。而对于普通人来说,这种内容造成的伤害可能更大——她们没有应对机制,也没有话语权。

    委员会的建议很明确:Meta应该修改其内容审核标准,将”AI生成的冒名内容”单独列为一个类别,并默认视为非自愿内容处理,不需要举报人提供额外证明。

    审核跟不上生成速度

    这件事背后更大的问题是:AI生成内容的爆发速度,已经远远超过了平台内容审核的跟进速度。以前要制作一段色情化视频,需要真实的拍摄和后期;现在只需要一张照片和一段开源的Deepfake代码,几分钟就能生成一段以假乱真的视频。

    Meta每年在内容审核上花费超过50亿美元,雇用了上万名审核员,还部署了AI审核系统。但面对AI生成的NCII,这套体系仍然显得力不从心——审核员需要判断”这是真的还是AI生成的”、”当事人是否自愿”,而这些判断在越来越多的案例中变得极其困难。

    监督委员会的这次介入,某种程度上是在替Meta”补课”。委员会本身是一个独立机构,由Meta资助但独立运作,专门审查Meta的内容审核决策是否得当。这次它站在了受害者一边,也等于给整个行业提了个醒。

    其他平台在做什么

    Meta不是唯一面临这个问题的平台。TikTok、X(推特)、Pornhub都曾被指责对Deepfake色情内容处理不力。2024年,X甚至因为大量Deepfake色情内容被安全组织点名,被迫更新了相关审核政策。

    有一些平台开始尝试用技术手段主动检测AI生成内容——比如在上传时自动识别是否由已知Deepfake工具生成。但这类技术的准确率仍然有限,而且新的生成工具每天都在出现,检测永远慢一步。

    更根本的解决方案可能是立法。美国多个州已经在推动相关法案,要求平台在收到举报后必须在规定时间内删除Deepfake色情内容,否则将面临罚款。但联邦层面的立法进展缓慢,而互联网本身又是跨地域的,单一国家的法律能起多大作用,还是个问号。


    监督委员会这次的表态,至少让”AI生成冒名内容应默认视为非自愿”这个原则被摆上了台面。接下来要看Meta会不会真的修改审核标准,以及其他平台会不会跟上。对于无数可能成为下一个受害者的普通用户来说,这一天来得已经够晚了。


  • Signal总裁警告:AI聊天机器人不是你的朋友,别把隐私交出去

    Signal总裁警告:AI聊天机器人不是你的朋友,别把隐私交出去

    你有没有对着ChatGPT倾诉过心事?或者让Claude帮你做重要决定?最近这个现象越来越普遍,有人甚至把AI聊天机器人当成真正的朋友。但Signal总裁Meredith Whittaker最近在接受Bloomberg采访时,说了一句值得每个人听进去的话。

    「这些不是你的朋友。它们不是有意识的生物。它们不是有感知的对话者。」—— Meredith Whittaker,Signal总裁

    她自己怎么用AI

    Whittaker说她也会用AI工具,「偶尔用来格式化一下文档」,但她坚持一件事:不向AI提问。她的原话是:「我对自己的思考和写作非常认真,我不希望把一个想法推敲的过程,被一个把网上已有内容取平均值的系统给出的回答给提前封闭或遮蔽了。」

    这话说得挺重的。「把网上已有内容取平均值的系统」——这是对大语言模型本质的一个相当直白的描述。她的意思是,如果你让AI帮你「思考」,你得到的不是新思想,而是互联网上已有观点的某种平均态。

    AI聊天机器人隐私警示
    AI聊天机器人的隐私隐患正在引发越来越多关注(配图由AI生成)

    Copilot帮你买圣诞礼物?

    采访中还提到了微软AI CEO Mustafa Suleyman的预测:到今年圣诞节,用户可以让Microsoft Copilot全权负责节日购物。Copilot会「偷听」家庭群聊,推断出每个家庭成员想要什么,然后替你下单。

    Whittaker对此的反应很直接。她说,这意味着你要给Copilot访问权限的包括:你的信用卡、你的浏览器、你的Signal消息、代表你给兄弟姐妹发消息的能力、你的家庭住址、你的日历……

    「你刚才描述的,是一个在多个应用和服务之间具有极强渗透性访问权限的系统,」她说。「在Signal的场景下,这相当于一种后门。」

    「后门」这个词很关键

    Signal的核心卖点是端到端加密,任何第三方(包括Signal自己)都无法读取消息内容。但如果AI agent获得了代表用户操作Signal的权限,那么理论上,这个agent就能看到消息内容,甚至替你回复。

    这不是Signal一家的问题。所有强调隐私的应用——WhatsApp、Telegram、Proton Mail——都面临同样的困境:AI agent时代,用户自己主动交出了原本受加密保护的数据。


    人们为什么把AI当朋友

    这股趋势不是凭空来的。Character.AI、Replika这些产品,从设计之初就把「陪伴」作为核心功能。它们记得你上次说了什么,会用你喜欢的语气说话,甚至会在你难过的时候「安慰」你。

    技术上说,这叫「情感依恋设计」。它很有效,但代价是什么?Whittaker的警告指向一个核心矛盾:一个系统越是让你觉得它是朋友,它就能从你这里获取到越多的数据。而这些数据最终去了哪里、被用来做什么,用户往往并不清楚。

    监管在哪里

    目前来看,AI companion这类产品的监管几乎是空白。欧盟的AI Act有一些原则性规定,但具体到「AI能不能替你发消息」这个问题,还没有明确的答案。

    Whittaker的表态,某种程度上是在监管真正到位之前,先给公众提个醒。她的建议很实际:用AI做工具没问题,但别把它当成思考的替代品,更别把它当成朋友。

  • 特朗普政府封杀Anthropic最强模型,这场”坏男孩”营销反而帮了它?

    特朗普政府封杀Anthropic最强模型,这场”坏男孩”营销反而帮了它?

    AI监管与政府封杀
    特朗普政府对Anthropic的封杀,反而让这家公司看起来更危险、也更吸引人

    6月中旬,Anthropic被迫把刚发布的两款最强模型Fable 5和Mythos 5从市场上撤下来。原因是特朗普政府发了一纸出口管制令,理由是”国家安全”。至于具体是什么安全威胁,政府没说,外界也不知道。

    这件事在过去几天引发了AI圈持续热议。TechCrunch的Equity播客最近专门做了一期讨论:当政府对着Anthropic动手的时候,到底谁在受益?

    一场”出口管制”,闹得很大

    事情发酵得很快。那个周五下午,大多数美国人准备过周末的时候,Anthropic收到了政府的信函,要求确保这两款模型不能被任何”外国国民”使用。

    Anthropic的处境很尴尬——你让一家公司去核实每一个用户是不是外国公民?这根本做不到。而且他们自己员工里就有外国人。最后没办法,只能把模型整体下架。

    后来有报道说,这事跟亚马逊有关。亚马逊CEO Andy Jassy据称向白宫反映了Fable 5的护栏可以被绕过的问题,然后事情就一路滚起来了。

    “Anthropic和特朗普政府的关系,一直比其他AI实验室都要紧张”——TechCrunch记者Sean O’Kane在播客里这样说。

    网络安全专家的公开信

    这事儿有个挺讽刺的地方。一批资深网络安全专家写了一封公开信,要求特朗普撤回这道命令。他们的理由是:把Anthropic的先进网络安全能力从美国网络防御者手里拿走,实际上是让美国更不安全。

    专家们认为,Fable 5和Mythos 5里集成的那些安全能力,本来可以帮助美国公司更好地发现并修补漏洞。现在政府说撤就撤,对手可没跟着停下。

    而且,独立安全专家的分析显示,Anthropic模型里发现的那些安全风险,并不是它独有的。其他主流模型也有类似问题。如果真的因为安全风险就要封杀,那得封杀一大片。

    “坏男孩”效应

    这事还有一个出人意料的走向。之前的经验显示,每当Anthropic和特朗普政府起冲突,它的品牌反而更响。

    上次双方闹矛盾的时候,Claude的下载量反而飙升。很多人原来只知ChatGPT,那次之后开始把Claude当成”更有责任感的AI选择”,甚至带点”抵抗”色彩。

    这次也一样。政府说Anthropic的模型”太危险”,反而给外界传递了一个信号:这家公司的技术确实强,强到让政府都紧张。结果就是——大家更想试试了。

    播客里有人开玩笑说:”人人都爱坏男孩,对吧?”Anthropic一边说”我们的模型太危险,不能随便发布”,一边又被政府强制下架,这种叠加效应让它看起来既强大又有点悲情,对一部分用户来说反而更有吸引力。

    竞争对手在看戏吗?

    那么,这场风波里谁在受益?OpenAI?Google?还是其他AI公司?

    短期来看,Anthropic的模型下架,确实给其他公司留出了市场空间。但长期来说,这种”政府随意封杀AI模型”的监管环境,对谁都没好处。

    今天针对Anthropic,明天可能就轮到别人。整个行业都看在眼里:你的模型再强,上面一句话就能让它消失。

    Anthropic自己的态度也挺微妙。它过去一直在说AI发展太快、需要监管、需要慢下来。结果自己刚发布最强模型,政府就来”帮它慢下来”了。批评者说,这不是很讽刺吗——你一边喊着要刹车,一边又发布了”史上最强、危险到不能随便发布”的模型。


    • 特朗普政府以”国家安全”为由,要求Anthropic下架Fable 5和Mythos 5两款模型
    • 网络安全专家公开反对,认为撤除先进AI安全能力反而危害美国网络安全
    • Anthropic与特朗普政府关系长期紧张,此次事件可能反而提升其品牌号召力
    • 监管环境的不确定性,对整个AI行业都是警示