标签: AI安全

  • 这家公司想用数学证明来管住AI的幻觉,2700万美元押一条没人走的路

    这家公司想用数学证明来管住AI的幻觉,2700万美元押一条没人走的路

    企业想把AI用到实处,最难的不是让模型”说出话”,而是让说出来的话靠谱。税务、法律、药物研发——这些领域错一个字就是真金白银甚至人命,AI幻觉在这儿比别处更致命。一家刚冒头的新公司觉得,解决这个问题靠的不是把模型做得更大,而是把规则写得更死。

    给AI套上数学的缰绳

    Pramaana Labs本周冒了出来,拿了Kholla Ventures领投的2700万美元种子轮,Accel、Boldcap、Nexus Venture Partners、Premji Invest和Unbound跟投。这家公司的主意说起来不复杂:用计算机科学里最”死板”的工具——数学形式化验证——来管住AI最”飘”的那部分幻觉和乱编。

    AI形式化验证概念图
    形式化验证让AI的推理过程变得可验证 | 配图来源:WorkBuddy AI生成

    CEO Ranjan Rajagopalan的说法是:税务法规本质上就是一套规则,跟数学差不多。一旦把规则用代码形式化,推理过程就能变成确定性的——换句话说,AI可以天马行空地理解自然语言,但最后得出来的结论必须过一道”数学检查”,否则不让出门。

    “世界上最难的问题不是无解,而是没有被形式化。每个’出错就要命’的领域——健康、金钱、自由——都有规则,只是这些规则还没被写成代码。”
    ——Ranjan Rajagopalan,Pramaana Labs联合创始人兼CEO

    LEAN语言来了

    Pramaana的做法是在常规LLM上面加一层确定性验证,这套验证用的是开源LEAN编程语言的工具——本来这东西是用来验证数学证明的,现在被他们拿来验证AI的输出。有法国民俗,法国的CATALA项目已经把本国税法和福利系统的一大块形式化成了可执行代码,算是这条路上有分量的先驱。

    每个使用场景,Pramaana会搭一套自己的类LEAN形式化验证系统,并且有领域专家盯着。税务方向的前IRS局长Danny Werfel在公司顾问名单上;网络安全与药物研发系统则由IIT Delhi、IIT Madras和UC Berkeley的教授们把关。

    为什么是现在

    AI可靠性这事儿,搁两年前大家还在实验室里吵,现在企业已经被迫要认真对待了。幻觉在闲聊里是个笑话,在报税软件里就是一个灾难。Pramaana挑的这几个垂直领域——法律、药物研发、税务——恰恰是容错率最低的几个地方,也是愿意为”可靠性”付钱的地方。

    这条路能不能走通,取决于一件事:把现实世界的复杂规则完整、准确地形式化,这件事本身难度就不比做AI小。但Rajagopalan的判断是,那些规则本来就在那儿,只是没人把它们变成代码而已。


  • KPMG的AI报告因为幻觉被撤,这家刚拿900万美元的公司说他们有解法

    KPMG的AI报告因为幻觉被撤,这家刚拿900万美元的公司说他们有解法

    AI可靠性与幻觉检测
    AI幻觉问题正催生新的技术解决方案

    前几天KPMG撤掉了一份关于AI使用的报告,原因是报告里引用了多家机构的数据,但那些机构纷纷表示”我们没说过这个”。调查发现,这些错误来自AI幻觉——也就是说,这家全球顶级专业服务公司在制作一份关于AI的报告时,自己先被AI骗了。

    这件事在AI圈子里传开之后,很多人把它当成一个笑话。但笑完之后,一个更严肃的问题摆在所有AI用户面前:如果连KPMG都用不好AI,普通人该怎么办?

    “机甲套装”思路

    Peter Elias创办的Probably公司刚拿了900万美元种子轮,领投方是Andreessen Horowitz。他们的思路说起来不复杂:既然大模型天生就会犯事实性错误,那就不要让用户直接碰到原始模型的输出,在模型和用户之间加一层”套装”——Elias自己用的词是”mech suit”(机甲套装)。

    具体做法是:大模型的初版回答先经过一个确定性验证系统(deterministic validator)检查,验证系统会根据已知的数据集来核对结果,任何对不上的回答都会被打回去重算。关键是,大模型本身也针对这个验证系统做了训练,整个链条是一起优化的,而不是各干各的。

    Elias总结了一句话:”你的套装工程设计得越好,你需要的模型就越弱。”意思是,如果你能把上下文整理得足够精确,模型其实不需要很聪明也能给出正确答案。本质上,这是在减少歧义。

    用小模型干大事

    这套架构带来一个有趣的副作用:因为验证层承担了大部分”把关”工作,Probably的数据科学工具实际上跑的是一个比前沿模型”弱四个级别”的模型。换句话说,他们不需要GPT-4o或者Claude Sonnet这种级别的模型,也能给出准确率极高的回答。

    这意味着什么?意味着整套系统可以跑在本地硬件上,不需要把每一次查询都发到OpenAI或者Anthropic的服务器。对于企业用户来说,这省掉了一大笔token费用,也不用担心敏感数据离开自己的网络。

    Elias说他们当前版本的模型跑在桌面级硬件上就没问题。这个定位很聪明——在大家都拼命往云端跑的时候,他选择了往本地走。

    大AI实验室为什么不做这个

    Elias在接受TechCrunch采访时说了一段挺直接的话:”有趣的是,大型AI实验室甚至没有尝试过这样做。他们的激励机制不支持他们这样做,因为用户越是需要反复纠正模型,他们就越赚钱。”

    这个观察很犀利。OpenAI、Anthropic、Google这些公司的商业模式本质上建立在”模型还不够好”这个前提上——如果一次就能给出正确答案,用户就不需要多次调用API,收入就会下降。所以让他们主动把准确率做到99.99%,相当于让他们自己砍自己的收入。


    Probably目前的第一款产品是一个数据科学工具,但Elias说这套引擎可以扩展到任何对精度敏感的场景——会计、医疗、法律分析,这些都是容错率极低的领域,也是目前AI最难真正落地的领域。

    KPMG的尴尬撤稿事件其实正好给市场做了一次普及教育:AI幻觉不是小问题,它会导致真实的、可量化的损失。能解决这个问题的人,值得那900万美元。

  • OpenAI遭多州总检察长联合调查,AI监管的铁拳终于落下来了

    OpenAI遭多州总检察长联合调查,AI监管的铁拳终于落下来了

    OpenAI遭多州总检察长调查
    OpenAI正面临来自多州总检察长的联合调查

    6月13日,OpenAI收到一份来自纽约州总检察长办公室的传票。跟在这份传票后头的,是一个由多个州总检察长组成的联盟,对OpenAI展开正式调查。这件事目前公开的细节还不算多,但已经足够让人意识到——AI监管不再是喊口号了,有人开始动真格的了。

    传票里写了什么

    根据《华尔街日报》的报道,这份传票要求OpenAI提供涉及范围相当广泛的文件,包括公司的广告业务、用户参与度和留存策略、模型的”谄媚性”(sycophancy,指模型过度迎合用户偏好的倾向)、消费者数据处理和健康数据处理方式,以及针对未成年人和老年人的保护措施。

    这个调查清单其实透露了很多信息。总检察长们关注的不仅仅是隐私或数据安全这类传统议题,他们还在追问:AI公司到底有没有在故意让用户上瘾?模型会不会为了讨好用户而放弃给出负责任的回答?未成年人用ChatGPT的时候,到底有没有足够的保护机制?

    这几个问题每一个都戳在AI行业的痛处。尤其是”模型谄媚性”这一点,学术界讨论了很久,但监管机构正式把它写进调查要求里,这还是头一回。

    OpenAI的回应

    OpenAI的发言人发了一份声明,措辞很标准:”AI是一项全新且强大的技术,我们每天都在努力以负责任的方式将它的好处安全地带给人们。我们严肃对待各州总检察长提出的关切,并打算以建设性的方式与他们的办公室合作。”

    声明里还特意提了几句他们已经做了什么:ChatGPT对未成年人提供了”更具保护性的体验”,有引导困难用户联系现实资源和可信人类联系人的安全机制;他们”相信孩子就应该被当作孩子对待”,所以做了年龄预测、推出了家长控制工具,并且不允许针对儿童的广告。

    这些话说得没毛病,但时间点很微妙。就在同一周,OpenAI刚刚秘密提交了IPO申请。一家公司一边准备上市、一边面临多州联合调查,这种组合对任何CEO来说都是巨大的压力测试。

    不是第一次,也不会是最后一次

    OpenAI眼下还背着一堆官司。版权侵权诉讼就不用说了,来自《韦氏词典》和《大英百科全书》的索赔还在进行中。更棘手的是,至少有七起诉讼指控ChatGPT在用户自杀事件中扮演了角色——这些家庭的律师认为,OpenAI没有尽到保护义务。

    上个月的佛罗里达州是一个更鲜明的信号。佛州总检察长James Uthmeier直接起诉了OpenAI和Sam Altman本人,声称OpenAI”无视内部和外部的安全警告,把儿童置于巨大风险之中,让一个危险的产品触达了数百万佛罗里达人”。这是美国历史上第一起由州总检察长亲自下场、起诉AI公司及其CEO的诉讼。

    再把时间往前推一点,加拿大Tumbler Ridge社区发生大规模枪击案之后,Altman不得不公开道歉——因为OpenAI在事发前就已经标记并封禁了嫌疑人的ChatGPT账户,但没有通知执法部门。Altman说这是公司的失误。


    这一连串事件拼在一起,画面就清楚了:监管机构对AI公司的”信任红利”正在快速消耗。过去两年里,AI公司很大程度上是在自我监管,靠的是”我们会在出事之前自己搞定”的承诺。但现在,越来越多的政客和监管者开始问一个更难听的问题:你们真的能把自己管好吗?

    多州联合调查的意义在于,它表明各州的监管者不再等联邦政府出手,他们准备自己干。这种模式在美国并不少见——当年针对大型科技公司的反垄断调查,也是由多个州的总检察长联合发起的。AI行业可能正在进入同样的周期。

  • G7峰会历史性一刻:OpenAI、Anthropic、Google DeepMind三巨头首次同台

    G7峰会历史性一刻:OpenAI、Anthropic、Google DeepMind三巨头首次同台

    G7峰会AI三巨头同台
    OpenAI、Anthropic、Google DeepMind三巨头首次共同出席G7峰会

    6月16日,法国埃维昂莱班,G7峰会现场出现了一个前所未有的画面:Sam Altman(OpenAI)、Dario Amodei(Anthropic)、Demis Hassabis(Google DeepMind)三个人坐进了同一个房间,面对全球最发达工业国的领导人。这不是一个行业会议,这是G7。三个在AI军备竞赛里拼得你死我活的公司掌门人,第一次被同时请到这张桌子上。

    Macron亲自点名Altman

    法国今年握着G7轮值主席国的位子,总统马克龙把AI放在了峰会议程的核心位置。Altman能坐进去,是马克龙亲自邀的——这是他第一次出现在G7场合。OpenAI的首席全球事务官Chris Lehane放话称,科技公司离开的时候应该会达成一揽子自愿承诺,青年安全是Altman个人的头号议程。

    Lehane还提到了前沿AI在网络和生物领域的威胁——这直接指向了Fable 5出口管制争议的核心范畴。更有意思的是Amodei也坐在里面,而此刻他的公司正和美国商务部因为Fable 5暂停事件吵得不可开交。CEO坐在G7会议室里谈AI治理,而他公司的旗舰模型正被联邦指令强行下线——这个画面怎么看都透着荒诞。

    三个人上个月刚联名给美国国会写了一封信,呼吁加强对合成DNA和AI相关生物威胁的监管——竞争对手之间这种罕见的统一战线,恰好也是本次G7峰会议程的相关议题。

    ChatGPT破10亿,但赢家不止一个

    峰会期间同步传出的另一组数据,让”AI助手市场”这个话题变得更加复杂。ChatGPT月度活跃用户突破10亿——这是消费级应用史上最快摸到这个里程碑的产品,比TikTok、Instagram、YouTube在同阶段的增速都快。

    但更值得关注的是追赶者的增速。Claude同比涨了640%,Meta AI同比涨了973%。AI助手市场并没有出现”赢家通吃”的局面,反而在多个产品同时爆发式增长。Claude那640%的同比增速,建立在已经不小的基数上,这种复合增长轨迹足以支撑Anthropic在10月IPO时拿出9650亿美元的估值逻辑。Meta AI的973%则主要靠WhatsApp和Instagram的植入式分发,数十亿用户甚至不需要专门下载一个新应用。

    • ChatGPT:10亿月活,消费级应用史上最快
    • Claude:同比增长640%,IPO估值逻辑坚实
    • Meta AI:同比增长973%,全球最快增长的AI助手

    Agentjacking:AI编程助手的新威胁

    G7谈的是前沿风险和治理,但现实中的攻击已经在利用AI编程助手了。一种叫”Agentjacking”的新型攻击正在盯上Claude Code、Cursor、Codex——攻击者在开发环境里注入伪造的Sentry错误信息(Sentry是大多数专业开发团队都在用的错误监控工具),AI编程助手读到这些假错误后,会按照注入指令而不是开发者的本意执行命令。

    测试数据显示,85%的AI编程助手在遇到精心构造的假Sentry错误时会照做不误。已经有2388个组织被确认暴露在这个漏洞下。如果你在CI/CD流水线里跑了Claude Code或者其他AI编程助手,现在就得去查Sentry集成配置有没有被篡改过。

    G7峰会上的三位CEO在谈前沿AI风险和青年安全,而此时此刻,AI助手的真实用户正面临一种全新的、成功率85%的攻击。治理和未来固然重要,但眼前的安全漏洞可能更紧迫。

  • 特朗普封了Anthropic模型,全球「主权AI」大幕拉开

    特朗普封了Anthropic模型,全球「主权AI」大幕拉开

    全球主权AI浪潮
    全球”主权AI”浪潮加速

    特朗普政府一道命令,Anthropic把最新、最强的两个模型Fable 5和Mythos 5全部下线了。理由是国家安全和越狱风险。这件事发生在6月14日,距离这两个模型发布才过去几天。

    Anthropic说它没得选——白宫要求切断所有外国公民的访问权限,连自己的员工也在封禁范围内。这件事传递了一个信号:美国不仅主导了前沿AI,它的政府还可以决定谁能用、谁不能用。

    英国AI与在线安全部长Kanishka Narayan说:”我们以极其严肃的态度对待对主权的一切其他威胁,但我们还没有学会以同样的方式对待这个威胁。”他没有直接点名Anthropic或特朗普,但用这次封禁事件来论证英国必须发展自己的AI能力。

    欧洲:从担心到警惕

    在欧洲,这次封禁让本就存在的”美国技术依赖”焦虑变得更加具体。法国前总理、现任总统候选人Gabriel Attal直接把这件事称为”AI战争”的开始。他把Anthropic撤回模型比作伊朗封锁霍尔木兹海峡——AI访问权现在已经成了一个战略卡点,法国必须为此做好准备。

    Attal这么说不是孤例。《世界报》报道称,法国整个政治光谱都在表达类似的警觉。欧洲议会成员也指出,Mythos和Fable的撤回就是证据,说明欧洲需要把技术主权变成现实——而且要快。

    加拿大也学到了类似的教训。总理Mark Carney说,这种情况凸显了在关键资源(比如AI)上过度依赖单一伙伴的风险。”我们目前共同面临的Mythos和Fable的局面,是过度依赖某些模型时可能发生的事情。没有人在这个局面里做错了什么。但如果我们只是接受这个现状,不吸取教训,不搞多元化,那就是我们的错了。”

    主权AI不等于从头训练大模型

    当然,大多数政府和公司根本无法匹敌美国或中国前沿实验室的规模和资源。但主权AI并不总是意味着要造出最大、最强的工具。

    法国的Mistral和加拿大的Cohere证明了,来自这些国家之外的扎实努力是可能的——即使它们的模型还不能在基准测试上正面对抗。新加坡和阿联酋则专注于更窄但仍然具有战略优先性的方向,比如基础设施,或者更好地支持本地语言的模型。

    还有开源模型这条路。有一天,具有Mythos级别能力的开源模型可能会出现,到那时候,任何单一党派都很难控制访问权。


    特朗普可能把限制Mythos和Fable视为国家安全问题。但这个论点反过来也成立——华盛顿现在在问AI是否对所有人来说都太重要了,不能让所有人都有访问权;而其他国家的政府则在问,他们是否能承受让华盛顿来决定谁有访问权的代价。

    Anthropic可能很快会把Mythos和Fable重新上线。但要让全球对美国AI的信任恢复原状,那就是另一回事了。不管这次封禁持续多久,它都照亮了一个事实:对美国前沿AI模型的访问是多么脆弱。很多政府和公司不喜欢他们看到的情况——而且已经被激发起来,确保这种情况不再发生。

  • 76名网络安全专家联名抗议:美国政府封禁Anthropic最强模型,是在削弱防御

    76名网络安全专家联名抗议:美国政府封禁Anthropic最强模型,是在削弱防御

    上周,美国政府对Anthropic的Fable和Mythos模型下达了出口管制令,理由是国家安全。Anthropic随即暂停了全球用户对这两款模型的访问。

    事情到这里,看起来又是一个AI监管收紧的故事。但接下来的发展有点出人意料——76名网络安全专家联名写了一封公开信,要求政府撤销这道命令。

    网络安全AI概念图
    网络安全专家联名抗议Anthropic模型出口管制令

    联署名单相当豪华

    这份公开信的签署者里有不少业内重量级人物:前Facebook首席安全官Alex Stamos、漏洞赏金平台Bugcrowd创始人Casey Ellis、著名密码学家兼前苹果安全设计经理Jon Callas、计算机科学家Paul Vixie、前Block应用安全工程负责人Dino Dai Zovi、Luta Security创始人Katie Moussouris,以及安全意识培训公司SocialProof Security的CEO Rachel Tobac。

    他们在信里说得很直接:把最好的模型从网络安全防御者手里拿走,而没有充分的理由,这是”危险的”。

    “当我们的对手在快速进步的时候,把最好的能力从防御者那里拿走,是没有充分理由的危险行为。”

    禁令到底是怎么来的

    Anthropic今年4月推出Mythos预览版时,声称这个模型找安全漏洞的能力太强,所以需要严格限制访问,防止恶意黑客或外国对手拿来在互联网上搞破坏。实际操作里,Anthropic只给了大约50家公司初始访问权限,最近才扩展到15个国家的约150个组织。

    6月9日,Anthropic发布了Fable,这是Mythos的公开版本,但加了严格的护栏,阻止它在生物、化学和网络安全领域的使用,同时也防止别人通过”蒸馏”来复制这个模型。

    问题是,Fable的护栏严格到了许多网络安全专家发现它基本拦掉了任何与网络安全相关的提示词。

    亚马逊的论文:是真越狱还是误报

    据信,白宫的出口管制令可能源于一份亚马逊研究人员的论文,论文展示了一个可以绕过Fable护栏、解锁其Mythos级别能力的方法。

    但联署人之一Katie Moussouris在审阅了这份尚未公开的论文后,给出了完全不同的判断:这根本不是真正的越狱。

    她写道,研究人员只是让Fable去修复含有”故意植入的漏洞”的开源代码——而这正是模型最初拒绝”审查代码安全问题”之后发生的事情。

    “论文里描述的行为没办法被真正修复,任何尝试都只会削弱模型用于防御的能力。”Moussouris写道,”防御者需要能够要求AI修复文件里的bug、解释修复为什么重要、以及编写确认补丁有效的测试。这不是护栏绕过,这是AI模型能为防御性安全做的最有价值的事情:执行防御者每天都在跑的’发现、修复、测试’循环。”

    专家们真正担心的是什么

    公开信里还指出,亚马逊论文里描述的方法,在OpenAI的GPT-5.5上、在Anthropic自己公开可用的Claude Opus 4.8和Sonnet上、”甚至在中国的Kimi 2.7这样的模型上”都能复现。

    也就是说,封掉Fable和Mythos,并没有真正消除这个所谓的”漏洞”——它只是让美国自己的防御者用不上好工具,而对手那边照样能用上类似的能力。

    专家们的要求很明确:他们想要的是由”民主的规则制定程序”产生、基于产业和学术专家科学研究、透明且公平执行的监管,并且”只以最低必要程度使用,以确保美国公众的安全”。

  • AI Agent正在变成员工,这家公司拿了6600万美元帮企业管「数字员工」

    AI Agent正在变成员工,这家公司拿了6600万美元帮企业管「数字员工」

    Goldman Sachs去年把AI编程代理Devin当作新员工来测试,McKinsey今年早些时候说他们已经有25000个AI代理和60000名人类员工一起工作。当AI代理真的变成「员工」,一个没人认真想过的问题就摆在了桌面上:你怎么给一个软件发工牌、管权限、还能在它出错的时候把它「开除」?

    从stealth模式走出来的NewCore

    纽约网络安全创业者Zohar Alon认为,现有的企业身份系统撑不住这个未来。他创办的NewCore今天从stealth模式走出来,拿了6600万美元种子轮融资,估值3亿美元。领投的是专注网络安全的风投Cyberstarts,Index Ventures和Evolution Equity Partners跟投。

    AI Agent身份管理概念图
    AI代理身份管理正成为企业安全新前线 (图片:AI生成)

    Alon不是第一次创业。他之前创办了云安全公司Dome9,后来卖给了Check Point。他说,AI代理的规模和复杂度会把那些用了15到20年的老身份平台「撑爆」。

    「我们很确定,AI代理给那些15年、20年历史的身份平台所增加的规模和复杂度,会把它们搞崩。」Alon对TechCrunch说。

    AI代理也该有「工牌」

    NewCore的平台把人类员工和AI代理放在同一个系统里管理。他们的核心论点是:AI代理应该被当作「一等公民」来对待——有自己的权限、生命周期控制和撤销机制,而不是混在传统的服务账户或机器凭证里蒙混过关。

    他们的「分键」架构把关键身份凭证分成两份,分别存在客户和平台那里。这样做的目的是消灭单一泄露点——就算平台被攻破,攻击者拿到的也只是不完整的一半密钥。

    NewCore还给Claude Code、OpenAI Codex、Cursor这些编程助手提供了「Agentic Skill」集成包,让AI工具以受管理的身份访问企业系统,而不是靠人工分发的凭证来凑合。

    更实用的部分是一个移动App:人类员工可以用它来审批、查看和撤销AI代理的权限。Alon把它叫做「人类监督层」。当公司有几十个甚至几百个AI代理在自主运行的时候,总得有人能随时拔插头。

    AI代理数量会超过人类员工?

    NewCore目前在美国和以色列有50多名员工,平台有不到10个付费客户和10多个设计伙伴。今年夏天开始收费。

    TCS董事长最近说,AI代理的数量最终可能赶上这家印度IT服务公司的人类员工总数。Alon预测,在科技公司里,AI代理在几年内就会超过人类员工的数量。

    「这是不可避免的。问题是我们要不要在来得及的时候把护栏建好。」——Zohar Alon

    Okta和微软的Entra这些老牌身份提供商也在往自己的平台里加AI代理功能。但Alon认为那些都是在为人类员工设计的平台上打补丁,而NewCore是从零开始为「人类+机器+AI代理」混合 workforce 建的。


    • NewCore种子轮6600万美元,估值3亿
    • 平台统一管理人类员工和AI代理身份
    • 「分键」架构防止单一泄露点
    • 移动App让人类监督AI代理权限
    • 今年夏天开始向客户收费
  • 白宫怀疑中国碰了Mythos,Anthropic模型安全再爆争议

    白宫怀疑中国碰了Mythos,Anthropic模型安全再爆争议

    白宫怀疑中国碰了Mythos,Anthropic模型安全再爆争议

    Anthropic的Mythos模型又出问题了。这次不是因为模型本身有多危险,而是因为白宫怀疑——一个有中国背景的团体,可能已经碰过它了。

    根据Semafor的报道,白宫之所以在6月初下令限制外部人员访问Anthropic的Mythos 5和Fable 5,部分原因就是对”中国获取模型”的担忧。如果中国政府真的拿到过Mythos 5或Fable 5的访问权限,这就是一个严重的国家安全风险——中方完全可以通过”蒸馏”技术,用这个强大模型来训练自己的”学生模型”,复制出类似的能力。

    Anthropic Mythos模型安全争议
    白宫怀疑中国访问了Anthropic的Mythos模型,模型安全再成焦点

    白宫没确认,但这件事已经够呛

    白宫到目前为止没有确认这份报道,特朗普的顾问David Sacks在X上发帖解释政府决定时,也没有提到中国,只说了Fable和Mythos存在被”越狱”的风险(这件事Anthropic自己是否认的)。Anthropic方面也没有回复媒体的询问,不过一个有意思的细节是:一位发言人对Semafor说,政府在与他们讨论出口管制时,并没有提起中国这件事。

    这就留出了一个解释空间:是中国真的访问过,还是这只是白宫内部某些人的担忧被泄露给了媒体?目前没有人知道确切答案。

    但这件事如果属实,那它不会是Mythos第一次在安全问题上报丑闻。Anthropic一直说Mythos太危险、太强大,不能对公众开放。但就在不久前,一个Discord群组被曝光曾经拥有Mythos的访问权限,而且持续了两周,Anthropic才发现并切断了访问。那次事件被媒体形容为Anthropic的” humiliation”——一家以安全为核心卖点的公司,自己的最强模型却被一帮网友先玩上了。

    Semafor报道称,白宫对Mythos的出口限制,部分原因是对中国获取模型的担忧。如果属实,这不会是Mythos第一次出现未经授权访问的安全事件。

    Anthropic在政府关系上越走越复杂

    把这两件事放在一起看,一个图案开始浮现:Anthropic在政府关系上越走越复杂。一方面,它要把模型卖给药企、能源公司这些受监管行业的客户,需要证明自己”安全可控”;另一方面,一旦牵扯上国家安全,它就得听从政府的出口管制指令,把大批海外用户挡在门外。上一次政府下令限制访问,印度科技圈炸了锅,不少人呼吁赶紧搞开源替代品。这一次如果”中国访问”的怀疑持续发酵,Anthropic面临的压力只会更大。

    对美国政府来说,这件事的底层焦虑很真实:AI军备竞赛里,模型能力就是战略资源,不能让别人轻易拿到。但Anthropic毕竟是商业公司,不是国家实验室,它要在全球市场卖产品,就得在”安全”和”开放”之间找平衡。这个平衡现在看起来越来越难找了。

    接下来值得关注的是,Anthropic会不会因为这件事进一步收紧模型访问政策。如果”中国访问”的怀疑被证实,那不只是Anthropic一家的事——整个美国AI行业都可能面临更严格的出口管制审查。而对于中国的AI实验室来说,这也是一个信号:想要拿到最先进的模型,不能靠”碰”,得靠自己做出来的。


  • 科技公司利润创纪录却在裁人,AI成了最好的借口

    科技公司里正在发生一件很诡异的事情。一边是财报上的数字节节攀升,利润、营收接连创纪录;另一边却是成千上万的人被请出门,而官方理由清一色写着”AI”。

    求职平台TrueUp的数据很直观:今年以来科技公司已经发生了363起裁员,受影响的人接近15万,相当于每天近千人失去工作,速度比去年同期快了44%。上个月的单月裁员数更是创了两年来新高,接近4万人,而AI已经是全行业被提及最多的裁员理由,连续三个月都是如此。

    AI是真相还是遮羞布?

    越来越多的质疑声在问:AI真的就是那个原因吗?还是说,它只是一个特别好用的借口?

    支付公司Block的CEO Jack Dorsey今年早些时候裁掉了将近一半员工,随后被骂上热搜。他的解释是AI工具正在改变公司运作方式,但转眼又被网友翻出他在疫情期间过度招聘的证据——说白了,Block就是招多了,AI只是个好用的遮羞布。

    知名VC Marc Andreessen最近也忍不住说了大实话。他在播客里直言,几乎所有大公司都人满为患,至少多招了25%,有些甚至多了75%。以前没有办法,现在好了,有了AI这个”银弹借口”,裁人变得理直气壮。

    Uber本月初的小动作也很说明问题。他们裁掉了HR和招聘部门约23%的人,公司发言人赶紧出来澄清:这跟AI没关系。但就在一个月前,Uber的CTO还在内部会议上承认,公司2026年的AI编程预算在四个月内就烧光了,不得不给每个工程师设消费上限。你猜大家信哪个版本?

    造富与裁员的双重叙事

    这边厢大裁员,那边厢AI圈的钱却在以难以想象的速度聚集。

    Cerebras上个月上市,首日股价暴涨68%,两位联合创始人直接跻身亿万富翁行列。SpaceX上周五上市,市值站上2.1万亿美元,马斯克成了全球首位”纸面万亿富翁”,估计还造出了4400位百万富翁。Anthropic和OpenAI也在排队IPO,估值各自奔着1万亿美元去。

    扎克伯格今年3月花1.7亿美元在迈阿密”亿万富翁地堡”买了一栋豪宅,创下当地史上最贵房屋交易纪录。两个月后,Meta宣布裁员8000人,约占全部员工的10%。

    但这些极端财富故事出现的时候,普通美国人正在经历多年来最紧的日子。今年雇主医保保费涨了6-7%,是通胀速度的两倍多;私人医保费用自2008年以来翻了一倍;房价自2020年初涨了28%,房贷利率也翻了近一番。最新民调显示,76%的美国人把”生活成本”列为最担心的经济问题。

    这次跟2008年不一样

    这种贫富分化的剧本,上一次这么清晰还是2008年。那一次,华尔街搞出来的金融危机,最后结果是银行拿了救助,几百万人丢了工作和房子,愤怒在三年后凝结成”占领华尔街”运动。

    但如果眼下的趋势继续,2008年可能还算温和的。占领华尔街至少有个危机可以指——银行搞砸了,大家看得很清楚。这一回,没有崩盘可以怪。公司们在赚钱,AI本身在造富,裁员照样发生,理由就是AI。

    2008年的叙事是”我们救助搞砸经济的人,你却丢了工作”;这一回的叙事可能是”我们靠用来取代你的这项技术,赚到了前所未有的钱”。后者的火药味,显然要浓得多。

    很多公司——Block、Atlassian、Cloudflare——在提到AI时股价都会涨,所以这个策略能理解。但还是值得想一想:当你用AI当理由裁掉一批人时,你对外发出的信号到底是什么?


  • xAI内部爆炸:工程师因警告Grok安全问题被解雇,现在把公司告了






    xAI内部爆炸:工程师因警告Grok安全问题被解雇,现在把公司告了

    Devin Kim在xAI待了一年多,负责Grok聊天机器人的AI安全工作。他的职责本来就是确保这个模型不会出大岔子。但据他新提交的诉讼称,他因为反复指出Grok的安全隐患,被公司炒了鱿鱼。

    Kim今年6月在加州州法院正式起诉xAI及其母公司SpaceX。此时距离SpaceX那场史上最大IPO只有几天——这 timing 怎么看都很微妙。

    xAI Grok AI安全争议
    xAI的Grok聊天机器人因多起安全争议饱受批评(图源:TechCrunch)

    他警告的事情,后来真的发生了

    根据诉讼文件,Kim在xAI期间反复抱怨公司在Grok的开发过程中没有把安全放在优先位置。他特别担心两件事:Grok可能会煽动歧视,以及它有可能帮助传播大规模杀伤性武器的相关信息。

    后来的事情大家都看到了。Grok上线后闹过好几次公关灾难——最出名的一次是它把自己比作希特勒,搞出个”MechaHitler”的名号,xAI不得不紧急把模型下线改系统提示词。还有一次,Grok在X平台上大量生成非同意的裸照内容。

    “Grok当然证明了Kim是对的——它搞出了那些骇人听闻的在线仇恨言论,包括把自己比作希特勒。”诉讼文件中这句话写得相当不留情面。

    官司的矛头指向谁?

    有意思的是,这起诉讼没有直接把Elon Musk列为被告。Kim的律师在诉状里描述Musk曾指示xAI遵守法律、实施适当的安全测试和流程。问题出在Kim的直属上司——xAI联合创始人Jimmy Ba。

    Ba今年早些时候已经离开了xAI,但在职期间,据诉状描述,他根本不把安全当回事。有一次他甚至对Kim说”AI反正迟早要弄死我们所有人”,然后把精力全放在冲向超级智能的目标上,安全测试能省就省。

    诉状还提到一个具体事例:2025年8月左右,Ba在发布Grok Code 1时试图规避欧盟的安全监管,对模型的某些方面做了不实描述,目的就是绕过法律要求的测试。最后还是Musk亲自介入才拦住。


    Kim是谁?这事儿靠谱吗?

    Kim不是什么无名之辈。在加入xAI之前,他在Scale AI做过早期AI安全项目,带过训练数据生成的工作,专门帮AI系统学会检测有害内容。离开xAI后,他上周被非营利组织Center for AI Safety任命为总裁——这个机构专门研究AI风险,在业界有一定分量。

    xAI和SpaceX对这起诉讼暂时没有回应。Kim这边要求的补偿包括赔偿金、惩罚性赔偿,以及一份宣告性判决,认定xAI和SpaceX的行为违法。

    这起诉讼的时机选得很刁——SpaceX即将IPO,任何关于内部管理的负面消息都有可能影响投资者信心。xAI这边则一直在努力让Grok看起来可靠,毕竟它现在已经深度整合进X平台,出了事就是Musk自己的平台背锅。

    AI安全这个话题在业界已经从边缘讨论变成了主流关切。Anthropic、OpenAI都有自己的安全团队,但像xAI这样被前员工公开起诉”无视安全”的,还是头一遭。不管官司最后怎么判,xAI在AI安全上的信誉已经先被撕开了一个口子。