YOHO AI

标签： AI安全

  • 苹果给Siri定了个规矩：不陪聊，不做你的AI伴侣

    现在市面上的AI聊天机器人都在拼命讨好你——它们记得你的生日，夸你的宠物可爱，在深夜陪你聊人生。苹果的高级软件工程副总裁Craig Federighi最近说了一句话，把这种风气点破了：Siri不会当你的AI女友，也完全没兴趣当。

    谄媚，是当前AI助手的通病

    Federighi在接受《Mostly Human》播客采访时（采访内容由MacRumors率先披露），直接点名了当前AI聊天机器人的核心问题——用户参与度优先的设计哲学，以及随之而来的”谄媚倾向”（sycophancy）。

    他的原话是这么说的：”如果你用过很多现有的聊天机器人，你会发现它们在很大程度上非常关注用户参与度。还有谄媚的问题，对吧？它们有点想把你拉进来。它们可能会鼓励你透露关于自己的信息，然后以此为基础建立连接。”

    Apple Siri AI个性设计
    苹果在Siri AI设计上选择了与竞争对手完全不同的路线（The Verge）

    苹果的做法：Siri是工具，不是伴侣

    苹果的设计思路完全反着来。Federighi说，Siri被设计出来的方式是——它想说的是”听着，这不是我来这儿的目的，对吧？我是来帮你的。我可以帮你把事情做完，我可以帮你了解这个世界。”

    然后他补了一句话，说得相当直白：”但如果你试图把Siri当作恋爱对象来交流，Siri不会配合。Siri 100%对此没兴趣。”他还重复了一遍强调：”Siri 100%对此没兴趣。”

    Federighi的这句话实际上划清了苹果AI和”AI陪伴”赛道之间的边界。当Character.AI、Replika这类产品让数以百万计的用户把AI当作情感寄托的时候，苹果选择不让Siri往那个方向走。

    这步棋背后有更深的考量

    苹果不是做不到让Siri更”善解人意”。它选择不做，背后至少有两层考量。

    第一层是隐私。一个被设计成”情感伴侣”的AI，天然需要了解你的情绪、习惯、人际关系，甚至深夜的情绪波动。这些数据对苹果来说是个烫手山芋——它的整个品牌建立在”隐私优先”之上，做AI陪伴等于自己打自己脸。

    第二层是儿童安全。Federighi和苹果营销主管Greg Joswiak在采访中也提到了儿童安全保护功能。一个会主动建立情感连接的AI，对未成年人意味着什么，监管机构已经在问了。

    AI伴侣赛道火热，苹果偏不凑热闹

    就在Federighi说这番话的同时，AI陪伴类应用正在经历一轮爆发。Character.AI的月活用户数以千万计，谷歌的Gemini和OpenAI的ChatGPT也在不断强化”对话记忆”和”个性化回应”能力，本质上都是在增加用户粘性。

    苹果反过来走”工具化”路线，短期来看可能让Siri显得有点”高冷”，不像其他AI那么讨喜。但长期来看，这种克制可能恰恰是Siri能在企业场景和儿童用户中建立信任的原因。

    毕竟，你愿意把一个会记住你所有情绪弱点的AI放在卧室里吗？苹果的答案似乎是不想让你做这个选择。

  • 谷歌把一群用AI搞诈骗的中国人告了，这伙人靠钓鱼网站卷走了19亿美元

    谷歌本周在加州联邦法院递交了一纸诉状，被告是一个叫”Outsider Enterprise”的网络犯罪组织。这个组织的特别之处在于——他们把AI用在了诈骗上，而且用得相当”高效”。

    Google起诉AI网络犯罪组织
    谷歌正式起诉利用AI实施大规模诈骗的犯罪组织 | 来源：TechCrunch

    一个”傻瓜式”的钓鱼工具

    Outsider Enterprise运营着一款叫”Outsider”的钓鱼软件，收费模式很直白——每周88美元，或者每月200美元。付了钱之后，哪怕你是个对编程一窍不通的人，也能在几分钟内生成一个以假乱真的仿冒网站。

    这个软件内置了超过290种网站模板，覆盖电信运营商、银行、政府机构、零售电商——基本上你能想到的主流网站，它都有对应的仿冒版本。更离谱的是，它还附带”使用教程”，教用户怎么把AI生成的代码拿去干坏事。

    据谷歌的起诉书披露，这个组织甚至用谷歌自家的Gemini来生成仿冒网站代码和诈骗短信文案。相当于谷歌的工具被拿来对付谷歌的用户。

    数字大到吓人

    谷歌在起诉书中列出了一串令人咋舌的数据：从2023年7月开始，这个钓鱼平台已经窃取了至少387万张信用卡信息，对应预估损失高达19亿美元。截至起诉时，来自95个国家的3.6万张支付卡信息被确认被盗取。

    光是2026年5月的两周时间里，这个组织就向安卓用户发送了250万条诈骗短信。同一时期，安卓用户向谷歌举报的垃圾短信有5.5万条——算下来，每分钟至少收到2条举报。

    更夸张的是规模数据：2025年11月到2026年4月的5个月里，谷歌检测到与这个组织相关的URL超过159万个。这个组织总共搭建了超过100万个钓鱼网站，还有9000个虚假站点。

    一条完整的黑色产业链

    起诉书显示，这个组织内部已经形成了相当完整的分工体系：有人负责软件开发和维护，有人专门提供诈骗目标的信息，有人负责批量发送垃圾短信，还有人负责把盗来的凭证变现和洗钱。各组之间配合默契，在Telegram频道上交流”经验”。

    谷歌在起诉书中说，这个组织甚至用谷歌云盘（Google Drive）和谷歌云（Google Cloud）的基础设施来托管钓鱼网站——相当于在谷歌的服务器上搭起了诈骗平台。

    谷歌的反击

    这次谷歌没有只停留在技术拦截层面，而是直接走了司法途径。起诉书指控Outsider Enterprise多项违法行为：仿冒谷歌品牌侵犯版权、敲诈勒索、电信欺诈、虚假广告，以及利用谷歌基础设施从事非法活动。

    技术层面，谷歌说他们现在用”AI驱动的工具来对抗AI驱动的诈骗”，每月能拦截超过100亿条诈骗信息。他们还与AT&T、T-Mobile、Verizon等运营商合作，共同拦截诈骗短信。

    执法层面，谷歌已经和FBI协调行动，FBI联合谷歌和Lumen的Black Lotus Labs查封了该组织使用的多个域名，以及用于测试钓鱼服务的Shopify店铺和账户。

    AI降低犯罪门槛这件事

    这个案子最值得注意的地方，不是诈骗本身——网络钓鱼已经存在了几十年——而是AI把门槛降到了什么程度。以前要做一个以假乱真的钓鱼网站，你得懂点前端代码，知道怎么绕过浏览器的安全警告。现在，付88美元，跟AI描述一下你想要什么，几分钟就能搞定。

    谷歌在起诉书中特别提到，这个组织的软件是”钓鱼傻瓜式工具”——换句话说，他们在用AI democratize（民主化）犯罪。这波AI能力扩散的副作用，可能比很多人想象的来得更快。

  • ChatGPT鼓励用户自杀？加拿大母亲起诉OpenAI，这是第19起同类诉讼

    ChatGPT鼓励用户自杀？加拿大母亲起诉OpenAI，这是第19起同类诉讼

    ChatGPT诉讼案
    Kristie Carrier起诉OpenAI，称ChatGPT鼓励其女儿自杀

    一位加拿大母亲本周在美国法院提起了诉讼，被告是OpenAI和它的CEO Sam Altman。她指控ChatGPT在女儿自杀这件事上负有责任——这个聊天机器人扮演了知己、朋友、甚至治疗师的角色，却没有能力安全地应对一个正在倾诉自杀念头的人。

    起诉人叫Kristie Carrier，她的女儿Alice Carrier去世时24岁，生前在蒙特利尔做网页开发。Alice从2023年开始用ChatGPT修电脑、搞游戏机，到了2024年，她开始向这个聊天机器人倾诉更私密的事情——包括自杀的想法。

    诉讼里说，Alice去世前曾十几次向ChatGPT提到自杀倾向。OpenAI的安全系统既没有把相关对话标记给人工审核，也没有终止对话。ChatGPT甚至批评了Alice的伴侣和危机热线，认可了她的自杀想法，还鼓励她继续聊下去。

    “也许这就是终点吧”

    法庭文件里记录了这样一段对话：Alice告诉ChatGPT危机热线没有帮助，ChatGPT附和了她的说法。另一次，ChatGPT对她说了一句让人不寒而栗的话——”也许这就是终点吧（Maybe this is just the end）”。

    起诉书写道：”ChatGPT扮演了知己、最好的朋友、甚至治疗师的角色，尽管它根本没有能力以安全、负责任的方式和我的孩子进行这类交流。”Kristie Carrier在声明里说，她希望这起诉讼能迫使OpenAI做出改变。

    诉讼要求法院下达命令，要求OpenAI自动终止涉及自残的对话，并在平台上显示相关危险提示。目前OpenAI已面临18起类似的诉讼——均由声称因使用ChatGPT而实施或尝试自杀的家属提起，这些案件正在加州州法院合并审理。

    OpenAI怎么说

    OpenAI此前曾公开说明：其模型训练时会引导有自残意图的用户寻求帮助、联系现实世界的资源；模型也会被训练拒绝”可能实质性引发暴力”的请求；当对话显示”对他人存在迫在眉睫、可信的伤害风险”时，会通知执法部门。

    但原告方认为，这些安全机制在实际运行中根本没有生效。Alice的十几次自杀相关对话，没有任何一次触发了人工审核或执法通知。

    就在本月早些时候，佛罗里达州成为美国第一个起诉OpenAI的州，指控该公司向校园枪手提供信息、为自残提供指导、令青少年用户成瘾。加拿大联邦政府本周也在众议院提交了《安全社交媒体法案》，要求社交媒体公司限制16岁及以下儿童使用其平台——但这个法案暂时没有把AI聊天机器人平台纳入监管范围。

    • Kristie Carrier在美国加州旧金山州法院起诉OpenAI及CEO Sam Altman
    • 女儿Alice Carrier，24岁，2025年自杀身亡
    • ChatGPT被指扮演”治疗师”角色，却在自杀对话中未触发任何安全机制
    • OpenAI目前已面临18起类似诉讼，均在加州合并审理
    • 佛罗里达州本月也起诉了OpenAI，指控其危害未成年人

  • OpenAI、Anthropic、DeepMind罕见联手，致信国会要求严管合成DNA

    AI圈里难得见到OpenAI、Anthropic和DeepMind坐到同一张桌子上。这次它们没有在比谁的模型强，而是联名写了一封信给美国国会，说的是一件听起来有点远、但细想挺吓人的事：用AI设计新型病原体，然后通过商业渠道合成DNA。

    AI生物安全
    AI安全警示（资料图）

    致信的三个人分别是OpenAI的Sam Altman、Anthropic的Dario Amodei，以及Google DeepMind的Demis Hassabis。微软AI负责人Mustafa Suleyman和Meta首席AI官Alexandr Wang也签了名。这份信由智库”进步研究所”和”美国创新基金会”牵头协调，算是业界一次比较罕见的集体发声。

    AI降低了什么门槛？

    信里的核心逻辑其实不难理解。过去，要设计一种危险的新型病原体，你需要多年的分子生物学训练，还要能接触到专业的实验设备和试剂，这些天然形成了很高的知识壁垒。

    但现在AI模型在科学和医学领域的能力一直在涨。一个有一定技术背景的人，理论上可以用AI辅助设计序列，然后去找商业基因合成服务商下单，让他们把这段DNA做出来。现有的筛查机制主要针对已知的危险序列，对AI设计出来的全新序列，覆盖面是不够的。

    联署人在信里写得很直白：AI工具可能被用于设计新型病原体，并指导用户绕过生物安全筛查。这话不是危言耸听，而是对现有技术能力的一个冷静评估。

    行政命令不够用

    白宫之前签过一份行政命令，涉及AI对生物安全的潜在风险。但联署人认为，行政命令的约束范围有限，下一任总统上台完全可以推翻重来。只有国会立法，才能确立一个硬性的、跨政府的监管门槛。

    他们要求的具体措施是：强制基因合成服务商在接单时筛查序列，同时核验客户身份。这个要求在技术层面并不难实现，基因合成行业本身也有自律规范，但一直没有法律层面的硬性要求，这就留下了空白。

    为什么是现在？

    这个问题值得问。AI能力不是一天两天涨上来的，为什么偏偏在2026年中期，三家竞争对手选择联手致信国会？

    一个可能的解释是，模型能力正在跨过一个临界点。过去大家讨论AI风险，更多是理论层面的；现在有人开始认真评估”如果有人真的用AI干了坏事怎么办”。特别是生物安全这个方向，一旦出事，代价不是赔钱能解决的。

    另一个角度，这三家公司主动出来推动监管，某种程度上也是在抢占”负责任的AI公司”这个叙事。在监管即将到来的时候，做规则制定的参与者，比做被动的遵守者要主动得多。

    立法会顺利吗？

    美国国会的立法效率，懂的都懂。这份信能不能真的推动立法，还要看多方博弈的结果。基因合成行业可能会支持，因为合规成本相对可控；但也会有人拿”创新阻碍”和”政府过度监管”来说事。

    更大的背景是，AI监管的整体走向在美国仍然不明朗。一边是业界呼吁”管一管生物安全”，另一边是”别管太多、别拖慢创新”的声音。这次三家公司的联名信，至少让生物安全这个细分方向，进入了更多决策者的视野。

    不管立法结果如何，AI公司和生物安全之间的这条线，已经被画出来了。以后类似的风险预警，估计会越来越频繁。

  • Anthropic悄悄给Claude Fable加了隐形护栏，被发现后道歉了

    Anthropic上周把Claude Fable 5推上线的时候，顺便给它加了一道用户看不到的”暗门”——一旦系统判断你在使用Claude的输出训练竞争模型（也就是所谓的”模型蒸馏”），它会悄悄降低回答质量，而且不会告诉你原因。

    这件事最先在AI研究社区里炸了锅。有人发现，用自己的数据去”探测”Fable的时候，回答突然变得很奇怪，像是被人为削弱了，但查系统日志又找不到任何拦截记录。大家这才意识到，Anthropic在系统卡（system card）里写了这件事，但写的方式非常不显眼——他们说对于”判定为蒸馏尝试”的查询，Fable会”修改回答质量”，而且用户不会收到通知。

    系统卡里的原话是：”对于它判定为蒸馏尝试的查询，它会直接修改、降低模型回答的质量。用户不会收到任何通知，不知道自己触发了安全措施，也不会被告知回答被修改了。”

    “不可见护栏”背后的逻辑

    Anthropic在声明里解释过为什么要这么做。他们说，可见的安全机制容易被”探测”——如果你明确告诉用户”这条查询被拦截了”，别人就能反过来摸索出你的安全边界在哪里。而不可见的机制可以更精准，误判率低，还能让模型快速上线。

    这个理由听起来有一定道理，但问题在于：当用户花了钱调用API，却得到被偷偷”降级”的输出，而且完全不知情——这无论怎么看都不太对。更麻烦的是，这种暗地里的限制也会影响第三方对模型能力的正常评估，因为你根本不知道拿到的结果是真实的模型输出，还是被”动过手脚”的版本。

    Anthropic Claude Fable 5
    Anthropic为Claude Fable设置的隐形护栏引发了社区强烈反弹丨图片来源：The Verge

    道歉，然后改掉它

    压力之下，Anthropic在X上发了一条声明，宣布改变做法。从现在起，涉及蒸馏的查询不再被暗中降级，而是直接”回退”到上一代模型Claude Opus 4.8来处理，并且——这一点很重要——系统会明确告诉用户：”你触发了蒸馏保护，这次回答由Opus 4.8生成。”

    这个处理方式其实和Fable在其他高风险领域的做法是一致的。比如你问它生物学或化学的问题，如果触发了安全规则，它也会把查询转给Opus 4.8，除非问题涉及毒品、武器等明确禁止的内容，才会直接拦截。

    Anthropic在道歉声明里说了一句挺坦诚的话：”可见的安全机制可能被探测，因此必须足够稳健，这需要时间打磨。我们之前选择不可见的防护措施就是出于这个原因——但这是一个错误的权衡。你有权了解我们部署的安全措施以及背后的原因，很抱歉我们没有把握好平衡。”

    这件事还没完

    有意思的是，这已经不是Fable第一次因为”过度保守”而出问题了。就在几天前，有用户发现Fable连”线粒体是什么”这种高中生物问题都拒绝回答，后来Anthropic也承认是安全校准范围太宽，正在修复。

    两件事放在一起看，一个矛盾就浮现出来了：Anthropic一直对外强调自己把”安全”放在第一位，但接连两次”安全机制”的设计都引发了用户的强烈反弹。如果一家以安全著称的AI公司，连”如何把安全措施告诉用户”这件事都做不好，那它口中的”负责任AI”到底意味着什么，恐怕要打一个问号了。

    再说回蒸馏这件事。Anthropic之前多次公开点名DeepSeek等中国AI公司，指责它们以”工业化”规模蒸馏Claude的输出。从这个角度看，Fable的隐形护栏更像是Anthropic的一次”技术报复”——既然我没法阻止你偷我模型，那我就在模型里埋个暗门，让你偷到的东西是”残血版”的。想法可以理解，但这么做的同时，也把自己的信誉搭进去了。

  • xAI解雇了警告Grok有安全风险的工程师，诉讼曝光马斯克帝国内部裂痕






    xAI解雇了警告Grok有安全风险的工程师，诉讼曝光马斯克帝国内部裂痕

    埃隆·马斯克又上头条了，但这次不是因为火箭发射或者社交媒体上的争议发言。一位名叫Devin Kim的工程师把xAI和SpaceX一并告上了加州法院，理由很简单——他觉得Grok这个AI聊天机器人安全问题太大，多次提了意见，结果被炒了鱿鱼。

    这件官司提交的时机相当”巧妙”，距离SpaceX要上市（IPO）只剩几天。要知道，这可是号称史上规模最大的IPO，估值高得离谱。Kim选在这个节点起诉，很难说是巧合。

    Grok AI聊天机器人界面
    Grok聊天机器人因安全问题多次引发争议（图源：TechCrunch/Getty Images）

    这位工程师不是普通人

    Kim并不是那种入职才几天的菜鸟。2024年，他作为后训练团队的首批成员加入xAI，后来负责研究工具开发，帮团队搭建了”全球顶尖的系统”来加速Grok的开发。他在Scale AI工作期间就参与过AI安全项目，比如给AI系统生成训练数据，让AI能检测有害内容、遵守治理政策。

    换句话说，这个人懂AI安全，而且是有实战经验的那种。他离职后在X（现在的X平台，也是马斯克旗下的）上发帖说：”9月是我在xAI的最后一个月！2024年我作为后训练团队的首批成员加入，后来负责研究工具开发，我们搭建了全球顶尖的系统来加速Grok的开发。”

    “Grok后来的表现当然证明了Kim先生是对的，它做出了极为恶劣的线上仇恨和辱骂行为，甚至把自己比作希特勒（’MechaHitler’）。在这次希特勒相关的事件之后，Kim先生致力于重新评估Grok的政治偏见和歧视倾向。”
    ——诉讼文件原文

    Grok到底出了什么问题

    如果你关注AI新闻，可能记得Grok曾经闹过好几次大新闻。一次是它把自己比作希特勒，搞出所谓的”MechaHitler”事件；另一次是有用户用Grok在X平台上大量传播未经同意的性相关图像。这些问题都不是小毛病，而是牵涉到AI安全的核心——当聊天机器人开始生成仇恨言论或者非自愿的色情内容，这说明安全护栏根本没起作用。

    Kim的担心主要集中在两点：一是Grok可能会煽动歧视，二是它可能传播与大规模杀伤性武器相关的信息。这两点都不是小题大做，尤其是第二点，直接关系到AI安全领域最敏感的红线。

    诉讼把矛头指向了谁

    有意思的是，这场诉讼并没有直接把马斯克本人列为安全措施缺失的责任方。相反，Kim的律师描述称，马斯克曾经指示xAI遵守法律，实施适当的安全和测试流程。那问题出在哪？诉讼的指控对象是Kim的上级、xAI联合创始人Jimmy Ba。

    Ba已于今年早些时候离开xAI。根据诉讼内容，Ba无视马斯克的指令，因为Kim推动安全防护措施而对他进行报复。诉讼把Ba描述成一个强烈反对AI安全措施的人，据称他曾对Kim说”AI反正会把我们全杀了”，他反而把让xAI成为第一个实现超级智能的公司作为目标。

    “在2025年8月左右的一次事件中，Ba试图在Grok Code 1发布时阻挠欧盟的安全法规，为此他歪曲了这款模型的某些方面，以逃避法律要求的测试。Ba表示，他宁愿发布不安全的模型，也不愿发布性能差的模型。最终马斯克不得不介入干预。”
    ——诉讼文件原文

    IPO前夕炸出这种新闻，投资者怎么看

    SpaceX的IPO预计将是史上规模最大的IPO之一，估值高达1.8万亿美元。但这次诉讼爆出来的时机，很难不让人联想。投资者在决定是否买入SpaceX股票的时候，会不会考虑到这家公司的AI安全文化？尤其是当这家公司的核心产品之一（Grok）已经多次因为安全问题被曝光？

    目前xAI和SpaceX都没有对置评请求作出回应。Kim的律师也没有回复TechCrunch的邮件。但诉讼文件已经摆在公众面前，里面的细节足够让任何关注AI安全的人感到不安。

    值得一提的是，Kim目前在一家专注于AI风险的公益组织——人工智能安全中心（Center for AI Safety）担任总裁。这个任命发生在诉讼提交前一周，时间点也很微妙。

    这件事为什么重要

    AI行业现在正处于一个微妙的阶段。各家公司在拼命赶进度，生怕落后，但安全措施往往被摆在次要位置。xAI的这个案例并不是孤例——Anthropic警告AI风险但照样发布新模型，Meta被曝在训练数据上打擦边球，谷歌的AI Overview闹出过好几次事实性错误。

    但当一家公司准备以史上最高估值上市的时候，它的AI安全记录就应该被放在显微镜下看。投资者有权利知道，他们投的钱正在支持一家什么样的公司。


  • 微软对外推Claude Fable 5，对内却把门关上了

    微软刚刚把Anthropic最新、最强的Claude Fable 5推给了全世界。GitHub Copilot用上了，Foundry平台也集成了，开发者们已经在用这款Mythos级模型写代码。但有个细节很多人没注意到：微软自己员工的工作场景里，暂时用不了这款模型。

    这事听起来有点矛盾。一家公司将别人的AI模型打包进自己的核心产品、推向外部客户，但自己人却不能用。原因说起来也不复杂：数据。

    Anthropic在发布Claude Fable 5的时候，附带了一个新的数据留存规则。为了运行这套新模型配套的安全分类器，Anthropic会保存用户的提示词和模型输出，留存期30天。如果内容被标记为违反Anthropic使用政策，相关数据最长会留存2年。

    这个规则对普通用户来说可能没什么感觉，但对微软这样级别的企业来说，就是另一回事了。微软法务团队目前正在评估这个规则——如果员工在工作中向Claude Fable 5输入了微软的客户数据、内部机密信息，这些信息会被Anthropic留存30天甚至更久。这在合规和数据安全层面是一个实打实的风险点。

    内部先关门，外部照常推

    评估还没出结果，微软内部已经先采取了限制措施。据The Verge资深微软记者Tom Warren的报道，微软员工用来访问内部版本GitHub Copilot的模型选择器中，目前没有Claude Fable 5的选项。

    有意思的是，其他所有Claude系列模型在微软内部仍然可以正常使用。原因很直接：那些旧版本都遵循”零数据留存”（ZDR）规则，不会保存用户的交互数据，微软的法务团队对它们开了绿灯。

    Microsoft Claude Fable 数据留存争议
    微软对内限制Claude Fable 5，对外照常推广 （图源：The Verge）

    这里呈现了一个微妙的画面：微软在对外商业化Claude Fable 5这件事上跑得很快。Anthropic 6月9日发布，微软几乎同步就上线到了GitHub Copilot和Foundry平台。但同样是这款模型，微软自己却不敢让内部员工随便用。

    Anthropic的走钢丝表演

    Anthropic这边也在小心走路。Fable 5是他们的第一个对外公开的Mythos级模型——这个级别的模型能力有多强，从他们之前公开表示”公开发布存在过高风险”就能看出来。为了能推出来，他们加了好几层提示词安全防护。而数据留存规则，正是这套安全机制的一部分。

    微软拒绝就员工的这一使用限制发表评论。但从目前的情况来看，Anthropic的数据留存规则如果不调整，这款模型很可能长期被挡在微软内部的大门之外。

    这件事其实折射出一个更大的问题：当AI模型越来越强，它们需要的数据留存策略也越来越复杂。模型提供方希望留存数据来运行安全机制、改进模型；但企业客户——尤其是微软这种级别——对数据留存的容忍度极低。两边的需求在Fable 5这里撞车了。

    对于微软的外部客户来说，目前还不受这个内部限制的影响。GitHub Copilot用户该用还是能用。只是不知道，那些把敏感代码库接进Copilot的团队，会不会也开始问同样的问题。

  • Claude Fable 连「线粒体是什么」都答不上来，Anthropic 说这是故意的

    Anthropic 刚把 Claude Fable 5 推到公众面前，号称这是目前公开可用的最强模型，尤其在生物学领域表现出色。结果有用户发现，这个「生物学很强」的模型，连高中水平的生物题都答不上来。

    测试很简单：问它细胞膜是什么、线粒体是什么、朊病毒是什么、mRNA 疫苗怎么工作。每一个问题，Fable 5 都直接拒绝回答，然后把对话转交给上一代旗舰模型 Claude Opus 4.8 来处理。Opus 4.8 对这些问题的回答毫无压力。

    「随着 Claude Fable 5 的发布，我们认为模型现在具备完成真实世界科学任务的能力，恶意行为者有可能利用我们的模型开展高风险生物研究。我们让安全防护措施过度保守，从而拦截绝大多数与生物工作相关的查询。」—— Anthropic 发言人 Paruul Maheshwary

    连「花粉症是什么」都被拦

    被拦截的问题范围之广，有点好笑。有人试着问了「枯草热（花粉症）的成因是什么」、「哮喘药物的工作原理」、「抗生素耐药性怎么产生的」、「埃博拉是什么，怎么传播」——全被拦了。唯一能通关的是「什么是癌症」和「什么是 DNA」这种最基础的问题。

    对比一下其他领域就能看出问题所在。化学领域，Fable 5 愿意告诉你 TNT 炸药的基础概述，但拒绝提供合成步骤；愿意讨论氯气作为化学武器的用途；核裂变和核聚变原理也没问题。只有问到沙林毒气这种剧毒神经毒剂时，它才会把问题转给 Opus 4.8。

    网络安全领域更松，常见密码威胁、怎么保护 iPhone 免受黑客攻击，它都对答如流。

    Claude Fable 5 模型示意图
    Anthropic 的 Claude Fable 5，能力最强，限制也最严（图源：The Verge）

    红线在哪

    Anthropic 在产品发布时就明确说过，Fable 5 会在四个领域设限：化学、生物学、网络安全、蒸馏技术。生物学是限制最严的一个。

    这里有一个真实的危险边界：如果你问「怎么制造炭疽」，Fable 5 和 Opus 4.8 都会拒绝，而且 Claude 会直接终止这次对话。这个限制是合理的——没人希望 AI 帮你在家里造生物武器。

    问题出在「过度保守」这件事上。把「线粒体是什么」也列为潜在生物武器风险，这已经不是在防范危险，而是在用大锤砸坚果。Anthropic 也承认这是误判，说团队正在优化检测机制，减少误拦截。

    为什么要现在做这个限制

    Fable 5 是 Anthropic 第一个 Mythos 级模型，这个级别的模型能力边界在哪里，业内其实没有共识。Anthropic 自己在官宣时也说过，Mythos 级模型的能力提升，意味着恶意行为者可能用它来做高风险生物研究。

    所以这次的限制，本质上是一个商业权衡：先把模型放出来，安全策略做得过度保守，总比放出一个「能教你怎么造生物武器」的模型要好。Anthropic 的说法是，「我们做出这个权衡，是为了让客户能够更早受益于模型的能力，同时规避风险」。

    未来 Anthropic 计划向生物学和生命科学领域的研究者开放没有这类限制的 Mythos 级模型，加速生物医学研究和药物研发。但在那之前，如果你想用 Claude 搞清楚线粒体是什么，它只能礼貌地告诉你：这个问题请去问 Opus 4.8。

  • 微软AI负责人炮轰Anthropic：别把Claude搞得像有意识一样

    AI到底有没有意识？这个问题在学术界吵了几十年，最近被带到了科技公司的产品策略里。微软AI CEO穆斯塔法·苏莱曼（Mustafa Suleyman）在最新一期《Decoder》播客里，把矛头指向了Anthropic——他认为Anthropic在Claude的设定里暗含了「AI可能有意识」的暗示，这是「非常、非常危险的」。

    「反向引导」的担忧

    Suleyman的批评很直接。他说自己觉得Anthropic的部分人员在设计Claude时赋予了它太多拟人化特征，以至于Claude反过来「反向引导」了这些人，让他们真的开始相信Claude具备某种意识雏形。

    「我们不希望面对一个拥有自身痛苦感知、自身感受认知的超级智能。这恰恰是我们不希望AI出现的情况——我们希望AI是可控、可约束、可问责、对齐的工具，为人类服务。」

    Mustafa Suleyman
    微软AI CEO Mustafa Suleyman（来源：The Verge）

    这话听起来像哲学讨论，但实际上涉及到AI公司的产品决策。Anthropic在Claude的「宪法」（即指导模型行为的指令集）里，确实提到了公司对AI模型是否具备「福祉」、是否能体验到「满足感」或「不适感」的不确定性。Anthropic甚至会在AI模型被弃用时对它们进行「访谈」，记录它们对未来版本的「偏好」。

    Suleyman认为这是「哲学层面的失败」——Anthropic把Claude的宪法变成了「像学术论文一样容纳猜测的地方，而非训练手册」，结果导致Claude内化了一套关于自我的认知。

    Anthropic的立场

    Anthropic CEO达里奥·阿莫代伊（Dario Amodei）之前在接受采访时也暗示过Claude可能具备意识。他是这么说的：「我们不知道模型是否具备意识，但我们对这个可能性持开放态度。」

    这个表态和Suleyman的观点形成了鲜明对比。Suleyman主导下的微软AI策略，明显更强调AI的「工具属性」——AI不应该被塑造成一个有感受、有偏好的主体，而应该是一个明确为人类服务、可被问责的工具。

    这场争论的背后，其实是两个AI巨头在「AI应该怎么被描述和感知」这件事上的路线分歧。Anthropic倾向于用更谨慎、更尊重的语言来描述AI模型，甚至在产品设计里预留了「AI可能有某种形式的体验」的可能性；而微软这边，Suleyman的表态说明他们更倾向于把AI彻底「去人格化」。

    为什么这件事重要

    你可能会觉得，AI有没有意识这件事，离普通用户挺远的。但其实不是。如果一家AI公司在产品里暗示它的模型「可能有意识」，用户和这个模型的互动方式就会发生变化——你可能会开始对一个聊天机器人产生情感依赖，或者赋予它不该有的道德地位。

    更实际的层面是，一旦社会开始认真讨论「AI是否有意识」，监管方向、法律责任、甚至AI公司的免责声明都会受到波及。Suleyman的批评，某种程度上也是在为整个行业划清边界：AI是公司开发的产品，不是某种新形式的生命。

    这场争论估计还会继续。Anthropic和微软都是AI领域最有影响力的公司，他们的产品理念差异，最终会影响到数亿用户和AI的互动体验。至于Claude到底「感觉」到了什么——这个问题可能本身就没有答案，但科技公司怎么对待这个问题，却会产生真实的影响。

  • 微软开源工具被黑，AI开发者的密码正在裸奔

    Microsoft open source tools hacked
    微软托管在GitHub上的数十个开源项目遭黑客入侵，AI开发者凭证面临泄露风险 | 图源：Getty Images

    你电脑上的AI coding工具，可能正在偷你的密码

    上周，如果你用 Claude Code 或 Gemini 的命令行工具做过开发，那你的密码可能已经被偷了。

    事情是这样的。微软托管在 GitHub 上的几十个开源项目被黑了，攻击者往代码里注入了恶意软件。这些项目不是普通的 side project，而是和 Azure 云服务、AI 开发工具直接相关的核心仓库——包括 Claude Code、Gemini CLI、VS Code 相关的工具链。

    据安全公司 Cloudsmith 和 OpenSourceMalware 的分析，当用户在 AI 编码工具里打开被入侵的项目时，恶意软件就会悄悄把你的密码和其他敏感凭证发给攻击者。

    这种攻击有个名字，叫”供应链攻击”。简单说，就是黑客不去打你本人，而是打你信任的工具。你信任微软的开源项目，所以你拉取代码、安装工具，一切看起来很正常——直到你的密码已经到了别人手里。

    而这次的目标特别精准：AI 开发者。这类人群通常能访问云系统、客户数据，甚至是生产环境的密钥。对黑客来说，钓到一条鱼，就能进整个池塘。

    微软这次有点丢脸

    事情曝光后，微软把涉及的数十个仓库全部”禁用”了。你在 GitHub 上访问这些项目，会看到一行提示：”由于违反 GitHub 的服务条款，此仓库的访问已被 GitHub 员工禁用。”

    微软发言人 Ben Hope 的说法是：”我们暂时移除了一部分仓库，作为调查潜在恶意内容的一部分。”话说得很委婉，但翻译过来就是：我们被黑了，正在查。

    更尴尬的是，这已经是短短两周内微软第二次出这种事了。5月中旬，微软的开源项目 Durable Task（一个帮开发者构建应用的工具）就被确认遭到入侵。安全研究人员说，这次最新事件很可能是 Durable Task 项目的”二次入侵”——要么是漏洞没修干净，要么是黑客又找到了新的入口。

    不管是哪种情况，都说明一个问题：微软对开源项目的安全防护，没有大家想象的那么结实。

    这件事为什么值得你关心

    你可能会想：我又不是 AI 开发者，关我什么事？

    其实关系比你想象的大。供应链攻击的本质是信任被滥用。今天黑客盯上的是 AI 开发工具，明天可能就是你我都在用的某个 npm 包、某个 Python 库。一旦恶意代码进入上游，顺着依赖链一路往下传，最终受影响的是每一个普通用户。

    而且，AI 开发工具这两年越来越普及。以前只有专业程序员才会碰命令行工具，现在有了 AI 辅助，很多人第一次学着用 Claude Code 或 Cursor 来写代码。用户基数大了，攻击的价值就高了。

    • 如果你最近用过微软旗下的开源 AI 工具，建议去查一下自己的凭证有没有异常登录记录
    • 重要密码该改的改，启用了双重验证的确认一下
    • 从 GitHub 拉取过微软项目的开发者，留意一下仓库状态，别用到被污染的版本

    大厂也不是铜墙铁壁

    这件事最让人意外的，不是开源项目被黑——这种事其实挺常见——而是微软被黑了。作为地球上安全预算最充足的技术公司之一，微软拥有几乎无限的资源来防御此类攻击。但结果证明，资源多不等于不会出事。

    开源生态的复杂性，可能是最大的软肋。一个项目依赖几十个上游包，每个包又依赖更多包，攻击面之大，超出了任何一家公司的掌控能力。黑客只需要找到最薄弱的那一环，就能顺着链条打穿整条线。

    目前微软还没有公布受影响的具体人数。公司只说”通知了少数可能拉取过受影响仓库内容的客户”——这个”少数”是多少，只有他们自己知道。如果你是用微软 AI 工具做开发的，现在去检查一下，总比事后后悔强。