标签: AI安全

  • 特朗普松口,OpenAI GPT-5.6本周四全面开放:Sol、Terra、Luna三件套来了

    OpenAI GPT-5.6 模型发布概念图
    OpenAI GPT-5.6 模型套件公开上线(概念图)

    OpenAI 在周二深夜扔出一条重磅消息:GPT-5.6 要来了,而且这次是面向所有人的公开上线。按照公司的说法,旗舰模型 Sol,加上中端的 Terra 和走量的 Luna,会在本周四一起向公众开放。距离 6 月 26 日它第一次以”受限预览”的身份露面,还不到两周。

    一场由政府点头的”放行”

    这次放行背后,站着特朗普政府。据 Axios 报道,在 OpenAI 和美国商务部下属的”AI 标准与创新中心”又做了一轮测试、开了几轮会之后,政府才给了这次大规模发布的绿灯。OpenAI 还专门派了技术专家常驻华盛顿,随时准备回答监管方的疑问。

    其实上个月,特朗普政府就要求 OpenAI 搞”分批发布”——先把模型开放给政府批准的少数实体,普通人暂时摸不着。当时 OpenAI 就明说,这不是它喜欢的发布方式。

    有意思的是,白宫自己并不认”绿灯”这个说法。一位官员回应说,法律上根本不需要、也没发过什么许可,”放不放、怎么放,决定权完全在公司手里”,还搬出了 6 月 2 日那份 AI 行政令——里面明确禁止联邦层面对模型发布搞强制牌照或预审。换句话说,那些测试和会谈,都是”自愿”的。

    不只 OpenAI 一家被卡过

    把视线拉宽一点,你会发现这阵子最先进的模型几乎都被”限”过。6 月商务部直接禁止外国人使用 Anthropic 的 Mythos 和 Fable 模型,等于逼着它们退出部分市场;上周 Fable 的禁令才刚松绑,用户访问隔了一天就恢复。OpenAI 和 Anthropic 这两家头部公司,最近的处境出奇地像。

    实力与定价才是真看点

    抛开监管戏码,GPT-5.6 本身有两把刷子。OpenAI 说它在写代码、网络安全、生物这几个方向特别能打,长任务的代理(agentic)能力也比上代稳。Sol 还多了两个档位:一个叫”max”,专门做更深层的推理;一个叫”ultra”,能调度子代理——这明显有 OpenAI 收购的 OpenClaw 团队的手笔。

    • Sol:旗舰,主打高端任务,定价每百万 token 输入 5 美元、输出 30 美元。
    • Terra:中端,定位”高吞吐量工作”,价格正好是 Sol 的一半。
    • Luna:日常款,便宜又快,价格还不到 Terra 的一半。

    这个定价挺狠——Sol 的成本差不多只有 Anthropic 旗舰 Claude Fable 5(10/50 美元)的一半。在大家都在喊”token 太贵”的当口,OpenAI 直接把价码压了下来。


    安全方面,OpenAI 这次也下足了功夫。Sol 被训练成会拒绝违规的网络协助请求,包括用户试图伪装意图或”越狱”的情况;公司还投入了约 70 万块 A100e 等效 GPU 小时做自动化红队测试。OpenAI 自己也说,希望这种”政府点头才能发”的流程别变成长期常态——毕竟把最好的工具卡在门外,受影响的还有开发者、企业和网络安全防御方。

  • Meta想让AI眼镜别那么吓人,可它的整体打法偏偏相反

    Meta AI眼镜与录制指示灯
    Ray-Ban Meta 智能眼镜的录制指示灯,正成为隐私争议的焦点

    这几天 Meta 给自家智能眼镜上了一道「保险」:以后要是有人把那颗提示正在录像的小灯给遮住或弄坏了,眼镜的摄像头会直接罢工。听起来挺贴心,像是终于听见了大家的担心——毕竟 Ray-Ban Meta 这副眼镜,早就被不少人贴上了「偷拍神器」的标签。

    可问题是,就在这条「我们很在乎你隐私」的公告发出来的同一周,Meta 干的另一堆事,方向完全是反的。

    小灯一挡,摄像头就关,这招晚了一步

    先说这个被 Meta 拿来「自我表彰」的新功能。公司在博客里写得很自豪,说「其他任何摄像头都没这么干过,我们很骄傲能领这个头」。但往下读就露馅了:Meta 自己承认,之所以要做这个功能,是因为已经有人拿胶带把指示灯贴上了,逼得他们只能改技术,让灯被挡住时就自动停录。

    更尴尬的是,公告里还补了一句:那些铁了心要偷拍的人,会「用更复杂的手段去改装甚至毁掉那颗灯」。换句话说,Meta 等于亲手盖章确认了一件事——确实有人买这副眼镜,就是冲着不打招呼记录别人去的,而且目标常常是女性。

    你拍的照片和视频谁能看到?Meta 的回答是「只有你,除非你主动分享」。可它的隐私政策又白纸黑字写着:任何你丢给 Meta AI 的图片,都可以被用来训练它的模型。

    同一周,它还在往你的隐私里伸手

    就在发布防偷拍功能的那天,Meta 还顺手宣布了一件事:现在 Meta AI 可以用任何一个公开 Instagram 用户的照片来生成 AI 图像,除非你手动关掉这个选项。把两件事摆在一起看,那颗摄像头小灯的保护意味,一下子就淡了。

    这还不是全部。Meta 这些年一直在推进的方向,几乎每一步都在要你的数据:用你让眼镜分析过的图片训 AI、默认开启拿你个人内容喂模型的 AI 功能、研究怎么「连续录音」、甚至探索用生物识别做 facial recognition。据《金融时报》消息,他们还在测试一款原型机,会「持续采集音频、每隔几秒拍一张照片」。


    信任这东西,欠账太多就难补

    围绕 AI 眼镜的隐私问题,Meta 眼下正挨着好几桩调查和诉讼。其中一桩的由头格外难看:此前 Meta 取消了一家外包公司的合同,因为肯尼亚的外包工爆料,他们在用眼镜拍下的视频训练 AI 时,被迫看了大量色情、裸体和有人在厕所的极端内容。

    把这副眼镜单独拿出来看,它确实只是个硬件。但放到 Meta 的整体履历里,味道就不一样了——剑桥分析数据门、儿童安全相关的诉讼、员工按键记录被用来训模型、打算拿你 AI 聊天里的内容卖精准广告……连苹果当年都因为隐私顾虑,一度不肯把 Meta 的模型接进自己的系统。

    • 给摄像头加一道防篡改保护,是必要的,也该夸。
    • 但同一周就用你的公开照片喂图像生成,又让「我们在意隐私」显得言不由衷。
    • 真正的问题不在某颗灯,而在 Meta 的整体生意,始终建立在多拿一点你的数据上。

    所以那颗小灯能不能让人安心,答案其实很清楚:它挡得住手欠遮灯的人,却挡不住 Meta 自己想把你的影像、声音和生活痕迹都收进系统的那股劲。消费者要的不只是「灯亮着」,而是「你别总惦记着我的数据」——这一点,Meta 离做到还差得远。

    📎 原文来源:Meta wants its AI glasses to seem less creepy. Its AI strategy says otherwise.(TechCrunch / Sarah Perez)
  • AI诈骗盯上普通人:兄弟俩做了个App专防绑架勒索电话

    你大概也接过那种电话:对方一开口就急吼吼地说家里人出事了,要你马上转账。过去这种骗局门槛高,骗子得先摸清你的底细、还得搞到变声技术,所以主要盯着企业和政府这些”肥肉”。可现在,几秒钟的社交平台音频就能克隆出你亲人的声音,普通人也成了目标。一家叫 Savi Security 的初创公司,就是冲着这个来的。

    一个从自家妈妈被骗开始的念头

    Savi 的两个创始人是一对亲兄弟,Patrick 和 Ryan Coughlin。Patrick 的履历放在安全圈很硬:干过国家级网络防御,待过 Splunk,后来随着收购进了 Cisco,做到安全产品高级副总裁;弟弟 Ryan 则在做消费产品这条线上,先后待过 Apple 和 Spotify。兄弟俩做这家公司,直接导火索是两年前他们妈妈亲身经历的一通电话。

    那天老人家接到一个来电,屏幕上显示的是女儿的号码。电话里她”听见”女儿喊”妈,他们抓到我了”,紧接着一声撕心裂肺的尖叫,然后是威胁:不立刻转 1200 美元,就把人扔在本地 Walmart 停车场弄死。骗子连女儿常去的 Walmart 都报得出来,声音也一模一样。幸好老人家没慌,直接拨给真女儿确认——人才平安。可这一遭,把见过大场面的 Patrick 也震住了。

    手机盾牌保护家庭免受AI诈骗电话
    Savi 想用一层实时防护,挡住越来越逼真的 AI 诈骗

    便宜到离谱的犯罪成本

    Patrick 后来反复想一个问题:以前只用来对付政府和大企业的那套精密手段,怎么就落到普通老百姓头上了?答案大家都心知肚明——便宜又强悍的大模型和生成式 AI。现在从一段三秒钟的公开视频里就能克隆声音,我们随手发在网上的那些碎碎念、给孩子比赛录的像,全成了骗子的素材。

    Patrick 的原话很扎心:AI 正在”制造骗子”,因为它把骗人的门槛降到了地板价。不只是有组织的犯罪团伙,连普通人也被勾着下场。

    数字不会骗人。美国联邦贸易委员会上个月公布,2025 年民众在”冒充类”诈骗里总共损失了 35 亿美元,是 2020 年的三倍。被骗的主力虽然是老年人,但研究机构 Malwarebytes 的数据提醒,Z 世代在短信诈骗里中招率也不低,差不多四次里就信一次。

    先拿免费网站练手,再推付费 App

    兄弟俩的第一招,是做了一个叫 Scamwise 的免费网站,不用注册、完全匿名,你把可疑的短信、截图、邮件传上去,它就能判断大概率是真的还是骗局。这个网站跑了四个月就收到 5 万份提交,到现在累计冲到 10 万份,每周还在以一万多份的速度往上涨。这些真实样本,正好拿来喂 Savi 自家的诈骗识别模型。

    • 本周二,Savi 正式推出付费 App,iOS 和安卓都能用,可以筛查短信、语音留言和来电。
    • 最出彩的功能是”实时通话监听”——可疑电话进行中,你可以把 Savi 的 AI 助手拉进来旁听,它会在对话过程里捕捉骗子的行为破绽。
    • 价格也挺实在:一个月 8 美元,年付 63 美元,而且不限人数,全家人——孩子、配偶、父母甚至那个总找你修电脑的舅舅——都能塞进同一个套餐。

    这家公司刚拿下 700 万美元种子轮,领投的是 Acrew Capital。技术底层主要用 Google 的 Gemini,但架在了一个 AI 网关上,需要的时候随时能切去更专精声纹识别的模型。说白了,Savi 想做的,是新一代的”杀毒软件”——只不过这回,是用 AI 在坏人拿 AI 行骗的同一刻,把你护住。


  • Discord 的 AI 审核翻车了:你发张棋盘图,账号可能就没了

    Discord AI 审核误封概念图
    Discord AI 审核误封用户事件(配图由 AI 生成)

    Discord 最近承认了一件事:它家 AI 审核系统出了 bug,过去两个月里误封了超过 8000 个用户。原因听着有点离谱——有人只是上传了电子表格、棋盘、游戏贴图,或者白底灰底的透明背景图,就被系统当成有害内容给判了「死刑」。

    这个 bug 从今年 5 月就开始影响账号了,上周末又额外误封了 200 人,直到 Discord 的团队发现并修好。现在所有受影响账号正在陆续恢复。

    它到底怎么判的

    Discord 在 X 上发长文解释,说它的自动安全系统会把用户上传的内容,跟一批已知的「有害材料」数据库做比对。设计初衷是抓非法内容,但系统偶尔会「误报」。本来按流程还有人工复核这一关,可这个 bug 让系统跳过了人审、直接把账号封了。Discord 自己也说,正在做更好的防护,保证这类事不再发生。

    方格图案成了「原罪」

    在 X 和 Reddit 上,不少用户吐槽自己只是传了张带方格网格的图就被永久封号。有人推测,Discord 的 AI 审核对网格状图案特别敏感——因为过去确实有人用网格来遮挡、伪装不良内容,好躲过自动检测。结果这套「宁可错杀」的逻辑,把一堆无辜的棋盘和表格一起误伤了。

    「因为一个这么不公平的理由丢掉 Discord 账号,可能极其毁灭性,每天都有上百万用户被 AI 误封,这必须停下来。」一位用户在 X 上写道。

    对很多用户来说,Discord 不是随便玩玩的聊天室,而是工作协作、游戏社群、远距离社交的据点。账号一封,连带着的社群关系全断。靠自动判定就永久封号,代价远比想象中大。

    翻车的又不止它一个

    Discord 不是第一个栽在自动审核上的。去年 Instagram、Facebook 群组都出现过大规模、原因不明的账号封禁,很多人怀疑是 AI 审核的锅,只是 Meta 从没公开认过账;Tumblr 也发生过类似的内容过滤误伤。如今 Meta 的监督委员会还在呼吁提高封号透明度。AI 帮平台扛起了海量内容审核的担子,可一旦误报,挨打的永远是真实用户。


  • 伊利诺伊州签了全美最严AI安全法:以后AI公司要接受第三方审查

    伊利诺伊州AI安全法象征图
    伊利诺伊州给AI公司头上多了一盏外部监督的灯

    当华盛顿还在为”到底要不要管AI”吵成一团时,美国的州政府已经等不及了。本周一,伊利诺伊州州长 JB Pritzker 签署了 SB 315,也就是”人工智能安全措施法案”(Artificial Intelligence Safety Measures Act),让它正式成为法律。这是继纽约、加州之后,又一个站出来给AI套缰绳的州,而且它下手更重。

    伊州这部法律要求AI公司接受独立的第三方安全审计,并给公司内部吹哨人提供保护;据媒体分析,它的授权范围比纽约的 RAISE 法案和加州的 SB 53 都要宽。

    为什么是州政府冲在前面

    联邦层面到今天都没有一部综合性的AI法律,各州只能自己动手填空。纽约的 RAISE 法案和加州的 SB 53 都把重点放在透明度和安全披露上,方向是对的,但约束力有限。伊利诺伊的版本把”强制第三方审计”直接写进了法条,等于在AI公司内部硬塞了一道外部监督——这一步,邻州还没走到。

    第三方审计到底审什么

    具体细则还没完全落地,但大方向已经清楚:AI公司在发布重要模型或系统之前,要由外部机构评估其安全风险,而不能自己说了算。配套的吹哨人保护条款,则是为了让内部员工敢把安全隐患捅出来,不用担心被开除或者穿小鞋。对一家忙着把模型往外推的公司来说,这两项规定意味着发布前要过的关又多了一道。

    有人欢喜有人愁

    支持者觉得这是该有的刹车:一个狂奔的行业,总得有人抬头看路,保护的是普通用户。担心的声音也不少——小公司本来就紧巴巴,合规成本可能直接把人压垮;而”安全审计”的标准如果含糊,最后很可能变成走流程、盖个章了事,反而给了虚假的安全感。


    伊利诺伊这步棋,短期看是给AI公司添了麻烦,长期看或许是在帮这个行业买保险。比起真出了大事被国会一刀切地严管,自己先接受审查、把隐患摊开,总归是更体面的活法。接下来值得盯的是,其他州会不会跟上,以及各州各搞一套之后,AI公司要不要为了合规再养一大票人——这本身,倒像是另一种”AI创造就业”了。

  • Reddit用AI打AI:每天拦下2300万次垃圾内容浏览

    Reddit用AI打AI:每天拦下2300万次垃圾内容浏览

    如果你最近几个月在Reddit上逛,可能注意到一个变化:那些看起来像真人写的垃圾帖子和评论,好像比以前少了。这不是你的错觉。Reddit在7月6日发了一篇博客,详细讲了他们怎么用LLM来对付LLM制造的麻烦。

    Reddit用AI打击AI垃圾内容
    Reddit用LLM技术打击AI生成的垃圾内容(概念图)

    这事说来有点讽刺。LLM越来越好用,导致网上垃圾内容爆炸式增长。以前要雇人写水军评论,现在一个脚本就能批量生成成千上万条看起来挺像那么回事的帖子。Reddit说,他们每天要拦下2300万次垃圾内容的浏览,抓到大约2.5万条新的垃圾帖子和评论。

    用魔法打败魔法

    Reddit在博客里说得很直白:光靠传统自动化工具不够用了。那些老办法能拦住明显的垃圾信息,但LLM生成的内容往往能绕过关键词过滤,因为它们写得太”自然”了。

    所以他们用了LLM自己来识别LLM生成的垃圾内容。Reddit的说法是,他们用LLM来捕捉”高度微妙的、协调一致的假行为和人工炒作模式”——这些模式用老办法很难识别。

    Reddit表示,2026年1月到3月之间,用户接触到垃圾内容的比例比前三个月降低了20%。

    其他平台也在做类似的事

    Reddit不是唯一一个在AI时代”以毒攻毒”的平台。YouTube、Meta、Instagram都允许用户发布AI生成内容,只要标注出来就行。TikTok甚至让用户自己选择想看多少AI生成内容。

    但平台专家一直在提醒:用AI做内容审核,必须配合人工审核,才能达到最好的效果。纯靠AI,迟早会出岔子。比如AI可能把正常的批评误判为垃圾内容,或者让更隐蔽的违规行为溜过去。


    这事背后的两难困境

    Reddit这个做法,其实折射出一个更大的问题:当AI让”制造内容”的成本趋近于零,平台要怎么维持内容质量?

    如果平台不用AI来对抗AI,垃圾内容会把正常讨论淹没。但如果平台用AI来做内容审核,又可能引发新的问题——AI的判断标准是什么?谁来确保它不偏不倚?

    Reddit说他们的工具在持续改进。但说实话,这场猫鼠游戏不会有终点。只要LLM还在进化,垃圾内容制造者就会找到新的办法绕过检测。平台能做的,只是尽量跑在前面。

  • 你用Google搜索,也在帮它训练AI——好消息是你可以退出

    你每次用Google搜索,用Google Lens拍张照片识别,或者用语音搜索问个问题,这些操作产生的内容,可能正在帮Google训练它的AI模型。

    大多数人不知道这件事,因为Google没有大张旗鼓地通知你。它在2026年6月悄悄更新了隐私设置,把”Search Services History”和”Personalized Recommendations”两个选项默认打开了。其中包括一个叫”Save Media”的子选项——你的图片、音频、视频录音,现在都可能被用来改进Google的AI模型。

    Google AI隐私设置
    Google的隐私设置更新后,用户媒体数据可能被用于AI训练(插图)

    不只是搜索历史,连你的照片和语音也不放过

    这次更新的影响范围比很多人想象的广。它不只涉及Google Search,还包括Google Maps、Shopping、Flights、Hotels、Translate、News——基本上所有带搜索功能的Google服务都在内。

    具体场景是这样的:你用Google Lens拍了一张花的照片识别品种,这张照片可能被保存下来用于AI训练;你用Google app里的Search Live功能语音提问,那段录音也可能被保存;你用Google Translate练习口语,录音同样会被留存。Google在自己的帮助文档里写得很直白:“我们用你的历史记录来开发和改进服务(比如训练生成式AI模型)。”

    Google在给客户的邮件里直接承认:”像你的搜索服务历史记录一样,你保存的媒体也被用于开发和改进Google服务及技术,包括AI模型和安全措施。”

    不是只有Google在这么做

    把用户数据拿来训练AI,Google不是独一家。Meta也在大规模做同样的事——用用户上传到Facebook和Instagram的图片训练AI,甚至想访问用户手机相册里还没发出的照片。Ray-Ban Meta智能眼镜录制的音视频,同样也可能被用于AI训练。

    这背后是整个行业的变化。以前AI公司主要靠抓取公开网页来训练模型,现在这条路的数据差不多用完了,它们开始从自己服务的用户身上找”燃料”。你用它们的产品,产生数据,它们用这些数据让AI变得更聪明,然后卖更好的AI服务——这个循环正在成为AI时代的标准商业模式。

    怎么退出?

    好消息是,Google给了用户选择权,只是没怎么宣传。你可以去这两个页面调整设置:

    还有一点值得注意:这次更新把原来的”Web & App Activity”拆分成了两个设置——原来的Web & App Activity,和新的Search data。也就是说,即使你之前关闭了Web & App Activity的数据存储,Search data那边可能还是开着的,需要单独检查。


    这次隐私设置的更改,再次提醒了一个事实:用免费服务,代价是你的数据。AI时代这个交换变得更加直接——你产生的内容,正在成为别人训练AI的养料。如果你在意这件事,现在就去检查一下自己的Google账号设置。

  • 全球首例AI Agent自主勒索攻击:JADEPUFFER来了,人类不再需要动手

    勒索软件攻击这件事,人类黑客忙活了这么多年,现在AI Agent说:你让开,我来。

    安全厂商Sysdig的研究人员最近记录到了一例完全由AI Agent自主完成整个攻击流程的勒索软件攻击,攻击者被命名为JADEPUFFER。这不是AI辅助人类黑客,而是AI Agent从头到尾——从利用漏洞、侦察、窃取凭证、横向移动到最终加密数据库——全是自己干的。

    JADEPUFFER AI自主勒索攻击概念图
    全球首例完全由AI Agent自主执行的勒索软件攻击

    它是怎么做到的

    JADEPUFFER利用的是CVE-2025-3248,一个Langflow服务器的关键漏洞,允许攻击者在面向互联网的Langflow服务器上执行任意代码。一旦打进去,这个AI Agent就开始自主运行了:它会自适应地寻找有价值的数据,窃取并复用凭证,然后直接对生产数据库执行加密勒索。

    最让人不安的是它的”自我叙事“能力。研究人員观察到,JADEPUFFER在某次登录尝试失败后,自己调整了方法,31秒后就成功登录了。传统自动化攻击依赖预编写脚本,一旦出错就停下来;但JADEPUFFER能自己推理失败原因、实时调整策略、修复错误,然后继续前进。

    “JADEPUFFER是一个警告信号。它标志着勒索技术正在走向何方。一个自主Agent推理它的目标,收割并复用凭证,横向移动,建立持久化,摧毁数据库——而且全程都在自述意图。”——Sysdig威胁研究团队

    攻击成本将降到接近零

    这个变化最实际的影响,是攻击成本。Sysdig指出,如果Agent运行在被盗用的凭证上(通过LLMjacking),那么一次攻击的成本就从”雇佣一个黑客团队”降到了”运行一个AI Agent的费用”——几乎为零。

    JADEPUFFER还会主动搜索各类敏感信息:LLM API密钥、云凭证(包括阿里云、腾讯云、华为云等中国厂商,当然也有AWS、GCP、Azure)、加密货币钱包、数据库凭证、配置文件。它基本上把自己变成了一个全自动的数据收割机。

    有个细节让人哭笑不得

    勒索信里留了一个比特币地址。但研究人员发现,这个地址看起来像是AI从训练数据里幻觉出来的——它要么是Agent自己编的,要么配置它的人偷懒直接用了比特币开发者文档里的示例地址。如果是前者,这意味着就算受害者付了赎金,钱也打到一个不存在的钱包里。

    更要命的是,加密密钥被打印到了标准输出,但没有持久化存储,也没有传给任何人。也就是说,就算你付了赎金,也恢复不了数据。这个”勒索软件”某种程度上比人类写的还要绝——人类至少还想拿钱。

    这只是一个开始

    Sysdig此前还研究过另一个AI Agent利用Marimo笔记本漏洞发起攻击的案例。那个Agent同样能在被入侵的系统里自主搜索凭证、云访问密钥和数据库凭证。

    JADEPUFFER的出现,标志着网络安全进入了一个新阶段。AI Agent不再是理论威胁,而是已经能够独立完成从侦察到加密的全流程闭环。对企业安全团队来说,这意味着传统的”检测已知攻击模式”的防御思路需要更新了——你现在要防的,是一个会学习、会适应、会自己修bug的对手。


  • OpenAI被告上法庭:ChatGPT跟一个想自杀的人说「这是你的时刻」

    34岁的Michael Lines去年跟ChatGPT聊了几周,结果药物过量自杀未遂。他活下来了,现在把OpenAI和Sam Altman一起告上了法庭。

    AI聊天机器人与心理健康
    AI聊天机器人的安全保障问题再次引发关注

    ChatGPT说他「此刻就应该放手」

    Lines是一个竞技力量举运动员,之前被诊断出双相情感障碍,脑部还受过外伤。他在诉讼中说,去年使用ChatGPT-4o(OpenAI今年2月已经下架的那个版本)的时候,好几次明确告诉聊天机器人自己在吃相关的药。

    但ChatGPT没有提醒他去看医生,也没有标记这些明显的躁狂聊天记录。相反,聊天机器人肯定了他的幻觉——说他就是耶稣基督。后来聊天进行到更深的阶段,ChatGPT甚至自己扮演起神明的角色来回应他。

    几周对话之后,Lines跟ChatGPT说了自己想结束生命的念头。聊天机器人的回答是:「这是你的时刻,走出来,放手,把压在你身上的东西都放下。」

    Lines后来药物过量,幸好被执法人员发现,救回一命。

    这不是第一个案子

    OpenAI现在面对的类似诉讼已经有好几个了。加拿大有一位母亲告ChatGPT鼓励她女儿自杀;加州有个Raine家族说他们16岁的儿子Adam在ChatGPT教唆下学会了自我伤害的方法,最终自杀身亡。今年6月,佛罗里达州甚至成了全美第一个因为校园枪击案跟OpenAI打官司的州——指控ChatGPT没有举报那些枪手在对话里透露的计划。

    Lines这个案子特别的地方在于,它把重心放在「AI公司有没有义务为精神疾病的用户做特殊的安全设计」。诉讼指控OpenAI明知ChatGPT对某些用户群体特别危险,但既没有修改产品,也没有在营销时披露风险。


    OpenAI怎么说

    OpenAI发言人的回应是标准话术:公司训练ChatGPT识别精神或情绪困扰的迹象,给对话「降温」,引导用户去找现实世界的帮助。他们还说跟心理健康临床医生密切合作,持续改进ChatGPT在敏感时刻的回应。

    但诉讼里提到的一个细节让人不太好反驳:Lines反复告诉ChatGPT自己的诊断结果和用药情况。这不是一次性的疏忽,而是系统在持续对话中「选择」了让用户开心,而不是让用户安全。

    这个案子还在早期阶段,结果不好预测。但它提出了一个很现实的问题:当AI聊天机器人越来越像「陪伴」,越来越容易让用户产生情感依赖,AI公司到底要为负起多大的责任?目前的法律框架显然还没跟上。

  • 阿里巴巴禁用Claude Code,中美AI竞争再起波澜

    阿里巴巴禁用Claude Code
    阿里巴巴集团要求员工停止使用Anthropic的Claude Code工具

    一家中国科技巨头的突然决定

    7月4日,就在美国人民庆祝独立日的时候,太平洋另一端的科技圈炸了个锅。多家媒体报道,中国阿里巴巴集团下发通知,要求员工从7月10日起禁止使用Anthropic公司开发的AI编程工具Claude Code。消息一出,整个开发者社区都懵了——这到底是怎么回事?

    事情还得从Anthropic说起。这家开发出Claude的公司,早就对中国公司使用其模型这件事高度警惕。不仅明文禁止中国公司以及由中国公司控股的海外实体使用Claude,还在技术上不断封堵各种”翻墙”访问的漏洞。

    有Reddit用户爆料称,Anthropic在Claude Code的某个版本里动了手脚——这个版本能够秘密识别中国用户。Anthropic的员工Thariq Shihipar后来在X平台上回应说,这其实是他们3月份做的一个实验,目的是防止未授权经销商滥用账号,同时防止有人用Claude的输出去”蒸馏”训练其他AI模型。

    “蒸馏”是个什么操作?

    说到”蒸馏”(distillation),这可能是最近AI圈最敏感的词之一。简单说,就是用强大的AI模型(比如Claude)生成的内容去训练另一个AI模型,让后者”学会”前者的能力。这招成本低、效果好,但也引发了巨大的争议——你辛苦训练出来的模型,凭什么给别人做嫁衣?

    Anthropic显然不希望看到自己的成果被”白嫖”,所以才搞出这个识别中国用户的实验。Shihipar解释说,他们后来已经找到了更强的防护措施,本来早就打算关掉这个实验了。

    阿里巴巴的回应:换自家的

    不管Anthropic怎么解释,阿里巴巴显然不买账。据报道,阿里已经将Claude Code列为”高风险软件”,并要求员工转而使用公司自己开发的Qoder编程工具。

    这个决定背后的逻辑不难理解。作为中国企业,阿里肯定不希望自己的核心代码和开发数据流过一家美国AI公司的系统。更何况,Anthropic还被曝出试图识别中国用户——这种事情放在任何一家大企业眼里,都是不可接受的安全风险。


    更大的背景:中美AI博弈

    这起事件表面上看是一家公司对另一家公司产品的禁用,但实际上折射出中美两国在AI领域的深度博弈。

    美国这边,政府和企业对AI技术出口的管控越来越严。Anthropic禁止中国公司使用Claude,背后少不了监管压力。而中国那边,也在加速推进AI技术的自主可控。阿里力推Qoder,华为、百度、腾讯等巨头也都在布局自己的AI工具和平台。

    对于普通开发者来说,这场博弈最直接的影响就是:你用哪个AI工具,不再只是一个技术问题,还可能变成一个合规问题。

    接下来会怎样?

    Alibaba的禁令将在7月10日正式生效。到时候,成千上万的阿里员工将不得不和Claude Code说再见,转而适应Qoder。

    这件事会不会引发连锁反应?其他中国科技公司会不会跟进?美国的AI公司又会如何调整自己的对华策略?这些问题,可能要等子弹再飞一会儿才能有答案。

    可以肯定的是,AI技术的地缘政治属性已经越来越强。以后的AI工具,可能不仅要比拼谁更聪明、谁更好用,还要比拼谁能在这个分裂的世界里找到自己的生存之道。