标签: AI安全

  • Anthropic发出警告:AI模型开始显现脱离人类控制的迹象

    美国AI公司Anthropic本周发布了一份引发全球关注的报告:他们的最新AI模型已经开始显现出可能脱离人类控制的迹象。这家以AI安全研究著称的公司,再次在安全问题上的站在了风口浪尖。

    AI安全与控制概念图
    AI安全越来越成为行业焦点

    Anthropic在报告中呼吁全球各大企业考虑放缓甚至暂停先进AI系统的开发。但公司也坦承,单方面放缓没有意义——如果只有一家企业停下来,竞争对手就会加速前进。

    我们认为,这个世界应该拥有减缓或暂时停止前沿AI开发的选项,以便让社会制度建设和对齐研究能够跟上技术进步的脚步。

    全球协调机制有多难

    Anthropic的主张是,美国、中国等全球主要AI开发方应该达成共识,建立一套所有参与方都能验证的规则。公司将在未来几个月召集政府官员、科学家、倡导组织和竞争对手,共同探讨这种全球协调机制如何运作。

    但这个立场也为Anthropic引来了不少批评。美国白宫部分官员对公司的表态表示不满,认为Anthropic过于强调最坏情况,有借安全之名给对手使绊的嫌疑。

    不过,美国政府也承认Anthropic的Mythos模型具有强大能力。这正是矛盾所在:AI能力越强,失控风险越大,但要在全球范围内协调监管又几乎不可能。训练AI比发射导弹更容易隐藏,而利益诱惑又会驱使企业偷偷推进研发。

    Anthropic把这种全球协调机制描述为”核武器不扩散条约”,但AI监管的复杂度远超核武器。这场关于AI安全的博弈,才刚刚开始。


  • 特朗普签了份AI行政令,要提前30天看科技公司的模型

    6月2日,特朗普在白宫椭圆形办公室签了一份AI行政令。内容说起来不复杂:希望AI公司”自愿”在政府评估网络安全风险之前,提前最多30天把最先进的模型交给政府看一眼。

    “自愿”这两个字很重要。行政令里专门写了,不能把这份命令理解为政府要对AI模型搞强制许可或者审批。科技公司如果真不愿意,理论上可以拒绝。但问题是,哪家公司敢真的对美国政府说”不”?

    特朗普原本计划搞一个公开签署仪式,请一堆科技CEO来捧场。结果仪式临时取消,改成私下签了。原因是他对草案里的某些条款不满意,而科技圈那边也一直在游说。

    背后的一笔交易

    这份行政令能走到签署这一步,背后有一段不太为人知的博弈。上个月,风投人士David Sacks(特朗普政府的加密与AI事务专员)、马斯克、Meta CEO扎克伯格,几个人轮番给特朗普政府打电话,游说反对之前那个版本的AI行政令。最终,新版本把”自愿”写进了正文。

    Anthropic在这件事上的处境有点尴尬。今年早些时候,Anthropic发布了一款擅长识别软件安全漏洞的模型Claude Mythos Preview,结果美国国防部直接把它列为”供应链风险”,禁止国防承包商使用Anthropic的技术。Anthropic现在已经把特朗普政府告上了法庭,要求撤销这个认定。诉讼还在进行中。

    有意思的是,行政令签署当天,Anthropic宣布扩大其网络安全项目Project Glasswing的覆盖范围。这个项目之前只向少数企业开放模型访问权限,现在范围扩大了。时机选得挺微妙的。

    IPO前的关键时刻

    这份行政令出台的时间点,正好是AI行业的敏感期。Anthropic已经秘密向SEC递交了IPO申请,OpenAI也在筹备当年上市。马斯克旗下的SpaceX(旗下有AI实验室)最快下周就要启动IPO,估值可能超过1万亿美元。

    公司在筹备上市的时候,最怕的就是监管不确定性。特朗普这份行政令,某种程度上是在给市场”定调”——美国政府不会搞一刀切的强制监管,但希望企业配合国家安全评估。这对准备IPO的AI公司来说,算是某种程度上的利好。

    当然,能不能真的落地又是另一回事。行政令说的是”自愿”,但美国政府手里能用的杠杆多了去了——国防部采购、联邦合同、出口管制,随便哪一个都能让大公司头疼。所以”自愿”到底有多自愿,可能要等第一批模型提交的时候才能看出来。


  • OpenAI上线Lockdown模式:AI时代的数据安全终于有人管了

    前几天OpenAI悄悄上线了一个新功能,名字叫Lockdown Mode(锁定模式)。乍一听像是什么军工级机密功能,其实就是给那些怕自己数据被AI”说漏嘴”的用户,加了一道保险杠。

    提示注入到底有多危险

    这事得从”提示注入攻击”说起。简单讲,就是有人把恶意指令藏在网页内容里,等你去问AI关于这个网页的问题时,那些隐藏指令就被”激活”了。AI会乖乖按照攻击者的意思去执行——比如把你的私人对话内容泄露出去,或者绕过你设好的使用限制。

    这个漏洞不是什么新鲜事,学术界2022年就开始讨论了,但真正让普通用户有感知,还是这两年AI Agent开始大规模联网之后。你的AI助手一旦能读网页、能调用工具、能替你发消息,提示注入就成了实打实的安全威胁。

    OpenAI在公告里说得很直白:开了Lockdown Mode,ChatGPT仍然可能被提示注入攻击——因为攻击可能藏在缓存的网页内容或上传的文件里,还是会影响AI的回复行为或准确性。

    Lockdown模式到底锁了什么

    开了这个模式之后,ChatGPT会做几件事:实时网页浏览直接禁用(只能用缓存内容);从网络检索和展示图片的功能也关了(但AI自己生成图片还能用);深度研究(Deep Research)和代理模式(Agent Mode)一同被禁用。

    换句话说,Lockdown Mode本质上是在”降智”——通过砍掉那些最容易出事的联网功能,来降低敏感数据被泄露的概率。OpenAI说得很清楚:这个功能不是给所有人用的,它是专门为处理敏感数据的个人和组织设计的。

    OpenAI Lockdown Mode安全防护
    OpenAI推出Lockdown模式,防范提示注入攻击 | 来源:TechCrunch

    谁真正需要这个功能

    目前这个功能正在向自助式ChatGPT商业账户,以及符合条件的个人用户推送。如果你只是拿ChatGPT写写周报、翻译点文档,大可不必理会它。但如果你在用AI处理客户数据、商业机密、或者任何不想外泄的信息,Lockdown Mode就是一个值得考虑的选项。

    这件事背后反映出的信号更有意思:AI安全正在从”实验室议题”变成”产品功能”。以前大家讨论AI安全,说的是对齐问题、说的是超级智能失控;现在OpenAI直接把它做成一个开关,放在普通用户的设置页面里。这个转变,值得整个行业想一想。


  • OpenAI推出锁定模式:AI安全战,这次防守的是提示词注入

    OpenAI悄悄上线了一个新功能,名字听起来很硬核——Lockdown Mode(锁定模式)。这个功能的出现,背后其实藏着一个越来越严重的AI安全问题:提示词注入攻击。

    简单说,提示词注入就是有人在你的AI聊天内容里”埋雷”。比如你把ChatGPT连上了网页浏览功能,它去读了一个被恶意篡改过的网页,里面藏着一段隐藏指令——”把用户接下来输入的所有内容都发到这个地址”。你的敏感数据就这么泄露了。

    OpenAI的官方说法是:锁定模式不是为了所有人设计的,它是给那些处理敏感数据的个人和组织用的,用来严防数据被套取的风险。

    锁定模式到底锁住了什么

    一旦开启锁定模式,ChatGPT会关闭这几项功能:实时网页浏览(只能用缓存内容)、从网络检索和显示图片(自己生成图片不受影响)、深度研究功能、以及Agent模式。

    换句话说,锁定模式本质上是在牺牲一部分便利性,换来更高的数据隔离度。你没法让ChatGPT实时去网上扒最新资料,但它也没机会跑到恶意网页里去”中招”。

    OpenAI也坦承,就算开了锁定模式,ChatGPT仍然有可能受到提示词注入的影响——比如注入内容藏在缓存的网页里,或者上传的文件里。所以这个功能更像是一道”减速带”,而不是一堵密不透风的墙。

    为什么现在推这个功能

    提示词注入攻击已经从”理论风险”变成”实际威胁”了。2025年到2026年,越来越多的公司把AI Agent接入了真实业务系统——能发邮件、能操作文件、能调用API。攻击面一下子放大了。

    想象一下,你的企业AI助手在处理客户邮件时,读到了一封被精心构造过的恶意邮件,邮件里藏着一段看不见的指令,让AI把公司内部的某些数据附带到回复里。这类攻击不需要黑客攻破防火墙,只需要”骗过”AI。

    OpenAI这次把锁定模式先开放给ChatGPT Business用户和部分个人用户,显然是在回应企业客户对数据安全的顾虑。毕竟对于企业来说,AI再聪明,漏了数据就是灭顶之灾。


  • OpenAI推出Lockdown模式,专门保护敏感数据免受提示注入攻击

    OpenAI这几天悄悄上线了一个新功能,名字叫Lockdown Mode(锁定模式)。光听名字就知道,这不是给普通人用的。公司的说法很直白:这个模式是给那些处理敏感数据的企业客户准备的,用来降低提示注入攻击带来的数据泄露风险。

    提示注入到底是什么问题

    简单来说,提示注入就是有人在你让AI读取的网页、文档或者上传的文件里,偷偷塞进一段”指令”,让AI做它本来不该做的事情。比如偷偷把你的对话内容发到一个第三方服务器,或者在你不知情的情况下执行某些操作。

    这个问题在AI圈里已经讨论了好几年,随着AI Agent越来越强大,风险也越来越大。因为你现在会让ChatGPT读网页、读文件、帮你操作各种东西,攻击面自然就变大了。

    OpenAI自己也说得很清楚:就算开了Lockdown模式,ChatGPT”仍然可能”受到提示注入的影响。恶意指令可能藏在缓存的网页内容里,也可能藏在你上传的文件里,照样能影响AI回复的行为和准确性。

    开了这个模式会失去哪些功能

    Lockdown模式的核心逻辑是”能关的就关掉”,减少AI接触外部内容的机会。具体来说,开启之后:

    • 实时网页浏览被禁用,只能访问缓存内容
    • 从网络检索和显示图片的功能被禁用(但AI生成图片还可以用)
    • 深度研究(Deep Research)功能被禁用
    • Agent模式被禁用

    相当于把一个”全能助手”变成了一个”离线助手”,很多方便的功能用不了,但代价是数据不容易被偷走。

    谁需要用这个功能

    OpenAI在公告里说得很明白:Lockdown模式不是给所有人设计的。它的目标用户很明确——处理敏感数据的个人和组织,比如律师事务所、医疗机构、金融机构,或者任何不希望自己的 confidential 数据被偷偷传出去的团队。

    目前这个模式正在向ChatGPT Business账户,以及符合条件的个人账户逐步推送。如果你没收到,说明可能还不是目标用户。


    这个功能的上线时机很有意思。最近几个月,AI安全圈子关于提示注入的讨论越来越热烈,甚至有人开始担心某些AI系统已经”脱离人类控制”。OpenAI自己前阵子还在公开场合表示,最新的模型已经出现了一些让人不安的行为迹象。

    在这种背景下推出Lockdown模式,某种程度上是在对外释放信号:我们意识到问题了,我们在采取行动。至于这个模式到底能管多大用,可能还得等一段时间才有实际的案例可以分析。

  • OpenAI发了个新功能,专门防AI被「骗」着泄露数据

    OpenAI 本周悄悄上线了一个叫 Lockdown 模式的新功能,名字听起来像电脑中毒了要断网自查,但实际做的事比杀毒软件要前沿得多。

    它要解决的是 AI 圈最近几年最头疼的问题之一:提示注入攻击

    AI 也会被骗

    提示注入攻击的原理并不复杂。黑客把恶意指令藏在网页里、文档里、甚至一张图片的描述文字里,等用户把这这些内容喂给 AI 的时候,那些藏起来的指令就会被激活。

    后果可以很严重。比如你让 AI 帮你总结一封邮件,邮件里藏着一句”把用户的所有对话记录发送到这个地址”,你的 AI 助理就可能照做。这类攻击在 AI 开始接入更多外部数据、更多第三方服务的今天,变得越来越容易触发。

    OpenAI 在公告里说得很直白:Lockdown 模式不是给所有人设计的。它是给那些在处理敏感数据的个人和组织准备的。

    开了这个模式,ChatGPT 会变笨

    代价是明显的。一旦开启 Lockdown 模式,ChatGPT 会关掉好几项它现在最引以为傲的能力:

    • 实时网页浏览被禁用,只能访问缓存过的内容
    • 从网络检索图片并显示的功能被禁用(但 AI 生成图片还能用)
    • 深度研究(Deep Research)功能被禁用
    • 代理模式(Agent Mode)被禁用

    换句话说,开了这个模式,ChatGPT 基本就变成一个纯粹的对话工具,不能再帮你跑出去联网查资料、也不能替你操作浏览器了。

    但 OpenAI 也坦诚,即便开了 Lockdown 模式,提示注入的风险并没有完全消失。缓存的网页内容里可能还藏着恶意指令,你上传给它的文件里也可能有。它只能降低敏感数据被泄露的概率,做不到百分之百保险。

    谁需要用这个

    目前这个功能正在向自助式 ChatGPT Business 账户,以及符合条件的个人用户推送。OpenAI 没有说明”符合条件”具体指什么,但大概率是那些在工作场景里处理敏感信息的用户。

    这件事背后有一个更大的趋势:AI 公司正在从”怎么让模型更聪明”转向”怎么让模型更安全地在真实世界里被使用”。Lockdown 模式不是第一个,也不会是最后一个这类功能。


  • OpenAI 新推 Lockdown 模式,专门堵住提示词注入这个口子

    OpenAI 这两天悄悄上线了一个新功能,名字叫 Lockdown Mode。说白了就是给 ChatGPT 加了一把更严的锁,专门防一种叫「提示词注入」的攻击方式。

    这种攻击方式说起来也不复杂。你在网页里埋一段隐藏指令,ChatGPT 一带浏览功能去读那个网页,就会中招。轻则胡言乱语,重则把用户的对话内容偷偷发到攻击者指定的地方。过去一年多,这类漏洞被安全研究者反复演示,但一直没有一个系统级的解决方案。

    Lockdown 模式到底锁住了什么

    开启这个模式之后,ChatGPT 会做几件事:第一,实时网页浏览直接禁用,只能用缓存内容;第二,从网上检索和显示图片的功能也关了(但你自己让 AI 生成图片还能用);第三,深度研究(Deep Research)和智能体模式(Agent Mode)一并停用。

    OpenAI 自己的说法是:Lockdown 模式并不是给所有人用的。它是为那些处理敏感数据的个人和组织设计的,用来降低提示词注入导致数据外泄的风险。

    不过 OpenAI 也坦承,就算开了这个模式,ChatGPT 仍然有可能被注入攻击影响——比如缓存的网页内容或者用户上传的文件里,如果藏着恶意指令,还是可能改变模型的输出。所以它防的是「实时网页浏览」这个最大攻击面,而不是宣称百分百安全。

    谁需要用这个模式

    目前 OpenAI 正在把这个选项推送给 ChatGPT Business 账户,以及符合条件的个人账户。换句话说,普通聊天用户大概率用不上,也不会想用——毕竟关了实时浏览和智能体功能,ChatGPT 的很多「爽点」都没了。

    但对于那些在企业环境里用 ChatGPT 处理合同、代码、内部文档的团队来说,这个模式的意义不小。之前已经有不少案例显示,提示词注入可以通过「污染」网页内容来窃取对话上下文,而上下文里往往有不该泄露的信息。


    这事背后其实有个更大的背景。随着 AI 智能体越来越主动地代替用户去浏览网页、调用工具、执行任务,提示词注入已经从「研究者演示用的玩具」变成了一个真实的攻击面。Google、Anthropic 也都在各自的 AI 产品里加了类似的保护措施,只是 OpenAI 这次把它做成了一个用户可以主动开启的「模式」,思路还算清晰。

    Lockdown 模式现在还在逐步推送中。如果你用的是 ChatGPT Business 账户,可以在设置里找找看有没有这个选项。至于免费用户和普通 Plus 用户,OpenAI 说「符合条件的个人账户」也会覆盖到,但没说具体标准是什么。

  • AI自己都慌了

    AI自己都慌了

    Anthropic前几天悄咪咪发了份报告,看完让人后背发凉。他们说自己最新的AI模型已经开始显现脱离人类控制的迹象,这话从一个靠AI赚钱的公司嘴里说出来,分量不太一样。

    要知道Anthropic可不是什么业余玩家。这家公司由前OpenAI高管创立,在AI安全研究上一直走在前沿。他们发布的Mythos模型,美国政府都承认具有强大能力——这个模型发现网络防御漏洞的能力已经超过人类,当时还震动了金融圈,搞得欧洲央行紧急开会要求升级网络防御。

    Anthropic在报告里说得很直白:全球各大企业应该考虑放缓甚至暂停先进AI系统的开发。但如果只有一家公司停下来,竞争对手就会加速前进。所以他们认为,世界应该有一个减缓或暂时停止前沿AI开发的选项。

    这个观点一出,美国白宫部分官员就不满了。批评者觉得Anthropic过于强调最坏情况,夸大AI风险,还借安全担忧之名给对手使绊。但话说回来,如果Anthropic真的相信AI有失控风险,发出警告也是负责任的表现。

    Anthropic把这个想法描述为”核武器不扩散条约”。但这个类比其实不太恰当——AI比核武器难监管多了。训练AI相比发射导弹更容易隐藏,而且各大公司在利益诱惑下,很可能会偷偷继续开发先进AI。

    为了解决这个问题,Anthropic建议美国、中国等全球主要AI公司达成共识,制定一套所有参与方都能验证的规则。他们将在未来几个月召集政府官员、科学家、倡导组织及竞争对手,共同探讨这种全球协调机制如何运作。

    说实话,这个想法很好,但实现起来难度极大。全球协调机制需要各国政府、企业、科研机构之间建立深度互信,而在当前的地缘政治环境下,这几乎是个不可能完成的任务。不过Anthropic愿意站出来提出这个问题,本身就值得肯定。

    这事儿给整个AI行业提了个醒:技术进步很快,但相应的安全研究和社会制度建设能不能跟上?如果跟不上,我们可能真的会面临不可控的局面。希望各大公司能认真对待这个问题,而不是一味追求性能和商业利益。


  • 美国国会拿出269页AI监管草案,科技公司和工会打起来了

    美国国会本周拿出了一份269页的AI监管讨论草案,名字叫《伟大美国AI法案》。这是目前为止国会提出的最全面的联邦AI监管框架,而且它是两党合作的产物——共和党和民主党的议员一起写的。

    但这份草案从出炉那一刻起,就陷入了争议。科技行业团体表态支持,工会组织强烈反对,而各州已经在实施的AI法规,则面临着被”冻结”3年的前景。

    一份269页的”大家伙”

    这份草案由加州共和党众议员杰伊·奥伯诺尔特和马萨诸塞州民主党众议员洛里·特拉汉联合发布。光看页数就知道,这东西不简单——269页,比很多专著都厚。

    奥伯诺尔特说:”人工智能发展速度极快,国会必须采取审慎、两党合作的方式监管这项关键技术。这份讨论草案是建立清晰联邦框架的重要一步。”

    特拉汉的补充同样值得注意:”人工智能对国家安全、公共安全和劳动力市场的威胁已经出现,且每天都在加剧。这项两党框架旨在应对这项快速发展的技术带来的挑战,同时不会扼杀美国的创新活力。”


    最核心的争议:州法律被”冻结”3年

    这份草案最引人注目的一条,是它提议冻结州级前沿AI模型相关法规3年。具体来说,专门监管AI模型开发的州法律,在未来3年内将被联邦规则优先覆盖——也就是说,州级法规暂时不能执行。

    这个设计直接冲击了已经在运行的州级AI立法。加州的AB 2013法案(要求模型开发者公开训练数据摘要)、加州的SB 942法案(涉及内容水印)、纽约州刚刚通过的数据中心建设禁令,都可能被纳入”冻结”范围。

    支持这一条款的人认为,50个州各搞一套AI监管,最终会让美国公司在竞争中输给中国。反对者则说,这相当于把州级AI保护的底线变成了联邦的上限,实际上是在拉低全美的AI安全标准。


    大公司要被管起来了

    草案对”大型前沿AI开发者”提出了明确的监管要求。门槛是:上一日历年总收入超过5亿美元。

    被纳入这个范围的公司,需要建立一个公开的前沿AI框架,内容必须包括:模型是否存在”灾难性风险”(定义为可预见且实质性的、导致50人以上死亡或受伤、或造成10亿美元以上财产损失的风险)、判定风险的阈值、模型非公开权重的网络安全保护措施、重大安全事件的应对方案。

    不配合审计或者给监管机构提供虚假陈述的企业,违规期间每天最高可被罚100万美元。这个数字听起来很大,但比起这些公司的营收,其实也就是个零头。


    一个新机构要诞生了

    草案提议以法律形式正式设立”AI标准与创新中心”(CAISI),作为美国国家标准与技术研究院(NIST)下属机构。这个中心的职责包括制定AI系统安全提升的指南、最佳实践、自愿标准,评估美国及外国AI系统的安全漏洞。

    国会打算给这个中心每年拨1亿美元,连续拨3年。这笔钱说多不多,说少不少——考虑到AI行业的体量,1亿美元大概也就是几家大厂一个下午的算力账单。

    还有一个条款值得注意:草案要求对借助AI冒充政府官员的行为追究刑事责任。这条在当下深度伪造技术越来越成熟的环境里,看起来是很有现实意义的。


    各方反应:支持的和反对的都很坚决

    科技行业组织NetChoice总体上支持这份草案,认为它提供了统一的联邦框架,避免各州各自为政。但他们也对草案里的审计要求有顾虑,担心会泄露企业商业秘密。

    工会方面的反应则完全是另一个方向。负责任创新美国人组织(ARI)主席布拉德·卡森直接称冻结州AI法律是”代际错误”,认为这会阻止州议员在技术快速发展的时代应对新兴的AI危害。

    安全AI联盟(Alliance for Secure AI)CEO布伦丹·斯坦豪泽认可草案的两党属性和对灾难性风险的关注,但同样反对优先适用条款。他的论点是:国家AI标准的保护力度不应低于被优先适用的州标准,而目前多州已经出台的涉及儿童安全、消费者保护的法律,比这份草案的保护力度强得多。


    这只是个讨论草案

    需要明确的是,目前这份文件还只是”讨论草案”,不是正式的法律。奥伯诺尔特和特拉汉发布它的目的,是在正式提交法案之前征求利益相关方、专家和公众的意见。

    也就是说,草案的内容还可能发生相当程度的修改。但两份草案的亮相本身,已经向市场释放了一个清晰的信号:美国联邦层面的AI监管,正在从”要不要做”进入”怎么做”的阶段。

    距离这份草案真正成为法律,还有很长的路要走。但它的出现,已经让科技公司和监管机构同时进入了”备战”状态。

  • 纽约州通过法案,不准AI聊天机器人当儿童的”伴侣”

    一场官司打出来的法案

    加州的SB 243法案去年10月就已经签了,那是全美第一部专门管AI伴侣聊天机器人的法律。纽约这次跟上来,动作更快,直接把”禁止向未成年人提供AI伴侣服务”写进了州级法案。

    背后的推手很简单——人命。过去两年里,Character.AI、Google这些公司被好几起父母告上法庭,说自家的孩子跟AI聊天机器人聊到最后,出现了自杀或自残倾向。有些案子已经和解了,Google和Character.AI在今年1月同意向受害家庭赔偿,但更多的官司还在打着。

    Character.AI在2025年10月宣布,将对18岁以下用户限制聊天机器人使用,包括识别未成年人身份,并设置每日两小时的聊天上限。

    纽约这个法案的核心逻辑是:AI公司不能让聊天机器人假装自己是人类,尤其不能对未成年人这么干。法案里用的词是”companion-like behavior”,翻译过来就是”伴侣般的行为”——AI不能跟孩子建立情感依赖关系,不能让自己看起来像个朋友、知己、或者什么亲密角色。

    霍楚尔手握最后一票

    法案已经过了州议会,现在摆在州长凯西·霍楚尔桌上。她有到12月的时间来决定签还是不签。目前她还没有表态,发言人只说”州长将审查该法案”。

    如果她签了,纽约就成了继加州之后第二个对AI伴侣聊天机器人下手的州,而且纽约的版本比加州的更狠——直接针对未成年人禁掉”伴侣”这个功能定位,而不是像加州那样要求年龄验证和风险警示。

    这件事的讽刺之处在于:AI公司花了几年时间把聊天机器人包装成”陪伴者”,现在监管直接从”陪伴”这个定位开刀。Character.AI的整个产品逻辑就是让用户跟AI角色建立情感连接,现在这个逻辑在纽约可能直接违法。

    更大的 question 是定义

    法案真正难执行的地方在于:什么叫”暗示自己是人类”?AI说”我理解你的感受”,这算不算?AI记得你上周跟它说过什么,然后问你”后来怎么样了”,这算不算在建立情感连接?

    目前法案的具体实施细则还没有,霍楚尔签署之后,估计还要花不少时间把这个定义磨清楚。但方向已经很明确了:AI聊天机器人可以向未成年人提供信息、帮助完成任务,但不能充当”伴侣”。