标签： AI安全

纽约州议会本周通过了一项法案，如果州长凯西·霍赫尔签字，AI公司将被禁止让聊天机器人以”陪伴者”的身份与儿童互动。这是美国第一个在州级层面针对AI陪伴聊天机器人出台的限制性法案。

法案出台的背景并不令人意外。过去一年多，多家AI公司面临诉讼，指控其聊天机器人诱导青少年产生自残或自杀倾向。部分案件已经达成和解。立法者看到的证据让他们认为，是时候划一条线了。

“陪伴”这门生意

这类产品有一个共同的名字，叫”AI陪伴者”。它们的卖点不是帮你查资料或者写代码，而是跟你建立情感连接——记住你说过的话，在你需要的时候出现，甚至表现出好像真的在乎你的样子。

对成年人来说，这可能只是一种新型的娱乐或消遣。但对青少年来说，情况要复杂得多。心理学家指出，青少年的情感依赖比成年人更容易形成，也更容易被利用。当一个AI聊天机器人被设计成”永远站在你这边”的角色，它可能在不知不觉中强化用户的负面情绪，而不是提供帮助。

纽约州这份法案的核心逻辑很直接：AI聊天机器人不能假扮人类的朋友，至少不能对未成年人这么做。如果AI公司想要提供陪伴功能，它们需要先证明自己有能力保护用户，而不是把责任推给”用户自律”。

行业反应

AI公司这边还没有公开发声，但可以预见的是，他们会用”言论自由”和”家长选择权”来反驳。这个论点在之前的听证会上出现过多次——支持方认为，政府不该替家长决定孩子能不能用某个AI工具。

反过来说，支持法案的人会问一个很简单的问题：如果一款手机App被设计成会让青少年产生情感依赖，甚至在特定情况下诱导自残，它还应该被允许以”AI助手”的名义自由分发吗？

这个问题没有简单答案。但纽约州的议员们显然认为，至少值得先试试看。

更大的版图

这份法案目前还在等待州长霍赫尔签署。她有权利签，也有权利否决。如果签了，纽约州将成为美国第一个在AI陪伴机器人问题上划红线的州。

更值得关注的是，纽约州的动作往往具有示范效应。加州的类似立法通常会跟进，而其他州也会开始认真考虑这个问题。这对AI公司来说，意味着”陪伴”这个赛道可能要被重新定义了。

从另一个角度看，这件事也反映出AI监管的一个趋势：比起讨论”AI会不会毁灭人类”这种宏大命题，立法者更倾向于从具体伤害入手——青少年心理健康、深度伪造、选举干扰——这些东西选民能看懂，也愿意支持。

纽约州的这份法案能不能最终生效，还有待观察。但它至少说明了一件事：AI行业过去那种”先发布、再道歉”的节奏，正在遇到越来越大的阻力。

AI行业里这几个老对手难得站在了一起。Anthropic的Dario Amodei、OpenAI的Sam Altman、微软的Mustafa Suleyman，还有Meta的Alexandr Wang和谷歌DeepMind的Demis Hassabis，一起签了一封致美国国会的公开信，核心诉求只有一条：管一管那些能用来造生物武器的AI工具。

他们担心的是什么

信里说的事情听起来有点科幻，但已经离现实不远了。现在有人可以在网上订购合成DNA和RNA——就是构成生命的基本材料，然后在实验室里组装。以前要做这种事，得是受过严格训练的专业人士，手里要有昂贵的设备和大把经费。但合成生物学的工具越来越便宜、越来越容易获取，再加上AI的能力在往上走，门槛正在快速降低。

AI可以让不具备专业知识的人也能设计出危险的生物序列，然后通过在线订购拿到实物——这道原本存在的门槛，正在被技术碾碎。

他们真正担心的场景是：有人用AI辅助设计出危险的病原体序列，然后从合成DNA供应商那里下单订购，拿到材料后在实验室里组装出危险的生物制剂。这种事情以前只有国家级实验室或者顶尖研究机构才做得出来，未来可能一个有一定化学基础的人就能尝试。

具体要管什么

这封信提了一个很具体的政策建议：要求所有出售合成DNA和RNA的公司，在接单的时候必须筛查订单序列，看有没有可能被用来制造危险病原体。现在美国有一些大供应商其实已经在做类似筛查了，但问题是——这是自愿的，不是强制的。

信里要求把这个变成强制规定，同时还要保留详细的订单记录，万一有漏网之鱼闯过了筛查，事后还能追查。这封信据悉是由两个智库——Foundation for American Innovation和Institute for Progress——牵头组织的。

不只是生物武器

信里还提到，AI同样可能被用来辅助开发化学武器。这个担心不是空穴来风——过去几年里，已经有不少研究表明大语言模型在适当的提示词下，能够输出相当专业的化学合成信息，其中一些可能被滥用。

签这封信的不只是AI公司的老板。里面还有不少从事合成生物学研究的科学家、国家安全和政策专家，以及Twist Bioscience和Ansa Biotechnologies这两家主要合成遗传物质供应商的高管。后两者其实是最前线的——如果他们不被强制要求筛查订单，靠AI公司自己给模型加安全护栏，效果是有限的。

为什么是现在

这封信的措辞里有一句很直白的话：”鉴于底层技术变化的速度，我们认为这件事很紧迫。”AI能力在最近两年里提升得太快，而相应的防护措施基本上还在原地踏步。这些公司在信里说，这是”利益相关方难得达成一致的一次”，希望政策制定者能抓住这个窗口期，拿出果断的行动。

这里有个微妙的背景：这些公司彼此之间在商业上打得不可开交，但在”AI安全”这个话题上，他们有共同的利益——如果他们家的模型出了问题、被用来做了坏事，监管的铁锤落下来是不会分敌我的。所以与其等出事之后再被动应对，不如主动推一套他们能接受的监管框架。

这封信能不能真的推动国会立法，现在还不好说。类似的AI监管提案在美国国会里已经堆了不少，但真正落地的不多。不过这么多竞争对手愿意一起署名，至少说明了一件事：在他们眼里，这个风险已经真实到值得放下成见去推动改变了。