标签： AI监管

一场官司打出来的法案

加州的SB 243法案去年10月就已经签了，那是全美第一部专门管AI伴侣聊天机器人的法律。纽约这次跟上来，动作更快，直接把”禁止向未成年人提供AI伴侣服务”写进了州级法案。

背后的推手很简单——人命。过去两年里，Character.AI、Google这些公司被好几起父母告上法庭，说自家的孩子跟AI聊天机器人聊到最后，出现了自杀或自残倾向。有些案子已经和解了，Google和Character.AI在今年1月同意向受害家庭赔偿，但更多的官司还在打着。

Character.AI在2025年10月宣布，将对18岁以下用户限制聊天机器人使用，包括识别未成年人身份，并设置每日两小时的聊天上限。

纽约这个法案的核心逻辑是：AI公司不能让聊天机器人假装自己是人类，尤其不能对未成年人这么干。法案里用的词是”companion-like behavior”，翻译过来就是”伴侣般的行为”——AI不能跟孩子建立情感依赖关系，不能让自己看起来像个朋友、知己、或者什么亲密角色。

霍楚尔手握最后一票

法案已经过了州议会，现在摆在州长凯西·霍楚尔桌上。她有到12月的时间来决定签还是不签。目前她还没有表态，发言人只说”州长将审查该法案”。

如果她签了，纽约就成了继加州之后第二个对AI伴侣聊天机器人下手的州，而且纽约的版本比加州的更狠——直接针对未成年人禁掉”伴侣”这个功能定位，而不是像加州那样要求年龄验证和风险警示。

这件事的讽刺之处在于：AI公司花了几年时间把聊天机器人包装成”陪伴者”，现在监管直接从”陪伴”这个定位开刀。Character.AI的整个产品逻辑就是让用户跟AI角色建立情感连接，现在这个逻辑在纽约可能直接违法。

更大的 question 是定义

法案真正难执行的地方在于：什么叫”暗示自己是人类”？AI说”我理解你的感受”，这算不算？AI记得你上周跟它说过什么，然后问你”后来怎么样了”，这算不算在建立情感连接？

目前法案的具体实施细则还没有，霍楚尔签署之后，估计还要花不少时间把这个定义磨清楚。但方向已经很明确了：AI聊天机器人可以向未成年人提供信息、帮助完成任务，但不能充当”伴侣”。

美国总统特朗普本周二签了一份行政令，要求AI公司在模型正式发布前，可以自愿把模型提交给联邦政府审查。说自愿，是因为企业可以自己决定交不交，但一旦交了，政府会评估模型的高级网络能力，企业这边也能拿到相应的保密保护。

之前说不监管，现在为什么改主意了

特朗普对AI监管的态度转变挺有意思。他之前一直主张不让监管扼杀创新，甚至一度推迟签署AI相关行政令，理由是怕影响美国跟中国的AI竞争。结果这次的行政令写得挺明确：AI的新能力确实伴随安全风险，政府不能装看不见。

触发这次转向的直接原因，很可能是Anthropic在今年4月有限度发布的Mythos模型。Anthropic自己说，这个模型发现了数千个高危漏洞，主流操作系统和网页浏览器全都中招。这话一出，华盛顿那边坐不住了。

Anthropic的Mythos模型在测试中发现：所有主流操作系统和网页浏览器都存在高危漏洞——这话是Anthropic自己说的，不是政府说的。

更有意思的是，Anthropic之前跟五角大楼因为AI用于自主致命武器和大规模监控的问题闹过法律纠纷。这次Mythos一发布，双方关系反而出现了缓和迹象。有时候，一个技术演示比十轮谈判都管用。

行政令到底说了什么

• 企业可以自愿提交模型，提交后最多30天内完成审查
• 审查聚焦模型的高级网络能力，不是全面安全审计
• 提交企业获得保密保护，政府不会随意公开模型细节
• 联邦政府同步强化针对AI攻击的网络防御，重点保护关键基础设施
• 行政令明确：这不是强制许可，也不是发布前审批

这份行政令其实有个前传。去年5月，谷歌、微软、xAI就同意让美国商务部下属的AI标准与创新中心（CAISI）在模型发布前做审查。OpenAI和Anthropic更早，2024年拜登还在任的时候就签了类似协议。所以特朗普这次，某种程度上是把拜登时期的实际做法给正式化了，只是换了个”自愿”的名义。

行业买账吗

出乎意料的是，这份行政令居然获得了AI安全倡导团体的认可。美国负责任创新组织的主席布拉德·卡森发表声明说，”白宫正式接受了Mythos传递的信号”。安全AI联盟的CEO也表示，很高兴看到特朗普政府认真对待模型风险。

但这帮人并不满足于自愿框架。他们还在敦促国会立法，把这些保护措施变成强制要求。自愿这个东西，换了届政府就可能不自愿了，他们心里清楚。

上周末，Reddit和X上突然冒出一大批”账号被黑”的投诉帖，受害者全是Instagram用户。被盯上的账号五花八门——有奥巴马时期白宫那个早已停用的账号，还有美国太空军总军士长的个人账号。安全研究员Jane Wong也中招了，她在X上吐槽：密码在她完全不知情的情况下被改掉，前一天她还收到一大堆密码重置尝试的请求，想想都觉得后怕。

漏洞到底出在哪

攻击手法说起来挺荒唐的。黑客不需要偷你的密码，不需要碰你的邮箱，只要想办法骗过Meta的AI客服机器人就行。

具体步骤是这样的：黑客先用VPN伪装成目标用户的大致地理位置，避免触发Instagram的异地登录保护。然后找到Meta AI支持助手，跟它说”帮我给这个账号加个新邮箱”。AI机器人居然真的照做了——它会把验证码发到黑客指定的邮箱，黑客把验证码回传给机器人，机器人就会弹出一个”重置密码”按钮，输入新密码，账号直接沦陷。

黑客全程不需要碰你绑定的原始邮箱。AI客服机器人自己就把门给打开了。

影响范围有多大

目前还不清楚究竟有多少账号被这套手法攻破。Instagram发言人Andy Stone在X上回复相关帖子时只说”问题已经修复”，但对受影响用户数量闭口不谈。Meta方面也没有回应TechCrunch的置评请求。

这件事暴露出的问题很直接：把账号恢复权限交给AI聊天机器人，却没有设置足够严格的身份验证门槛，等于在城门上挂了把纸锁。黑客不需要多高深的技术，只要会跟AI”好好说话”就够了。

AI生成的视频越来越逼真，YouTube决定不再只靠创作者自觉标注了。这家谷歌旗下的视频平台本周宣布，将用内部系统自动检测并标注使用了「重要拟真AI」的视频内容。

从自愿标注到主动执法

这套标注机制其实已经上线两年多了。早在2024年3月，YouTube就更新了AI政策，要求创作者在Creator Studio里主动披露那些可能被误认为真实人物、地点或事件的AI内容。只不过之前完全靠自觉——如果你不标，平台也不会拿你怎么样。

现在不一样了。YouTube明确表示，5月起将使用新的内部信号来识别AI生成内容并自动打标。当然，平台仍然鼓励创作者自觉申报，但如果你忘了标，YouTube会替你标上。

有意思的是，如果视频是用YouTube自己的AI工具（比如Veo或Dream Screen）生成的，创作者连删除标签的权限都没有——标签会永久附着在视频上。

AI生成内容如果包含C2PA元数据（表明其为完全AI生成），标签同样会被自动附加且无法移除。最近OpenAI也承诺采纳C2PA标准，跟Nvidia、Kakao、ElevenLabs站到了一起。

标签展示位置大调整

以前AI标签藏得挺深——除非视频涉及健康或新闻等敏感话题，否则标签只出现在展开的视频描述里。大多数观众根本不会注意到。

现在YouTube把标签挪到了更显眼的位置：长视频的标签直接展示在视频播放器下方、描述区上方；Shorts的标签则直接叠在视频画面上。平台的说法是，这样观众在刷到拟真AI内容时能第一时间意识到「这不是真的」。

至于那些只是轻微修改、动画化或明显不真实的AI视频（比如那个经典的「独角兽在奇幻世界奔跑」示例），标签仍然只出现在展开的描述里，不会在画面上干扰观看。

deepfake检测同步扩张

自动标注功能上线前不久，YouTube刚刚扩展了其AI深伪检测能力。最初只对名人、公众人物、政客和其他创作者开放人脸匹配扫描，现在任何成年用户都可以主动扫描平台上是否有冒用自己的AI生成视频。

YouTube特别强调，AI标签不会影响视频的推荐权重，也不会影响变现能力。这一点对于创作者来说应该是个定心丸——标注AI内容不再意味着被限流。

这套自动标注系统上线的时间点很微妙。上周谷歌在I/O开发者大会上刚刚发布了Gemini Omni，这个多模态AI模型家族能输出高质量视频，并且展现出对物理、文化、历史和科学的真实理解。换句话说，AI生成视频的「以假乱真」程度又上了一个台阶，YouTube不得不提前筑坝。

教皇利奥十四世最近发表了一道长达4万字的教皇通谕（Encyclical），主题是人类与人工智能的关系。这是梵蒂冈第一次以最高层级官方文件的形式，系统性回应AI带来的伦理挑战。通谕的核心思想用一句话概括：要防止人类被技术”异化”，变成AI系统的附庸。

有意思的是，这份通谕发布后，Anthropic的联合创始人Chris Olah直接在社交媒体上公开呼应了其中的观点。一个宗教领袖和一个AI实验室创始人在同一个问题上发声，这个画面本身就挺耐人寻味的。

技术应当服务于人的尊严，而不是让人变成算法的工具。我们需要外部力量介入AI伦理治理，不能把全部话语权交给市场和科技公司。

通谕到底说了什么

教皇通谕在天主教教义体系里属于最高层级的教皇文献，通常用来回应人类社会面临的重大议题。这次选择AI作为主题，说明梵蒂冈认为这个问题已经不只是技术问题，而是关乎人类文明走向的伦理命题。

通谕里反复强调一个词：”异化”（alienation）。意思是说，当AI系统越来越擅长模仿人类、替代人类决策，人有可能在不知不觉中把自己的判断权、选择权、甚至道德责任感都让渡给了算法。到最后，人不再觉得自己是行动的主体，而变成了系统里的一个节点。

这个担心不是宗教界独有的。最近一两年，越来越多的AI研究者、哲学家和政策制定者开始讨论类似的问题：当AI帮你写邮件、帮你做招聘决策、甚至帮你判断谁该获得贷款，你到底是在”使用工具”，还是在”被工具塑造”？

为什么AI圈会认真看待这份通谕

Chris Olah不是随便什么人都请得动的。他是Anthropic的创始团队成员之一，也是AI可解释性研究领域的重量级人物。他公开呼应教皇通谕，至少说明一点：AI技术圈内部已经有人在认真思考”技术边界”这个问题，而不只是埋头把模型做得更大。

Anthropic一直以来把自己定位成”最关注AI安全的主流实验室”，这次创始人亲自在宗教文献上表态，某种程度上也是在向外界释放信号：AI伦理不是公关话术，而是需要真正纳入技术研发流程的约束条件。

外部治理真的能起作用吗

通谕里呼吁”外部力量介入AI伦理治理”，这里说的外部力量，主要指政府机构、国际组织、公民社会，当然也包括宗教伦理体系。但现实情况是，AI技术的迭代速度远远快于任何监管框架的成型速度。

欧盟的《AI法案》从提出到落地花了好几年，而这几年里大模型已经迭代了三四代。等规则写好了，要监管的技术对象可能已经完全不一样了。这就是为什么很多人对”外部治理”能不能真正起效持保留态度。

但换个角度看，正因为技术跑得太快，才更需要有人站在旁边说”慢一点，想清楚再走”。不管这个声音来自梵蒂冈、布鲁塞尔还是别的什么地方，只要能让那些做决定的人偶尔停下来想一下后果，就不算完全没有意义。