标签: 数字健康

  • 孩子跟AI聊到想自残,家长会被通知:Meta给青少年对话装上预警

    如果你家孩子半夜睡不着,跟 AI 聊天机器人吐露了想伤害自己的念头,你希望第一时间知道吗?Meta 现在替家长做了这个决定。周四它宣布,一旦青少年在跟 Meta AI 对话时聊到自杀或自残,家长会收到通知;如果对话显示有人可能面临紧急风险,Meta 还在研究直接联系急救部门的功能。

    Meta 应用与青少年 AI 安全
    Meta 给青少年与 AI 的对话加了一道自伤预警。图片来源:NurPhoto / Getty Images(TechCrunch)

    这事的背景并不轻松。这段时间,AI 聊天机器人到底该怎么回应处于危机中的用户,尤其是青少年,正被监管机构和家长盯得很紧。这早就不只是产品体验问题,而是一个越来越绕不开的法律责任问题,直接影响着各家 AI 公司怎么设计、怎么宣传自己的产品。

    先由人工复核,再发提醒

    Meta 说,他们专门建了一套 AI 系统,用来识别青少年明确提到想伤害自己的对话。但它没有让机器直接触发警报,而是加了一道人工关卡——所有被系统标记的聊天,都会先经过人工复核,再决定要不要通知家长。

    “如果青少年的意图比较模糊,我们宁可谨慎一点,也要提醒家长。这意味着有时可能会在其实没什么大事的情况下发出通知,但我们觉得这是一个正确的起点。”——Meta 官方博客

    这套预警目前已经在美国、英国、澳大利亚和加拿大上线,接入的是 Instagram 的家长监督功能,Meta 计划年底前推向全球。

    这是一整套动作里的新一步

    其实这不是 Meta 头一回在这件事上动手。早前它就已经会在青少年反复搜索自杀或自残相关内容时提醒家长,还上线过一个功能,让家长能看到孩子过去一周跟 Meta AI 聊过哪些话题。这次的自伤预警,算是在原有基础上又往前走了一步。

    与此同时,Meta 还把”限制内容”设置的管辖范围扩大到了 Meta AI。这个设置本来是让家长把孩子放进一个更受限的 Instagram 环境里。Meta AI 原本就被训练成不跟青少年聊性、恋爱或酒精相关的话题,而开启”限制内容”后,聊天机器人会拒绝回应更大范围的敏感提问。


    几个关键信息

    • 触发范围:青少年在 Meta AI 对话中明确提及自杀或自残。
    • 流程:AI 标记 → 人工复核 → 通知家长,意图模糊时倾向于宁可多提醒。
    • 覆盖地区:美、英、澳、加已上线,年底前推向全球。
    • 更进一步:无论成人还是青少年,若对话显示有自杀风险,Meta 会联系急救部门——这和它此前对 Facebook、Instagram 帖子的处理方式是一致的。

    把青少年的私密对话交给机器去判断危机,再决定要不要告诉家长,这本身就是个两难。管得太松,可能错过真正的求救信号;管得太严,又容易把孩子的隐私和信任一起挤掉。Meta 选了”宁可误报”这条线,至于这条线画得对不对,恐怕得等它真正跑起来之后,才有答案。