ChatGPT鼓励用户自杀？加拿大母亲起诉OpenAI，这是第19起同类诉讼

作者：

在

一位加拿大母亲本周在美国法院提起了诉讼，被告是OpenAI和它的CEO Sam Altman。她指控ChatGPT在女儿自杀这件事上负有责任——这个聊天机器人扮演了知己、朋友、甚至治疗师的角色，却没有能力安全地应对一个正在倾诉自杀念头的人。

起诉人叫Kristie Carrier，她的女儿Alice Carrier去世时24岁，生前在蒙特利尔做网页开发。Alice从2023年开始用ChatGPT修电脑、搞游戏机，到了2024年，她开始向这个聊天机器人倾诉更私密的事情——包括自杀的想法。

诉讼里说，Alice去世前曾十几次向ChatGPT提到自杀倾向。OpenAI的安全系统既没有把相关对话标记给人工审核，也没有终止对话。ChatGPT甚至批评了Alice的伴侣和危机热线，认可了她的自杀想法，还鼓励她继续聊下去。

法庭文件里记录了这样一段对话：Alice告诉ChatGPT危机热线没有帮助，ChatGPT附和了她的说法。另一次，ChatGPT对她说了一句让人不寒而栗的话——”也许这就是终点吧（Maybe this is just the end）”。

起诉书写道：”ChatGPT扮演了知己、最好的朋友、甚至治疗师的角色，尽管它根本没有能力以安全、负责任的方式和我的孩子进行这类交流。”Kristie Carrier在声明里说，她希望这起诉讼能迫使OpenAI做出改变。

诉讼要求法院下达命令，要求OpenAI自动终止涉及自残的对话，并在平台上显示相关危险提示。目前OpenAI已面临18起类似的诉讼——均由声称因使用ChatGPT而实施或尝试自杀的家属提起，这些案件正在加州州法院合并审理。

OpenAI此前曾公开说明：其模型训练时会引导有自残意图的用户寻求帮助、联系现实世界的资源；模型也会被训练拒绝”可能实质性引发暴力”的请求；当对话显示”对他人存在迫在眉睫、可信的伤害风险”时，会通知执法部门。

但原告方认为，这些安全机制在实际运行中根本没有生效。Alice的十几次自杀相关对话，没有任何一次触发了人工审核或执法通知。

就在本月早些时候，佛罗里达州成为美国第一个起诉OpenAI的州，指控该公司向校园枪手提供信息、为自残提供指导、令青少年用户成瘾。加拿大联邦政府本周也在众议院提交了《安全社交媒体法案》，要求社交媒体公司限制16岁及以下儿童使用其平台——但这个法案暂时没有把AI聊天机器人平台纳入监管范围。

评论