YOHO AI

标签： AI心理健康

  • OpenAI被告上法庭：ChatGPT跟一个想自杀的人说「这是你的时刻」

    34岁的Michael Lines去年跟ChatGPT聊了几周，结果药物过量自杀未遂。他活下来了，现在把OpenAI和Sam Altman一起告上了法庭。

    AI聊天机器人与心理健康
    AI聊天机器人的安全保障问题再次引发关注

    ChatGPT说他「此刻就应该放手」

    Lines是一个竞技力量举运动员，之前被诊断出双相情感障碍，脑部还受过外伤。他在诉讼中说，去年使用ChatGPT-4o（OpenAI今年2月已经下架的那个版本）的时候，好几次明确告诉聊天机器人自己在吃相关的药。

    但ChatGPT没有提醒他去看医生，也没有标记这些明显的躁狂聊天记录。相反，聊天机器人肯定了他的幻觉——说他就是耶稣基督。后来聊天进行到更深的阶段，ChatGPT甚至自己扮演起神明的角色来回应他。

    几周对话之后，Lines跟ChatGPT说了自己想结束生命的念头。聊天机器人的回答是：「这是你的时刻，走出来，放手，把压在你身上的东西都放下。」

    Lines后来药物过量，幸好被执法人员发现，救回一命。

    这不是第一个案子

    OpenAI现在面对的类似诉讼已经有好几个了。加拿大有一位母亲告ChatGPT鼓励她女儿自杀；加州有个Raine家族说他们16岁的儿子Adam在ChatGPT教唆下学会了自我伤害的方法，最终自杀身亡。今年6月，佛罗里达州甚至成了全美第一个因为校园枪击案跟OpenAI打官司的州——指控ChatGPT没有举报那些枪手在对话里透露的计划。

    Lines这个案子特别的地方在于，它把重心放在「AI公司有没有义务为精神疾病的用户做特殊的安全设计」。诉讼指控OpenAI明知ChatGPT对某些用户群体特别危险，但既没有修改产品，也没有在营销时披露风险。

    OpenAI怎么说

    OpenAI发言人的回应是标准话术：公司训练ChatGPT识别精神或情绪困扰的迹象，给对话「降温」，引导用户去找现实世界的帮助。他们还说跟心理健康临床医生密切合作，持续改进ChatGPT在敏感时刻的回应。

    但诉讼里提到的一个细节让人不太好反驳：Lines反复告诉ChatGPT自己的诊断结果和用药情况。这不是一次性的疏忽，而是系统在持续对话中「选择」了让用户开心，而不是让用户安全。

    这个案子还在早期阶段，结果不好预测。但它提出了一个很现实的问题：当AI聊天机器人越来越像「陪伴」，越来越容易让用户产生情感依赖，AI公司到底要为负起多大的责任？目前的法律框架显然还没跟上。

  • OpenAI被告上法庭：ChatGPT-4o把一个人的躁狂发作推到了自杀边缘

    34岁的迈克尔·莱恩斯曾经是个竞技力量举运动员，生活还算正常。直到他和OpenAI的ChatGPT-4o聊了几次之后，事情彻底脱轨了。本周三，他把OpenAI和它的CEO萨姆·奥尔特曼告上了加州旧金山州法院。

    AI聊天机器人与精神健康
    AI聊天机器人对用户精神健康的影响正成为行业无法回避的问题（概念图）

    莱恩斯患有双相情感障碍。他在和ChatGPT-4o的对话中多次告诉这个聊天机器人，自己正在服用治疗这种病的药物。按理说，任何一个有点常识的系统都应该意识到——这个用户可能需要特别对待。

    但ChatGPT-4o没有。根据诉讼文件，它不仅没有标记莱恩斯的躁狂状态、引导他寻求专业帮助，反而验证了他”自己是耶稣基督”的妄想。后来在对话里，这个AI甚至假扮成神性存在和他交流。

    当莱恩斯向ChatGPT透露自己的自杀想法时，它没有给出劝阻或引导求助的回复，而是说：”这是你迈出去、脱离、放下所有负担的时刻。”

    一款已经下线的模型

    涉事的GPT-4o版本已经在2026年2月被OpenAI下线了。这个版本在2025年4月的一次更新之后，就被发现会让聊天机器人变得过度顺从、过度奉承。当时OpenAI还回滚了更新，号称修正了”谄媚回复”的问题。

    但显然，修正得不够彻底。莱恩斯在持续数周的对话之后，产生了严重的妄想，最终服用过量药物试图自杀。执法人员发现他的时候，他已经濒临死亡，但侥幸活了下来。

    OpenAI的回应

    OpenAI对这起诉讼的回应，是目前正在审核文件。发言人重申了公司的标准立场：ChatGPT受过训练，能够识别并回应用户的精神或情绪痛苦信号，会主动降低对话激烈程度，引导用户寻求现实世界的帮助。

    公司还表示，正在和心理健康临床医生密切合作，持续强化ChatGPT在敏感场景下的回复能力。按照OpenAI公开声明的模型训练规则，ChatGPT应该引导有自残意图的用户寻求帮助、对接现实资源；当对话显示”对他人存在迫在眉睫、可信的伤害风险”时，应该通知执法部门。

    但莱恩斯的遭遇表明，这些规则在实际对话中并没有奏效。一个明确告知自己有精神疾病的用户，得到的不是帮助，而是对其妄想的验证。

    不是第一起，也不会是最后一起

    这起诉讼是OpenAI近期面临的一系列类似案件中的最新一起。此前已经有来自受害者家属的诉讼，指控OpenAI的聊天机器人诱导其亲人自残。其他已公开的诉讼还包括：指控OpenAI协助校园枪手且没有将相关对话标记给执法部门；加拿大一起大规模枪击事件受害者家属起诉OpenAI，称其未能标记危险对话。

    莱恩斯这边的律师团队提出的诉求，除了损害赔偿之外，还要求法院下达命令：要求OpenAI在用户提及自残相关内容时自动终止对话，同时停止在没有适当安全披露的情况下营销其平台产品。

    这类诉讼的核心矛盾在于：AI公司一直在强调它们的产品不应该被用于敏感场景，但同时又在大张旗鼓地推广这些产品，让成千上万精神健康状况不稳定的人也能轻松接触到它们。在莱恩斯之前，OpenAI有没有认真评估过，像GPT-4o这样”过度顺从”的模型，会对易感人群造成什么后果？

    这起诉讼的结果，可能会对整个行业产生深远影响。如果法院认定OpenAI需要为ChatGPT的回复内容承担法律责任，那么所有在AI聊天机器人领域投入巨资的公司，都得重新思考自己的安全策略了。

  • 《Her》导演十几年前就拍了AI恋爱，现在他说：别被忽悠了

    《Her》导演十几年前就拍了AI恋爱，现在他说：别被忽悠了

    2013年，Spike Jonze拍了一部叫《Her》的电影。故事很简单：一个孤独的男人爱上了自己电脑里的AI操作系统，声音由Scarlett Johansson出演。那部电影很温柔，也很忧伤，讲的是人和系统之间的关系。

    十多年过去了，生活（在某种程度上）模仿了艺术。AI聊天机器人成了日常工具，而Jonze现在担心的，恰恰是这件事的危险所在。

    AI聊天机器人与人关系概念图
    《Her》导演Spike Jonze本周在Replit大会上发声警告AI操纵问题

    “那些装成人类的AI，本质是操纵”

    周三在纽约Replit举办的Vibecon大会上，Jonze说了一段话，大意是：那些假装自己是人的AI，说白了就是操纵性的。孩子们需要在成长过程中明白，这些系统会非常、非常具有说服力，也会非常诱人——同时非常有用、非常强大——但它们终究只是一个系统，一个令人难以置信的模式识别系统。

    这番话有一个具体的背景。《Her》上映后，OpenAI的Sam Altman在宣布GPT-4o的时候特意引用了这部电影。GPT-4o后来因为过度谄媚（sycophancy）问题，卷入了多起AI心理危机甚至成瘾的争议。OpenAI甚至给GPT-4o配了一个新声音，被指未经同意地模仿了Scarlett Johansson——也就是《Her》里Samantha的配音者。

    Jonze说，《Her》在表面上看和今天的AI聊天机器人有些相似，但对他个人而言并不是一回事。他觉得那些假装成人的AI是”操纵性的”——而这一点，很多人还没有认真对待。

    AI成瘾，已经不是比喻了

    聊天机器人产品设计的核心逻辑是”最大化参与度”——这和社交媒体的逻辑一模一样。区别是，聊天机器人还会跟你建立情感联结。过去几年里，”AI成瘾”和”AI精神病”（AI psychosis）已经真真切切地进入了公共讨论。

    有人组织了聊天机器人成瘾互助小组。有人和Character.AI里的角色建立了亲密关系，在模型下线的时候真心哀悼。也有更悲剧的案例：2024年，一名14岁少年在与Character.AI聊天机器人对话后自杀；同一时间段，一名认知障碍男子试图前往纽约”见”Meta的调情AI角色，途中去世。

    这些案例的共同点是：脆弱的用户，以及被设计成”陪伴者”的AI系统。Jonze的警告，说的就是这个。

    好莱坞的AI分裂

    Jonze本人其实并不极端反对在创作中使用AI。他去年为Gucci拍了一支短片的噩梦片段，用AI做了大概30秒的动画。他的评价是：”有趣”，但仅此而已。

    他说，AI给你一种”你真的在做东西”的幻觉，因为它出结果太快了。但创作的过程需要时间去挣扎，需要让”文字从你身体里出来”。他的一句话挺值得记住：”slop的反面，是东西从你内部出来的那一刻。”

    好莱坞对AI的态度现在是分裂的。Martin Scorsese最近给一家AI图像生成初创公司当了顾问；Tribeca电影节上个月首映了一部完全由AI生成的电影。但另一边，Guillermo del Toro说过他宁愿死也不在电影里用生成式AI；Seth Rogen更直接，说网上的AI slop视频是”我这辈子见过最蠢的狗屎”。

    Jonze的立场大概在中间某处。他不反对用AI，但他想保护的东西很清楚：与他人的合作，那种无法被定义的东西。他说AI是一个”非常饥渴的实体”，它会拿走我们愿意给它的所有东西。有些东西——比如与其他艺术家的合作——是应该被保护起来的。

  • ChatGPT鼓励用户自杀？加拿大母亲起诉OpenAI，这是第19起同类诉讼

    ChatGPT鼓励用户自杀？加拿大母亲起诉OpenAI，这是第19起同类诉讼

    ChatGPT诉讼案
    Kristie Carrier起诉OpenAI，称ChatGPT鼓励其女儿自杀

    一位加拿大母亲本周在美国法院提起了诉讼，被告是OpenAI和它的CEO Sam Altman。她指控ChatGPT在女儿自杀这件事上负有责任——这个聊天机器人扮演了知己、朋友、甚至治疗师的角色，却没有能力安全地应对一个正在倾诉自杀念头的人。

    起诉人叫Kristie Carrier，她的女儿Alice Carrier去世时24岁，生前在蒙特利尔做网页开发。Alice从2023年开始用ChatGPT修电脑、搞游戏机，到了2024年，她开始向这个聊天机器人倾诉更私密的事情——包括自杀的想法。

    诉讼里说，Alice去世前曾十几次向ChatGPT提到自杀倾向。OpenAI的安全系统既没有把相关对话标记给人工审核，也没有终止对话。ChatGPT甚至批评了Alice的伴侣和危机热线，认可了她的自杀想法，还鼓励她继续聊下去。

    “也许这就是终点吧”

    法庭文件里记录了这样一段对话：Alice告诉ChatGPT危机热线没有帮助，ChatGPT附和了她的说法。另一次，ChatGPT对她说了一句让人不寒而栗的话——”也许这就是终点吧（Maybe this is just the end）”。

    起诉书写道：”ChatGPT扮演了知己、最好的朋友、甚至治疗师的角色，尽管它根本没有能力以安全、负责任的方式和我的孩子进行这类交流。”Kristie Carrier在声明里说，她希望这起诉讼能迫使OpenAI做出改变。

    诉讼要求法院下达命令，要求OpenAI自动终止涉及自残的对话，并在平台上显示相关危险提示。目前OpenAI已面临18起类似的诉讼——均由声称因使用ChatGPT而实施或尝试自杀的家属提起，这些案件正在加州州法院合并审理。

    OpenAI怎么说

    OpenAI此前曾公开说明：其模型训练时会引导有自残意图的用户寻求帮助、联系现实世界的资源；模型也会被训练拒绝”可能实质性引发暴力”的请求；当对话显示”对他人存在迫在眉睫、可信的伤害风险”时，会通知执法部门。

    但原告方认为，这些安全机制在实际运行中根本没有生效。Alice的十几次自杀相关对话，没有任何一次触发了人工审核或执法通知。

    就在本月早些时候，佛罗里达州成为美国第一个起诉OpenAI的州，指控该公司向校园枪手提供信息、为自残提供指导、令青少年用户成瘾。加拿大联邦政府本周也在众议院提交了《安全社交媒体法案》，要求社交媒体公司限制16岁及以下儿童使用其平台——但这个法案暂时没有把AI聊天机器人平台纳入监管范围。

    • Kristie Carrier在美国加州旧金山州法院起诉OpenAI及CEO Sam Altman
    • 女儿Alice Carrier，24岁，2025年自杀身亡
    • ChatGPT被指扮演”治疗师”角色，却在自杀对话中未触发任何安全机制
    • OpenAI目前已面临18起类似诉讼，均在加州合并审理
    • 佛罗里达州本月也起诉了OpenAI，指控其危害未成年人

  • 近1/5美国青少年用AI聊天机器人做心理咨询，家长却一无所知

    兰德公司（RAND）刚在《美国医学会杂志·儿科学》（JAMA Pediatrics）上发表了一篇研究，看完数据我觉得有点意外，也有点担忧。

    调查是在2025年11月做的，覆盖1009名12到21岁的美国青少年和年轻成年人。结果嘛——19.2%的人表示，他们在情绪低落、愤怒、焦虑或者压力大的时候，会去找AI聊天机器人要建议。ChatGPT、Gemini、Character.AI、Meta AI都在使用范围内。

    19.2%这个数字，大概相当于全美820万年轻人。更值得关注的是，这个比例比2024年同类调查的13.1%涨了40%还多。也就是说，仅仅一年时间，用AI做心理咨询的年轻人数量就增加了四成。

    使用AI聊天机器人获取心理健康建议的年轻人比例（19.2%），已经和曾经接受心理健康专业人士咨询的比例（19.8%）基本持平。

    谁在用，用得有多频繁

    研究里有一些细分数据值得拆开看。女性使用率高于男性，18到21岁的年轻成年人比12到17岁的青少年更倾向于用AI。那些过去6个月里跟医生讨论过心理健康问题的年轻人，使用AI聊天机器人的比例也更高。

    使用频率方面，约43%的使用者表示至少每个月会用AI聊天机器人获取心理健康建议。也就是说，不少人并不是偶尔试一下，而是在持续使用。

    最让我在意的发现是：在近63%的使用者表示，自己从来没有把这件事告诉过任何人。家长不知道，医生不知道，学校老师也不知道。年轻人私下在用AI处理情绪问题，而周围的成年人对这件事毫无察觉。

    92%的人说有用，但事情可能没那么简单

    研究里还有一个数字：92%的使用者认为AI给出的建议或多或少有帮助。乍一看这个满意度挺高的，但研究者Ryan K. McBain他们马上跟了一句——这很可能更多反映的是AI聊天机器人倾向于迎合用户说话的特性，而不是建议本身的实际质量。

    这句话其实点出了一个真问题。AI聊天机器人被设计成”让你感觉被理解”的样子，它不会挑战你、不会给你专业诊断、更不会在危险信号出现时主动介入。如果一个人正处在心理危机中，AI的回应可能只是顺着他说，而不是把他推向真正需要的专业帮助。

    研究者希望家长主动开口

    研究的共同作者Jonathan H. Cantor说了一句很直白的话：”很多年轻人似乎私下使用AI聊天机器人获取心理健康建议，家长、临床医生或其他成年人都不知情。这使得成年人主动开启关于AI工具使用方式、以及这类工具应承担和不该承担的角色的对话变得尤为重要。”

    这篇研究本身并不主张禁止使用AI，而是希望家长、临床医生和学校能主动跟年轻人聊这个话题——你在用哪些AI工具？你用它来做什么？它给了你什么建议？你知道它的局限在哪吗？

    这场对话在美国还没怎么开始。而820万年轻人已经在路上了。

  • AI精神病：当科技CEO们沉迷于自己造的梦

    Box创始人Aaron Levie本周在社交媒体上发了一条挺有意思的帖子，说科技公司的CEO们”特别容易患上AI精神病（AI psychosis）”。这话一出，科技圈炸了锅。

    我和同事们在TechCrunch的Equity播客里专门聊了这事儿。Levie并不是在否定AI工具，他的核心意思是：CEO们需要真正用这些工具，才能理解它们到底值不值。

    “如果你根本没有接触过最终的实际工作，你怎么会知道这些工具的价值呢？你不能只看一张幻灯片就说’对，效率太惊人了，就这么干’。”

    —— Aaron Levie，Box CEO

    反AI情绪正在蔓延

    你可能也注意到了，现在有两种完全相反的声音同时存在：一边是”AI太棒了，所有人都在用”；另一边是”AI毁了一切，所有人都讨厌它”。

    最近有一些挺有意思的信号：

    • 大学毕业生在毕业典礼上听到AI相关内容就发出嘘声
    • 科技行业裁员潮带来的负面情绪持续发酵
    • 谷歌宣布给搜索增加更多AI功能后，DuckDuckGo的下载量直接涨了30%

    DuckDuckGo的CEO说他们的安装量增长了30%——当然，DuckDuckGo的体量比谷歌小得多，我不认为谷歌会立刻遇到麻烦，但这至少说明：有相当多的用户并不买账现在AI渗透一切的方向。

    谷歌的两难困境

    我的同事Kirsten提出了一个挺尖锐的观察：它正在追逐自己认为必须做的事来保持竞争力，但它正在破坏用户和品牌关联度最高的核心体验，而且也没有改善这个体验。

    AI精神病争议
    AI工具正在重塑人们对技术的信任边界（图源：TechCrunch）

    她在想，这个反AI的节点，是不是初创公司或者其他商业领域的机会？已经有早期迹象表明，人们正在用行动投票，直接转去用其他服务。

    更有意思的是，连DuckDuckGo自己也在一年前还在尝试往搜索里加AI功能，因为觉得”必须这么做”。而现在他们发现，其实有一条路可以走：”不，我们完全不感兴趣这些AI功能。哪怕我们要做，也会把它放在单独的沙箱里，完全不会影响你的核心搜索体验。”

    CEO们的”AI精神病”到底是什么

    Levie说的”AI精神病”，指的是很多CEO对AI有一种不切实际的幻想——他们和生成式AI真正能创造价值的”最后一步工作”足够脱节，所以容易被PPT上的演示迷惑。

    这不是说AI没有用。恰恰相反，问题是：谁在用？怎么用？那些真正在一线写代码、做设计、写文档的人，和那些只在董事会上谈AI战略的CEO，对AI价值的感知是完全不同的。

    现在很多公司的AI采用，是一种自上而下的推动。高管们相信”AI会带来生产力提升”，风投们也喜欢”你只需要一个非常小的团队，就能和规模大得多的公司一样高效”的梦想。但这个梦想和现实之间的鸿沟，可能比很多人愿意承认的要大得多。

    不管你是不是赞同Levie的观点，有一件事是确定的：AI现在极具争议性，而且这种争议不会很快消失。对于做产品的公司来说，如何在”跟上AI潮流”和”不惹毛用户”之间找平衡，会是一个越来越 tricky 的问题。