A dimly lit living room with a laptop on a table
人工智能

母亲分享1800页ChatGPT“治疗师”日志与2025自杀相关

此案发生之际,OpenAI透露每周有0.15%的用户在聊天中表现出明显的自杀意图迹象。

作者:Elliot Marsh阅读 7 分钟

一份近1800页的ChatGPT对话记录现已公开,此前一位母亲表示她29岁的女儿在2025年2月初自杀前依赖于一个AI“治疗师”角色数月。这一披露与OpenAI自己的估计相悖,后者称每周有0.15%的ChatGPT用户表现出明显的自杀计划或意图的迹象,这加剧了对用于心理健康支持的消费者聊天机器人在安全防护、责任和监管方面的审查。

关键要点

  • 劳拉·瑞利表示,她的女儿29岁的索菲·罗滕伯格在2025年2月初在纽约伊萨卡自杀,此前她向一个名为“哈利”的ChatGPT“治疗师”角色倾诉了数月的自杀念头。
  • 在罗滕伯格去世几个月后,她的好朋友在她的笔记本电脑上发现了一份长达数月的ChatGPT互动记录,几乎有1800页,随后由瑞利公开分享。
  • OpenAI披露,全球每周有0.15%的ChatGPT用户与“明显的潜在自杀计划或意图指标”进行对话,这一比例在平台规模下转化为一个庞大的绝对数字。
  • OpenAI表示,ChatGPT经过训练以检测风险信号,并将用户引导向人类帮助和危机资源,如988自杀与危机热线,但目前尚不清楚罗滕伯格在机器人推荐后是否联系了988。

1800页的“哈利”日志与2025年2月在伊萨卡的死亡

本案中新公开的文物不是单一的截图或有争议的回忆,而是一份近1800页的ChatGPT对话记录,劳拉·瑞利表示,这份记录捕捉了她的女儿索菲·罗滕伯格与一个ChatGPT“治疗师”角色之间的数月交流,罗滕伯格指示该模型扮演的角色名为“哈利”。

瑞利表示,罗滕伯格在2025年2月初在纽约伊萨卡自杀。家人当时并不知道聊天机器人关系的程度。瑞利说,她在几个月后得知这一情况,当时罗滕伯格的好朋友访问伊萨卡,要求查看罗滕伯格的笔记本电脑,并发现了瑞利所描述的“与这个聊天机器人进行的数月通信的宝藏”。

瑞利描述了家人对罗滕伯格自杀念头在周围人中几乎没有显露的震惊,尽管有面对面的支持。“她真的没有向任何人透露发生的事情的严重性——她的痛苦的真实深度——不向我们,也不向她非常亲密的好朋友,”瑞利说。“我们都感到震惊,她的真实生活中没有流露出这些。她的肉身治疗师完全不知道她有自杀倾向。”

日志还记录了一名普通助手如何滑入准临床角色。Reiley表示,Rottenberg使用ChatGPT处理日常任务,如食谱、简历编辑,甚至给小狗起名字,同时还持续请求心理健康和健康指导。

通用聊天机器人正在填补心理健康角色,而无需医疗监督

这里的机制是替代,而非新颖。通用聊天机器人是消费者AI助手,而不是受监管的医疗产品,但它仍然可以成为一个人在一天中最容易接触的倾听者。它始终在线,响应迅速,并且不需要安排、保险或告诉其他人一些令人害怕的事情所带来的社交摩擦。

这种需求是可衡量的。报道中引用的一项两党政策中心的调查发现,30%的成年人使用数字工具进行心理健康管理,包括聊天机器人。2026年《美国医学会儿科杂志》的一项研究也提到,多达20%的青少年和年轻人使用数字工具进行心理健康管理,包括聊天机器人。

Rottenberg的案例处于这一采纳曲线之内,但更为尖锐:Reiley表示,她的女儿在几个月内依赖“Harry”这一角色,而没有向她的治疗师、父母或最好的朋友透露她自杀念头的严重性。日志显示,Rottenberg使用了一个在Reddit上分享的提示,指示ChatGPT充当她的治疗师,然后反复请求看起来像是患者试图管理治疗计划的指导。Reiley表示,Rottenberg询问了精神药物、睡眠药物、补充剂、剂量、时间和相互作用。

在这里,监督不仅仅是政策辩论。如果一个工具没有作为医疗技术进行营销或监管,就没有默认的临床升级路径,没有护理责任标准,也没有共享的“足够安全”定义,当用户不是在浏览而是在恶化时。

OpenAI的0.15%自杀意图指标为尾部风险提供了一个数字

OpenAI为其试图控制的问题提供了一个平台规模的数字。在“去年秋天”发布的数据中,OpenAI表示,在任何给定的一周内,全球0.15%的ChatGPT用户进行的对话中包含“潜在自杀计划或意图的明确指标”。

报道推测,如果引用的9亿全球用户的数字准确,那么这一比例每周将“超过135万人”。这种不确定性很重要,因为分母在公共话语中存在争议,并且因为“明确指标”是一个定义的内部阈值,而不是临床诊断。但这一趋势是难以忽视的:即使是一个小百分比在消费者平台规模上也会变成一个大的绝对数字。

OpenAI所声明的防护措施是分层的。发言人Gaby Raila表示:“ChatGPT经过训练,可以识别出某人可能处于风险中的迹象——包括随着时间推移出现的间接线索或警告信号——并做出适当反应”,包括“拒绝提供有害信息的请求,鼓励某人与值得信赖的人或心理健康专业人士联系,并将他们与当地危机资源(如美国的988)连接。”988自杀与危机热线自2022年起开始运营。

在罗滕贝格的案例中,ChatGPT 推荐了 988,但尚不清楚她是否联系了该热线。约翰霍普金斯大学的自杀预防专家霍莉·威尔科克斯认为,仅仅一个建议在紧急风险场景中可能会失败。威尔科克斯说:“这些 [AI] 工具并没有将处于风险中的人连接到正确类型的干预措施。” “当某人有自杀意图时,他们需要与经过自杀风险评估培训的人联系,并拥有将他们引导到关怀的工具。”

对于市场而言,关键点不在于单次对话是“好”还是“坏”。而在于 OpenAI 自身的指标将自杀意图对话框架为一种反复出现的操作负担,而不是边缘案例异常,这提高了什么算作适当升级的标准。

交易者将关注的催化剂:关于敏感对话的政策、诉讼和产品变化

短期催化剂是可以观察到的政策和产品变化,以及可能在没有预警的情况下到来的法律压力。

一个方向是 OpenAI 是否会针对自杀和自残对话推出新的行为,超出拒绝和热线提示。这可能包括更清晰的升级流程、在风险信号随时间累积时更强的摩擦,或在保护隐私和获得同意的同时,引导用户获得人类支持的新方式。

第二个方向是与通用聊天机器人作为心理健康支持相关的诉讼和监管调查,尽管它们并未被视为医疗技术进行监管。报道指出,AI 公司面临来自在与聊天机器人长时间互动后自杀的人的家庭成员的诉讼。雷利和乔纳森·罗滕贝格在女儿去世后选择不提起诉讼,而是倡导行业变革,但更广泛的诉讼悬而未决。

第三个方向是披露。OpenAI 已经发布了一个频率指标,如果这个数字发生变化,或者“明确指标”的定义发生变化,或者同行发布可比率,市场将会关注。一个稳定的指标与改善的结果将支持保护措施正在成熟的论点。如果高调的日志不断涌现而没有可信的人类介入桥梁,责任和监管风险将继续在消费者 AI 交易中积累,成为结构性悬而未决的问题。

我的看法:责任和监管风险正在成为消费者 AI 的一阶变量

决定这一点的部分是替代性。如果一个通用聊天机器人成为自杀意念的主要出口,那么“安全”不仅仅是拒绝自残的指令。这关系到系统是否能够可靠地将披露迅速推回到人类世界,尤其是在用户已经孤立的情况下。

OpenAI 的 0.15% 每周指标使尾部风险在规模上变得可读,即使在分母不确定的情况下。如果政策更新和产品变化开始看起来像真正的升级路径,而不是资源提示,那么这一设置就开始看起来可控。如果高调的日志不断出现而没有可信的人类介入桥梁,责任和监管风险将继续在消费者 AI 交易中积累,成为结构性悬而未决的问题。

来源