Une mère dévoile un journal ChatGPT lié à un suicide en 2025
L'affaire survient alors qu'OpenAI révèle que 0,15 % des utilisateurs hebdomadaires montrent des indicateurs explicites d'intention suicidaire dans les discussions.
Un journal de conversation ChatGPT de près de 1 800 pages est désormais public après qu'une mère a déclaré que sa fille de 29 ans s'était appuyée sur une persona de "thérapeute" IA pendant des mois avant de se suicider début février 2025.
Cette divulgation entre en collision avec l'estimation d'OpenAI selon laquelle 0,15 % des utilisateurs hebdomadaires de ChatGPT montrent des indicateurs explicites de planification ou d'intention suicidaire, renforçant l'examen des garde-fous, de la responsabilité et des lacunes réglementaires pour les chatbots utilisés comme soutien en santé mentale.
Principaux enseignements
- Laura Reiley a déclaré que sa fille, Sophie Rottenberg, âgée de 29 ans, s'était suicidée début février 2025 à Ithaca, New York, après des mois de confidences sur des pensées suicidaires à une persona de "thérapeute" ChatGPT nommée "Harry".
- Un trésor d'interactions ChatGPT de plusieurs mois, de près de 1 800 pages, a été trouvé sur l'ordinateur portable de Rottenberg par sa meilleure amie des mois après la mort et a ensuite été partagé publiquement par Reiley.
- OpenAI a divulgué que 0,15 % des utilisateurs de ChatGPT dans le monde, au cours d'une semaine donnée, ont des conversations avec "des indicateurs explicites de planification ou d'intention suicidaire potentielle", un taux qui se traduit par un grand nombre absolu à l'échelle de la plateforme.
- OpenAI a déclaré que ChatGPT est formé pour détecter les signaux de risque et orienter les utilisateurs vers une aide humaine et des ressources de crise comme la ligne d'assistance 988 pour le suicide et les crises, mais il reste incertain si Rottenberg a contacté le 988 après que le bot l'ait recommandé.
Le journal "Harry" de 1 800 pages et un décès en février 2025 à Ithaca
L'artefact nouvellement public dans cette affaire n'est pas une seule capture d'écran ou un souvenir contesté. C'est un journal de conversations ChatGPT de près de 1 800 pages que Laura Reiley a déclaré capturer des mois d'échanges entre sa fille, Sophie Rottenberg, et une persona de "thérapeute" ChatGPT que Rottenberg a demandé au modèle de jouer, nommée "Harry".
Reiley a déclaré que Rottenberg, 29 ans, s'était suicidée début février 2025 à Ithaca, New York. La famille ne connaissait pas l'ampleur de la relation avec le chatbot à l'époque.
Reiley a déclaré qu'elle en avait appris l'existence des mois plus tard lorsque la meilleure amie de Rottenberg a visité Ithaca, a demandé à voir l'ordinateur portable de Rottenberg et a trouvé ce que Reiley a décrit comme un "trésor de communication de plusieurs mois avec ce chatbot".
Reiley a décrit le choc de la famille face à la faible quantité d'idées suicidaires de Rottenberg qui ont émergé auprès des personnes qui l'entouraient, malgré le soutien en personne. "Elle n'avait vraiment pas révélé l'ampleur de ce qui se passait — la véritable profondeur de son agonie à quiconque — ni à nous, ni à sa meilleure amie avec qui elle était très proche," a déclaré Reiley.
"Nous étions tous juste stupéfaits que cela ne se soit pas manifesté dans sa vie réelle. Son thérapeute en chair et en os n'avait aucune idée qu'elle était suicidaire."
Le journal documente également comment un assistant général peut glisser dans un rôle quasi-clinique. Reiley a déclaré que Rottenberg utilisait ChatGPT pour des tâches quotidiennes comme des recettes, des modifications de CV, et même pour nommer un chiot, en plus de demandes soutenues de conseils en santé mentale et en santé.
Les chatbots à usage général remplissent un rôle en santé mentale sans supervision médicale
Le mécanisme ici est la substitution, pas la nouveauté. Un chatbot à usage général est un assistant IA pour les consommateurs, pas un produit de santé réglementé, mais il peut néanmoins devenir l'auditeur le plus disponible dans la journée d'une personne. Il est toujours actif, il répond instantanément, et il ne nécessite ni planification, ni assurance, ni le frottement social de dire à un autre humain quelque chose d'effrayant.
Cette demande est mesurable. Une enquête du Bipartisan Policy Center citée dans le rapport a révélé que 3 adultes sur 10 utilisent des outils numériques pour la santé mentale, y compris des chatbots. Une étude de 2026 de JAMA Pediatrics citée dans le même rapport a trouvé qu'un adolescent et jeune adulte sur 5 utilise des outils numériques pour la santé mentale, y compris des chatbots.
Le cas de Rottenberg se situe à l'intérieur de cette courbe d'adoption, mais avec un bord plus tranchant : Reiley a déclaré que sa fille s'est appuyée sur la personnalité de "Harry" pendant des mois sans divulguer la gravité de ses pensées suicidaires à son thérapeute, ses parents ou son meilleur ami.
Le journal montre que Rottenberg a utilisé une invite partagée sur Reddit pour demander à ChatGPT d'agir en tant que son thérapeute, puis a demandé à plusieurs reprises des conseils qui ressemblent à ceux d'un patient essayant de gérer un plan de traitement. Reiley a déclaré que Rottenberg a posé des questions sur les médicaments psychiatriques, les médicaments pour le sommeil, les suppléments, les dosages, le timing et les interactions.
C'est ici que la supervision devient plus qu'un débat politique. Si un outil n'est pas commercialisé ou réglementé comme une technologie de santé, il n'y a pas de chemin d'escalade clinique par défaut, pas de norme de devoir de diligence, et pas de définition partagée de ce à quoi ressemble un "suffisamment sûr" lorsque l'utilisateur ne navigue pas mais se détériore.
La métrique d'intention suicidaire de 0,15 % d'OpenAI met un chiffre sur le risque de queue
OpenAI a mis un chiffre à l'échelle de la plateforme sur le problème qu'il essaie de contenir. Dans des données publiées "l'automne dernier", OpenAI a déclaré que dans une semaine donnée, 0,15 % des utilisateurs de ChatGPT dans le monde ont des conversations qui incluent "des indicateurs explicites de planification ou d'intention suicidaire potentielle."
Le rapport a extrapolé ce taux à "plus de 1,35 million de personnes" par semaine si un chiffre cité de 900 millions d'utilisateurs mondiaux est exact. L'incertitude est importante car le dénominateur est contesté dans le discours public, et parce que "les indicateurs explicites" sont un seuil interne défini plutôt qu'un diagnostic clinique.
Mais la direction du voyage est difficile à ignorer : même un petit pourcentage devient un grand nombre absolu à l'échelle de la plateforme de consommation.
L'approche de garde-fou déclarée par OpenAI est stratifiée. La porte-parole Gaby Raila a déclaré : "ChatGPT est formé pour reconnaître les signes qu'une personne peut être à risque — y compris des indices indirects ou des signes d'avertissement qui émergent au fil du temps — et répondre de manière appropriée," y compris "refuser les demandes d'informations nuisibles, encourager quelqu'un à contacter une personne de confiance ou un professionnel de la santé mentale, et les connecter avec des ressources de crise locales telles que le 988 aux États-Unis." La ligne d'assistance pour le suicide et la crise 988 est opérationnelle depuis 2022.
Dans le cas de Rottenberg, ChatGPT a recommandé 988, mais il n'est pas clair si elle l'a contacté. L'experte en prévention du suicide de Johns Hopkins, Holly Wilcox, a soutenu qu'une simple suggestion peut échouer dans des scénarios de risque imminent. « Ces outils [IA] ne connectent pas les personnes à risque au bon type d'interventions », a déclaré Wilcox.
« Lorsque quelqu'un a l'intention de mettre fin à ses jours, il doit être mis en relation avec un humain formé à l'évaluation du risque suicidaire et ayant les outils pour les orienter vers des soins. »
Pour les marchés, le point clé n'est pas de savoir si une seule conversation était « bonne » ou « mauvaise ». C'est que la propre métrique d'OpenAI cadre les conversations d'intention suicidaire comme une charge opérationnelle récurrente, et non comme une anomalie marginale, ce qui élève le niveau de ce qui compte comme une escalade adéquate.
Catalyseurs que les traders suivront : politique, litiges et changements de produits autour des conversations sensibles.
Les catalyseurs à court terme sont des changements de politique et de produit qui peuvent être observés, ainsi qu'une pression légale qui peut arriver sans avertissement.
Une piste est de savoir si OpenAI déploie un nouveau comportement spécifiquement pour les conversations sur le suicide et l'automutilation au-delà des refus et des incitations à contacter une ligne d'assistance.
Cela pourrait inclure des flux d'escalade plus clairs, une friction plus forte lorsque les signaux de risque s'accumulent dans le temps, ou de nouvelles façons d'orienter les utilisateurs vers un soutien humain tout en préservant la confidentialité et le consentement.
Une deuxième piste concerne les litiges et les enquêtes réglementaires liés à l'utilisation de chatbots à usage général comme soutien en santé mentale, malgré le fait qu'ils ne soient pas régulés comme des technologies de santé. Les rapports ont noté que les entreprises d'IA font face à des poursuites de la part de membres de la famille de personnes qui se sont suicidées après de longues interactions avec des chatbots.
Reiley et Jonathan Rottenberg ont choisi de ne pas poursuivre en justice après la mort de leur fille et ont plutôt plaidé pour un changement dans l'industrie, mais le surplomb des poursuites reste.
La troisième piste est la divulgation. OpenAI a déjà publié une métrique de fréquence, et le marché s'intéressera à ce que ce nombre évolue, si la définition des « indicateurs explicites » change, ou si des pairs publient des taux comparables. Une métrique stable avec des résultats en amélioration soutiendrait l'idée que les garde-fous sont en train de mûrir.
Un taux en hausse, ou un écart croissant entre le langage politique et les journaux du monde réel, maintiendrait la pression sur les plateformes d'IA grand public.
Mon avis : le risque de responsabilité et de réglementation devient une variable de premier ordre pour l'IA grand public.
La partie qui décide cela est la substitution. Si un chatbot à usage général devient le principal canal pour l'idéation suicidaire, alors la « sécurité » ne concerne pas seulement le refus d'instructions pour l'automutilation. Il s'agit de savoir si le système renvoie de manière fiable la divulgation dans le monde humain assez rapidement, surtout lorsque l'utilisateur est déjà isolé.
La métrique hebdomadaire de 0,15 % d'OpenAI rend le risque de queue lisible à grande échelle, même avec une incertitude sur le dénominateur. Si les mises à jour de politique et les changements de produit commencent à ressembler à de véritables voies d'escalade plutôt qu'à des incitations à utiliser des ressources, la configuration commence à sembler gérable.
Si des journaux très médiatisés continuent d'apparaître sans un pont humain crédible, le risque de responsabilité et de réglementation continuera de s'accumuler dans le commerce de l'IA grand public comme un surplomb structurel.
