मां ने 2025 आत्महत्या से जुड़े 1,800 पन्नों का ChatGPT लॉग…
यह मामला तब सामने आया है जब OpenAI ने खुलासा किया कि साप्ताहिक उपयोगकर्ताओं में से 0.15% चैट में स्पष्ट आत्महत्या के इरादे के संकेत दिखाते हैं।
एक लगभग 1,800-पृष्ठीय ChatGPT बातचीत लॉग अब सार्वजनिक है, जब एक माँ ने कहा कि उसकी 29 वर्षीय बेटी ने फरवरी 2025 की शुरुआत में आत्महत्या करने से पहले महीनों तक एक AI “थेरापिस्ट” व्यक्ति पर निर्भर रही। यह खुलासा OpenAI के अपने अनुमान के साथ टकराता है कि साप्ताहिक ChatGPT उपयोगकर्ताओं में से 0.15% आत्महत्या की योजना या इरादे के स्पष्ट संकेत दिखाते हैं, जो मानसिक स्वास्थ्य समर्थन के लिए उपभोक्ता चैटबॉट्स के लिए सुरक्षा उपायों, जिम्मेदारी और नियमन के अंतराल पर ध्यान केंद्रित करता है।
मुख्य बिंदु
- लौरा रेली ने कहा कि उसकी बेटी, 29 वर्षीय सोफी रॉटेनबर्ग, फरवरी 2025 की शुरुआत में इथाका, न्यूयॉर्क में आत्महत्या कर ली, जब उसने महीनों तक ChatGPT “थेरापिस्ट” व्यक्ति 'हैरी' को आत्महत्या के विचारों के बारे में बताया।
- ChatGPT इंटरैक्शन का महीनों का खजाना, लगभग 1,800 पृष्ठ, रॉटेनबर्ग के सबसे अच्छे दोस्त द्वारा उनकी मौत के महीनों बाद रॉटेनबर्ग के लैपटॉप पर पाया गया और बाद में रेली द्वारा सार्वजनिक रूप से साझा किया गया।
- OpenAI ने खुलासा किया है कि किसी भी दिए गए सप्ताह में वैश्विक स्तर पर ChatGPT उपयोगकर्ताओं में से 0.15% ऐसे वार्तालाप करते हैं जिनमें "संभावित आत्महत्या की योजना या इरादे के स्पष्ट संकेत" होते हैं, जो प्लेटफ़ॉर्म के आकार पर एक बड़े निरपेक्ष संख्या में बढ़ता है।
- OpenAI ने कहा कि ChatGPT जोखिम संकेतों का पता लगाने और उपयोगकर्ताओं को मानव सहायता और संकट संसाधनों की ओर मार्गदर्शित करने के लिए प्रशिक्षित है, जैसे 988 आत्महत्या और संकट लाइफलाइन, लेकिन यह स्पष्ट नहीं है कि क्या रॉटेनबर्ग ने बॉट द्वारा इसकी सिफारिश करने के बाद 988 से संपर्क किया।
1,800-पृष्ठीय “हैरी” लॉग और इथाका में फरवरी 2025 में हुई मौत
इस मामले में नया सार्वजनिक वस्तु एकल स्क्रीनशॉट या विवादित स्मृति नहीं है। यह ChatGPT वार्तालापों का लगभग 1,800-पृष्ठीय लॉग है जिसे लौरा रेली ने कहा कि उसकी बेटी सोफी रॉटेनबर्ग और एक ChatGPT “थेरापिस्ट” व्यक्ति के बीच महीनों के आदान-प्रदान को कैद करता है, जिसे रॉटेनबर्ग ने मॉडल को खेलने के लिए निर्देशित किया, जिसका नाम 'हैरी' है।
रेली ने कहा कि रॉटेनबर्ग, 29, फरवरी 2025 की शुरुआत में इथाका, न्यूयॉर्क में आत्महत्या कर ली। परिवार को उस समय चैटबॉट संबंध की सीमा का पता नहीं था। रेली ने कहा कि उसने महीनों बाद सीखा जब रॉटेनबर्ग का सबसे अच्छा दोस्त इथाका आया, रॉटेनबर्ग के लैपटॉप को देखने के लिए कहा, और वह जो रैली ने 'इस चैट बॉट के साथ महीनों का संचार का खजाना' बताया, पाया।
रेली ने बताया कि परिवार को यह जानकर आश्चर्य हुआ कि रॉटेनबर्ग के आत्महत्या के विचारों का कितना कम लोगों के सामने आया, भले ही व्यक्तिगत समर्थन था। "उसने वास्तव में किसी को भी यह नहीं बताया कि क्या हो रहा था - उसकी पीड़ा की वास्तविक गहराई - न तो हमें, न ही उसके सबसे अच्छे दोस्त को, जिसके साथ वह बहुत करीब थी," रेली ने कहा। "हम सभी बस चकित थे कि यह उसकी असली जिंदगी में नहीं निकला। उसके मांस और खून के थेरापिस्ट को यह नहीं पता था कि वह आत्महत्या करने वाली थी।
लॉग यह भी दस्तावेज करता है कि एक सामान्य सहायक कैसे एक अर्ध-चिकित्सीय भूमिका में समाहित हो सकता है। रेइली ने कहा कि रॉटेनबर्ग ने रोज़मर्रा के कार्यों जैसे कि व्यंजनों, रिज़्यूमे संपादनों, और यहां तक कि एक पिल्ले का नाम रखने के लिए ChatGPT का उपयोग किया, साथ ही मानसिक स्वास्थ्य और स्वास्थ्य मार्गदर्शन के लिए लगातार अनुरोध भी किए।
सामान्य-उद्देश्य वाले चैटबॉट मानसिक स्वास्थ्य की भूमिका को बिना स्वास्थ्य देखभाल की निगरानी के भर रहे हैं
यहां तंत्र प्रतिस्थापन है, नवाचार नहीं। एक सामान्य-उद्देश्य वाला चैटबॉट एक उपभोक्ता एआई सहायक है, न कि एक विनियमित स्वास्थ्य देखभाल उत्पाद, लेकिन यह फिर भी किसी व्यक्ति के दिन में सबसे उपलब्ध श्रोता बन सकता है। यह हमेशा चालू रहता है, तुरंत प्रतिक्रिया करता है, और इसे शेड्यूलिंग, बीमा, या किसी अन्य मानव को कुछ डरावना बताने के सामाजिक तनाव की आवश्यकता नहीं होती।
यह मांग मापने योग्य है। रिपोर्टिंग में उद्धृत एक द्विदलीय नीति केंद्र के सर्वेक्षण में पाया गया कि 10 में से 3 वयस्क मानसिक स्वास्थ्य के लिए डिजिटल उपकरणों का उपयोग करते हैं, जिसमें चैटबॉट शामिल हैं। 2026 के JAMA पीडियाट्रिक्स अध्ययन में, जो उसी रिपोर्टिंग में उद्धृत किया गया था, पाया गया कि 5 में से 1 किशोर और युवा वयस्क मानसिक स्वास्थ्य के लिए डिजिटल उपकरणों का उपयोग करते हैं, जिसमें चैटबॉट शामिल हैं।
रॉटेनबर्ग का मामला उस अपनाने की वक्र के भीतर है, लेकिन एक तेज धार के साथ: रेइली ने कहा कि उसकी बेटी ने महीनों तक "हैरी" व्यक्तित्व पर निर्भर किया जबकि उसने अपने चिकित्सक, माता-पिता, या सबसे अच्छे दोस्त को अपनी आत्महत्या के विचारों की गंभीरता का खुलासा नहीं किया। लॉग दिखाता है कि रॉटेनबर्ग ने ChatGPT को अपने चिकित्सक के रूप में कार्य करने के लिए एक Reddit-शेयर की गई प्रॉम्प्ट का उपयोग किया, फिर बार-बार मार्गदर्शन के लिए पूछा जो एक मरीज की तरह दिखता है जो उपचार योजना को प्रबंधित करने की कोशिश कर रहा है। रेइली ने कहा कि रॉटेनबर्ग ने मनोचिकित्सीय दवाओं, नींद की दवाओं, सप्लीमेंट्स, खुराक, समय, और इंटरैक्शन के बारे में पूछा।
यही वह जगह है जहां निगरानी नीति बहस से अधिक बन जाती है। यदि एक उपकरण को स्वास्थ्य देखभाल प्रौद्योगिकी के रूप में विपणन या विनियमित नहीं किया गया है, तो कोई डिफ़ॉल्ट क्लिनिकल वृद्धि पथ नहीं है, कोई देखभाल का मानक नहीं है, और जब उपयोगकर्ता ब्राउज़ नहीं कर रहा है बल्कि बिगड़ रहा है, तो "पर्याप्त सुरक्षित" का कोई साझा परिभाषा नहीं है।
OpenAI का 0.15% आत्महत्या-इरादा मीट्रिक जोखिम की संख्या को दर्शाता है
OpenAI ने उस समस्या पर एक प्लेटफ़ॉर्म-स्केल संख्या रखी है जिसे वह नियंत्रित करने की कोशिश कर रहा है। "पिछले पतझड़" में जारी किए गए डेटा में, OpenAI ने कहा कि किसी भी दिए गए सप्ताह में, वैश्विक स्तर पर ChatGPT उपयोगकर्ताओं में से 0.15% ऐसे वार्तालाप करते हैं जिनमें "संभावित आत्महत्या की योजना या इरादे के स्पष्ट संकेत" शामिल होते हैं।
रिपोर्टिंग ने उस दर को "900 मिलियन वैश्विक उपयोगकर्ताओं" के उद्धृत आंकड़े के अनुसार "1.35 मिलियन से अधिक लोगों" प्रति सप्ताह में बढ़ा दिया। अनिश्चितता महत्वपूर्ण है क्योंकि हर कोई इस पर सार्वजनिक चर्चा में विवादित है, और क्योंकि "स्पष्ट संकेत" एक परिभाषित आंतरिक सीमा है न कि एक क्लिनिकल निदान। लेकिन यात्रा की दिशा को नजरअंदाज करना मुश्किल है: यहां तक कि एक छोटा प्रतिशत उपभोक्ता-प्लेटफ़ॉर्म स्केल पर एक बड़ा कुल संख्या बन जाता है।
OpenAI का घोषित गार्डरेल दृष्टिकोण स्तरित है। प्रवक्ता गाबी रेला ने कहा, "ChatGPT को यह पहचानने के लिए प्रशिक्षित किया गया है कि कोई जोखिम में हो सकता है - जिसमें अप्रत्यक्ष संकेत या चेतावनी के संकेत शामिल हैं जो समय के साथ उभरते हैं - और उचित प्रतिक्रिया देने के लिए," जिसमें "हानिकारक जानकारी के लिए अनुरोधों को अस्वीकार करना, किसी को एक विश्वसनीय व्यक्ति या मानसिक स्वास्थ्य पेशेवर से संपर्क करने के लिए प्रोत्साहित करना, और उन्हें स्थानीय संकट संसाधनों जैसे कि अमेरिका में 988 से जोड़ना" शामिल है। 988 आत्महत्या और संकट लाइफलाइन 2022 से कार्यशील है।
रॉटेनबर्ग के मामले में, ChatGPT ने 988 की सिफारिश की, लेकिन यह स्पष्ट नहीं है कि उसने संपर्क किया या नहीं। जॉन्स हॉपकिन्स के आत्महत्या-निवारण विशेषज्ञ हॉली विलकॉक्स ने तर्क किया कि एक सुझाव अकेला तत्काल जोखिम के परिदृश्यों में विफल हो सकता है। "ये [AI] उपकरण जोखिम में पड़े लोगों को सही प्रकार के हस्तक्षेप से नहीं जोड़ते," विलकॉक्स ने कहा। "जब किसी का आत्महत्या करने का इरादा होता है, तो उन्हें एक ऐसे मानव से जोड़ा जाना चाहिए जो आत्महत्या जोखिम मूल्यांकन में प्रशिक्षित हो और उन्हें देखभाल दिलाने के लिए उपकरण हो।"
बाजारों के लिए, मुख्य बिंदु यह नहीं है कि एकल बातचीत "अच्छी" या "बुरी" थी। यह है कि OpenAI का अपना मेट्रिक आत्महत्या-इच्छा वाली बातचीत को एक आवर्ती परिचालन बोझ के रूप में फ्रेम करता है, न कि एक किनारे के मामले के असामान्य रूप में, जो पर्याप्त वृद्धि के लिए मानक को ऊंचा करता है।
कैटलिस्ट ट्रेडर्स ट्रैक करेंगे: संवेदनशील बातचीत के चारों ओर नीति, मुकदमा, और उत्पाद परिवर्तन
निकट-अवधि के कैटलिस्ट वे नीति और उत्पाद परिवर्तन हैं जो देखे जा सकते हैं, और कानूनी दबाव जो बिना चेतावनी के आ सकता है।
एक ट्रैक यह है कि क्या OpenAI आत्महत्या और आत्म-हानि की बातचीत के लिए विशेष रूप से नए व्यवहार को भेजता है, जो इनकार और हॉटलाइन संकेतों से परे है। इसमें स्पष्ट वृद्धि प्रवाह, समय के साथ जोखिम संकेतों के संचय पर मजबूत घर्षण, या उपयोगकर्ताओं को मानव समर्थन की ओर मार्गदर्शन करने के नए तरीके शामिल हो सकते हैं, जबकि गोपनीयता और सहमति को बनाए रखते हुए।
दूसरा ट्रैक सामान्य-उद्देश्य चैटबॉट्स के खिलाफ मुकदमा और नियामक जांच है, जो मानसिक स्वास्थ्य समर्थन के रूप में उपयोग किए जा रहे हैं, जबकि उन्हें स्वास्थ्य देखभाल प्रौद्योगिकी के रूप में विनियमित नहीं किया गया है। रिपोर्टिंग में उल्लेख किया गया कि AI कंपनियों को उन परिवार के सदस्यों से मुकदमे का सामना करना पड़ता है जिनके प्रियजन लंबे समय तक चैटबॉट इंटरैक्शन के बाद आत्महत्या कर चुके हैं। रिले और जोनाथन रॉटेनबर्ग ने अपनी बेटी की मृत्यु के बाद मुकदमा न करने का निर्णय लिया और इसके बजाय उद्योग परिवर्तन के लिए वकालत की, लेकिन व्यापक मुकदमे का दबाव बना हुआ है।
तीसरा ट्रैक खुलासा है। OpenAI पहले ही एक आवृत्ति मेट्रिक प्रकाशित कर चुका है, और बाजार को यह महत्वपूर्ण होगा कि यदि वह संख्या बदलती है, यदि "स्पष्ट संकेतकों" की परिभाषा बदलती है, या यदि समकक्ष दरें प्रकाशित की जाती हैं। एक स्थिर मेट्रिक जिसमें सुधारित परिणाम होते हैं, यह समर्थन करेगा कि गार्डरेल परिपक्व हो रहे हैं। एक बढ़ती दर, या नीति भाषा और वास्तविक-विश्व लॉग के बीच एक चौड़ी खाई, उपभोक्ता AI प्लेटफार्मों पर दबाव बनाए रखेगी।
मेरी राय: देयता और नियमन का जोखिम उपभोक्ता AI के लिए एक पहले क्रम का चर बनता जा रहा है।
जिस भाग का निर्णय यह करता है वह प्रतिस्थापन है। यदि एक सामान्य-उद्देश्य चैटबॉट आत्महत्या के विचारों के लिए प्राथमिक आउटलेट बन जाता है, तो "सुरक्षा" केवल आत्म-हानि के लिए निर्देशों को अस्वीकार करने के बारे में नहीं है। यह इस बारे में है कि क्या प्रणाली विश्वसनीय रूप से खुलासा को मानव दुनिया में तेजी से वापस धकेलती है, विशेष रूप से जब उपयोगकर्ता पहले से ही अलग-थलग होता है।
OpenAI का 0.15% साप्ताहिक मेट्रिक जोखिम को बड़े पैमाने पर स्पष्ट बनाता है, भले ही हरकत में अनिश्चितता हो। यदि नीति अपडेट और उत्पाद परिवर्तन वास्तविक वृद्धि के मार्गों की तरह दिखने लगते हैं न कि संसाधन संकेतों की तरह, तो सेटअप प्रबंधनीय लगने लगता है। यदि उच्च-प्रोफ़ाइल लॉग बिना किसी विश्वसनीय मानव-इन-द-लूप ब्रिज के सामने आते रहते हैं, तो देयता और नियमन का जोखिम उपभोक्ता AI व्यापार में एक संरचनात्मक ओवरहैंग के रूप में बढ़ता रहेगा।
