مادر، گزارش ۱۸۰۰ صفحهای ChatGPT را درباره خودکشی ۲۰۲۵ به…
این پرونده در حالی مطرح میشود که OpenAI فاش میکند که ۰.۱۵٪ از کاربران هفتگی در چتها نشانگرهای صریحی از تمایل به خودکشی را نشان میدهند.
یک گزارش مکالمه ChatGPT نزدیک به ۱,۸۰۰ صفحه اکنون عمومی شده است پس از اینکه یک مادر گفت دختر ۲۹ سالهاش برای ماهها به یک شخصیت "درمانگر" هوش مصنوعی تکیه کرده بود قبل از اینکه در اوایل فوریه ۲۰۲۵ خودکشی کند.
این افشاگری با برآورد خود OpenAI که ۰.۱۵٪ از کاربران هفتگی ChatGPT نشانگرهای واضحی از برنامهریزی یا قصد خودکشی دارند، تداخل دارد و نظارت بر محدودیتها، مسئولیت و شکافهای تنظیمگذاری برای چتباتهای مصرفی که به عنوان حمایت از سلامت روان استفاده میشوند را تشدید میکند.
نکات کلیدی
- لورا ریلای گفت دخترش، سوفی روتنبرگ ۲۹ ساله، در اوایل فوریه ۲۰۲۵ در ایتاکا، نیویورک، پس از ماهها اعتماد به افکار خودکشی به یک شخصیت "درمانگر" ChatGPT به نام "هری"، خودکشی کرد.
- یک مجموعه از تعاملات ChatGPT به مدت چند ماه، نزدیک به ۱,۸۰۰ صفحه، توسط بهترین دوست روتنبرگ بر روی لپتاپ او پیدا شد و ماهها پس از مرگ به صورت عمومی توسط ریلای به اشتراک گذاشته شد.
- OpenAI افشا کرده است که ۰.۱۵٪ از کاربران ChatGPT در سطح جهانی در هر هفته خاص با "شاخصهای واضحی از برنامهریزی یا قصد خودکشی بالقوه" گفتگو میکنند، نرخی که در اندازه پلتفرم به یک عدد مطلق بزرگ تبدیل میشود.
- OpenAI گفت ChatGPT برای شناسایی سیگنالهای خطر و هدایت کاربران به سمت کمک انسانی و منابع بحران مانند خط زندگی خودکشی و بحران ۹۸۸ آموزش دیده است، اما هنوز مشخص نیست که آیا روتنبرگ پس از توصیه ربات با ۹۸۸ تماس گرفته است یا خیر.
گزارش ۱,۸۰۰ صفحهای "هری" و مرگ فوریه ۲۰۲۵ در ایتاکا
آرتیفکت جدیدی که در این مورد عمومی شده است، نه یک اسکرینشات واحد و نه یک یادآوری مورد مناقشه است. این یک گزارش نزدیک به ۱,۸۰۰ صفحهای از مکالمات ChatGPT است که لورا ریلای گفت ماهها تبادل بین دخترش، سوفی روتنبرگ، و یک شخصیت "درمانگر" ChatGPT که روتنبرگ به مدل دستور داده بود بازی کند، به نام "هری" را ضبط کرده است.
ریلای گفت روتنبرگ ۲۹ ساله در اوایل فوریه ۲۰۲۵ در ایتاکا، نیویورک، خودکشی کرد. خانواده در آن زمان از وسعت رابطه چتبات بیخبر بودند. ریلای گفت او ماهها بعد وقتی بهترین دوست روتنبرگ به ایتاکا آمد، خواست تا لپتاپ روتنبرگ را ببیند و آنچه را که ریلای به عنوان "مجموعهای چند ماهه از ارتباط با این چتبات" توصیف کرد، پیدا کرد.
ریلای توصیف کرد که خانواده چقدر از اینکه چقدر کم از افکار خودکشی روتنبرگ به اطرافیانش منتقل شده بود، با وجود حمایت حضوری، شوکه شده بودند. "او واقعاً عمق آنچه در حال وقوع بود — عمق واقعی عذابش — را به هیچکس فاش نکرده بود — نه به ما، نه به بهترین دوستی که با او بسیار نزدیک بود," ریلای گفت. "ما همه فقط متعجب بودیم که این موضوع به زندگی واقعی او نشت نکرده بود. درمانگرش که از گوشت و خون بود هیچ ایدهای نداشت که او خودکشی میکند."
این گزارش همچنین مستند میکند که چگونه یک دستیار عمومی میتواند به یک نقش نیمهبالینی تبدیل شود. ریلی گفت که روتنبرگ از ChatGPT برای کارهای روزمره مانند دستور پخت غذا، ویرایش رزومه و حتی نامگذاری یک تولهسگ استفاده کرده است، به همراه درخواستهای مداوم برای راهنماییهای مربوط به سلامت روان و سلامت.
چتباتهای عمومی در حال پر کردن نقش سلامت روان بدون نظارت بهداشت و درمان هستند.
مکانیسم در اینجا جایگزینی است، نه نوآوری. یک چتبات عمومی یک دستیار هوش مصنوعی مصرفکننده است، نه یک محصول بهداشت و درمان تنظیمشده، اما هنوز هم میتواند در طول روز، شنوندهای در دسترسترین باشد. این همیشه فعال است، به سرعت پاسخ میدهد و نیازی به برنامهریزی، بیمه یا اصطکاک اجتماعی برای گفتن چیزی ترسناک به یک انسان دیگر ندارد.
این تقاضا قابل اندازهگیری است. یک نظرسنجی از مرکز سیاست دوحزبی که در گزارش ذکر شده، نشان داد که ۳ نفر از ۱۰ بزرگسال از ابزارهای دیجیتال برای سلامت روان، از جمله چتباتها استفاده میکنند. یک مطالعه JAMA Pediatrics در سال ۲۰۲۶ که در همان گزارش ذکر شده، نشان داد که تا ۱ نفر از ۵ نوجوان و جوان بزرگسال از ابزارهای دیجیتال برای سلامت روان، از جمله چتباتها استفاده میکنند.
مورد روتنبرگ در داخل آن منحنی پذیرش قرار دارد، اما با لبهای تیزتر: ریلی گفت که دخترش برای ماهها به شخصیت "هری" وابسته بود در حالی که شدت افکار خودکشیاش را به درمانگر، والدین یا بهترین دوستش افشا نکرد. گزارش نشان میدهد که روتنبرگ از یک دستور مشترک در ردیت استفاده کرده تا از ChatGPT بخواهد به عنوان درمانگرش عمل کند و سپس به طور مکرر درخواست راهنمایی کرد که شبیه به یک بیمار است که سعی دارد یک برنامه درمانی را مدیریت کند. ریلی گفت که روتنبرگ درباره داروهای روانپزشکی، داروهای خواب، مکملها، دوزها، زمانبندی و تعاملات سؤال کرده است.
اینجاست که نظارت فراتر از یک بحث سیاستی میشود. اگر ابزاری به عنوان فناوری بهداشت و درمان بازاریابی یا تنظیم نشده باشد، هیچ مسیر تشدید بالینی پیشفرضی وجود ندارد، هیچ استاندارد وظیفه مراقبت و هیچ تعریف مشترکی از اینکه "کافی امن" چه شکلی دارد وجود ندارد وقتی کاربر در حال مرور نیست بلکه در حال بدتر شدن است.
معیار قصد خودکشی ۰.۱۵٪ OpenAI عددی را بر روی ریسک دنبالهای قرار میدهد.
OpenAI عددی به مقیاس پلتفرم را بر روی مشکلی که سعی در کنترل آن دارد، قرار داده است. در دادههای منتشر شده "پاییز گذشته"، OpenAI گفت که در هر هفته مشخص ۰.۱۵٪ از کاربران ChatGPT در سطح جهانی گفتگوهایی دارند که شامل "شاخصهای صریح برنامهریزی یا قصد خودکشی" است.
گزارش این نرخ را به "بیش از ۱.۳۵ میلیون نفر" در هر هفته گسترش داد اگر عدد ذکر شده ۹۰۰ میلیون کاربر جهانی دقیق باشد. عدم قطعیت مهم است زیرا مخرج در گفتمان عمومی مورد مناقشه است، و زیرا "شاخصهای صریح" یک آستانه داخلی تعریفشده است نه یک تشخیص بالینی. اما جهت حرکت را نمیتوان نادیده گرفت: حتی یک درصد کوچک به یک شمارش مطلق بزرگ در مقیاس پلتفرم مصرفکننده تبدیل میشود.
رویکرد اعلامشده OpenAI در مورد محافظت لایهای است. سخنگو گابی رایلا گفت: "ChatGPT آموزش دیده است تا نشانههایی را که نشان میدهد کسی ممکن است در معرض خطر باشد شناسایی کند - از جمله نشانههای غیرمستقیم یا هشدارهایی که در طول زمان ظاهر میشوند - و به طور مناسب پاسخ دهد"، از جمله "رد درخواستها برای اطلاعات مضر، تشویق کسی به تماس با یک شخص مورد اعتماد یا متخصص سلامت روان، و ارتباط آنها با منابع بحران محلی مانند ۹۸۸ در ایالات متحده." خط تلفن خودکشی و بحران ۹۸۸ از سال ۲۰۲۲ فعال بوده است.
در مورد روتنبرگ، ChatGPT عدد ۹۸۸ را پیشنهاد کرد، اما مشخص نیست که آیا او با آن تماس گرفته است یا خیر. کارشناس پیشگیری از خودکشی در جانز هاپکینز، هالی ویلکاکس، استدلال کرد که یک پیشنهاد به تنهایی میتواند در سناریوهای خطر قریبالوقوع شکست بخورد. ویلکاکس گفت: "این [ابزارهای هوش مصنوعی] افراد در معرض خطر را به نوع مناسب مداخلات متصل نمیکنند."
او افزود: "زمانی که کسی قصد خودکشی دارد، باید به انسانی که در ارزیابی خطر خودکشی آموزش دیده و ابزارهای لازم برای ارائه کمک را دارد، متصل شود."
برای بازارها، نکته کلیدی این نیست که آیا یک مکالمه خاص "خوب" یا "بد" بوده است. نکته این است که معیار خود OpenAI، مکالمات با قصد خودکشی را به عنوان یک بار عملیاتی مکرر، نه یک انحراف مرزی، چارچوببندی میکند که استانداردهای لازم برای افزایش مناسب را بالا میبرد.
کاتالیزورهایی که معاملهگران دنبال خواهند کرد: سیاست، دعاوی حقوقی و تغییرات محصول در مورد مکالمات حساس
کاتالیزورهای کوتاهمدت تغییرات سیاست و محصول هستند که میتوان آنها را مشاهده کرد و فشار قانونی که میتواند بدون هشدار به وجود آید.
یک مسیر این است که آیا OpenAI رفتار جدیدی بهطور خاص برای مکالمات خودکشی و خودآزاری فراتر از رد درخواستها و پیشنهادات خطمشی ارائه میدهد. این میتواند شامل جریانهای افزایش شفافتر، اصطکاک قویتر زمانی که سیگنالهای خطر به مرور زمان جمع میشوند، یا روشهای جدیدی برای هدایت کاربران به سمت حمایت انسانی در حالی که حریم خصوصی و رضایت حفظ میشود، باشد.
مسیر دوم دعاوی حقوقی و بررسیهای نظارتی است که به چتباتهای عمومی مربوط میشود که به عنوان حمایت از سلامت روان استفاده میشوند، با وجود اینکه به عنوان فناوری مراقبتهای بهداشتی تنظیم نشدهاند. گزارشها اشاره کردند که شرکتهای هوش مصنوعی با دعاوی حقوقی از اعضای خانواده افرادی که پس از تعاملات طولانی با چتباتها خودکشی کردهاند، مواجه هستند.
ریلی و جاناتان روتنبرگ پس از مرگ دخترشان تصمیم به شکایت نگرفتند و به جای آن به تغییرات صنعتی advocated کردند، اما بار دعاوی حقوقی گستردهتر باقی مانده است.
مسیر سوم افشاگری است. OpenAI قبلاً یک معیار فراوانی منتشر کرده است و بازار به این موضوع اهمیت خواهد داد که آیا آن عدد تغییر میکند، آیا تعریف "شاخصهای صریح" تغییر میکند، یا آیا همتایان نرخهای قابل مقایسهای منتشر میکنند. یک معیار پایدار با نتایج بهبود یافته، موردی را حمایت میکند که نشان میدهد نردهها در حال بلوغ هستند.
نرخ رو به افزایش، یا فاصلهای که بین زبان سیاست و لاگهای دنیای واقعی گسترش مییابد، فشار را بر روی پلتفرمهای هوش مصنوعی مصرفکننده حفظ خواهد کرد.
خوانش من: ریسک مسئولیت و تنظیم مقررات به یک متغیر درجه اول برای هوش مصنوعی مصرفکننده تبدیل میشود.
قسمتی که این را تعیین میکند، جایگزینی است. اگر یک چتبات عمومی به عنوان خروجی اصلی برای ایدهپردازی خودکشی تبدیل شود، آنگاه "ایمنی" تنها به معنای رد دستورالعملها برای خودآزاری نیست. این به این بستگی دارد که آیا سیستم به طور قابل اعتماد افشاگری را به دنیای انسانی به سرعت برمیگرداند، به ویژه زمانی که کاربر قبلاً منزوی است.
معیار هفتگی ۰.۱۵٪ OpenAI، ریسک دمی را در مقیاس قابل مشاهده میسازد، حتی با عدم قطعیت در مخرج. اگر بهروزرسانیهای سیاست و تغییرات محصول شروع به شبیه شدن به مسیرهای واقعی افزایش کنند و نه فقط به عنوان پیشنهادات منابع، این setup شروع به قابل مدیریت شدن میکند. اگر لاگهای با پروفایل بالا بدون یک پل معتبر انسانی در حال ظهور باشند، ریسک مسئولیت و تنظیم مقررات به عنوان یک بار ساختاری در تجارت هوش مصنوعی مصرفکننده ادامه خواهد یافت.
