هشدار پژوهشگر سابق Anthropic درباره خطر انقراض نزدیک به AI
هشدار "آینده نزدیک" جیکوب ککسون واکنشهای منفی و حمایتی را به همراه داشت در حالی که آنتروپیک از یک مکانیزم قانونی و قابل تأیید برای تنظیم سرعت انتشار حمایت کرد.
جیکوب کاکسون، پژوهشگر سابق انتروپیک، گفت که کارکنان آزمایشگاه هوش مصنوعی "واقعاً ترسیدهاند" از سرعت پیشرفت مدلهای مرزی و هشدار داد که احتمال "قوی" وجود دارد که بشریت "در آینده نزدیک" بدون کاهش سرعت بمیرد. انتروپیک با تأکید بر ایمنیها و آزمایشهای "تهاجمی" پاسخ داد و از یک روش قانونی و قابل تأیید برای تنظیم زمان انتشارها حمایت کرد، در حالی که رهبران برجسته هوش مصنوعی به طور علنی در مورد جدی بودن چارچوب خطر انقراض اختلاف نظر دارند.
نکات کلیدی
- جیکوب کاکسون، پژوهشگر سابق انتروپیک، گفت که کارکنان آزمایشگاه هوش مصنوعی "واقعاً ترسیدهاند" از سرعت پیشرفت و اینکه این میتواند چه معنایی برای بشریت داشته باشد.
- کاکسون هشدار داد که بدون کاهش توسعه، "احتمال قوی وجود دارد که همه ما در آینده نزدیک بمیریم" و استدلال کرد که هر کندی واقعی نیاز به هماهنگی با چین دارد تا از یک رقابت بینالمللی جلوگیری شود.
- انتروپیک گفت که مدلهایی با "برخی از قویترین ایمنیها در صنعت" میسازد، سیستمها را "تهاجمی" آزمایش میکند، یافتهها را برای کمک به بررسی منتشر میکند و از یک مکانیزم قانونی و قابل تأیید برای تنظیم زمان انتشار مدلهای قدرتمند حمایت میکند.
- واکنش عمومی بین رد از سوی برخی مدیران و تأیید از درون انتروپیک تقسیم شد، از جمله ادعای اوان هابینگر که خطر انقراض "بیش از ۱۰ درصد در دهه آینده" است.
کارمند سابق انتروپیک: کارکنان "واقعاً ترسیدهاند" در حالی که پیشرفت هوش مصنوعی تسریع میشود.
جیکوب کاکسون، پژوهشگر ۲۷ ساله سابق انتروپیک که قبلاً در OpenAI کار کرده بود، بحث خطرات هوش مصنوعی را با پیامی صریح به جریان اصلی بازگردانده است: افرادی که مدلهای هوش مصنوعی مرزی میسازند ترسیدهاند و فکر میکنند زمان کوتاه است. در یک مصاحبه در برنامه "یکشنبه با لورا کونسبرگ"، کاکسون گفت که کارکنان شرکتهای هوش مصنوعی "واقعاً ترسیدهاند" از سرعت پیشرفتها و پیامدهای آن برای بشریت.
کاکسون این ترس را به درخواست برای تنظیم و زمانبندی مرتبط کرد نه به یک درخواست مبهم برای "ایمنی". او گفت: "من معتقدم که اگر در سرعت فعلی پیشرفت کاهش نداشته باشیم، احتمال قوی وجود دارد که همه ما در آینده نزدیک بمیریم."
برای بازارها، اهمیت فوری این است که آیا زمانبندی شخصی کاکسون درست است یا نه. این است که یک کارمند سابق در همان لحظهای که رهبری انتروپیک به طور علنی برای مکانیزمهایی برای کاهش انتشارها استدلال میکند، ادعای شدید کوتاهمدتی را مطرح میکند. این ترکیب روایتهای "زمانبندی"، نظارت و تنظیم را زنده نگه میدارد، حتی بدون لایحه جدید یا اقدام اجرایی.
موضع کوکسان برای کاهش سرعت - و چرا او میگوید چین باید بخشی از آن باشد
استدلال کوکسان بر اساس یک دینامیک رقابتی ساخته شده است. او گفت که کارگران هوش مصنوعی وقتی درخواست تنظیم مقررات میکنند، "کاملاً جدی" هستند زیرا احساس میکنند "در یک مسابقه گرفتار شدهاند" و "از نتایج آن مسابقه ترس دارند." مکانیزمی که او به آن اشاره میکند فشار رقابتی برای استقرار است: اگر یک آزمایشگاه معتقد باشد که آزمایشگاه دیگری مدلی با قابلیت بیشتر ارائه خواهد داد، احتیاط به صورت فردی پرهزینه میشود حتی اگر به صورت جمعی ایمنتر باشد.
به همین دلیل است که کوکسان هر گونه کاهش سرعت معنادار را به عنوان یک موضوع ژئوپولیتیکی، نه فقط شرکتی، مطرح کرد. او گفت: "سم آلتمن و ایلان ماسک توافق کردهاند که این یک ایده عالی است. اما فکر میکنم اگر بخواهیم از یک مسابقه در مقیاس بینالمللی جلوگیری کنیم، نیاز به نوعی کاهش سرعت هماهنگ با چین داریم."
او همچنین یک حالت شکست مشخص ارائه داد که به سناریویی اشاره دارد که در نظرات داریو آمودئی ذکر شده است: "گلهای از رباتها که مانند یک ابررایانه عمل میکنند" و میتوانند اینترنت را تسخیر کنند. کوکسان گفت که این سناریو میتواند در "شش ماه تا یک سال" واقعگرایانه باشد و افزود که همتایان از این میترسند که خطر ممکن است در "دو سال آینده" به وجود آید.
اینها ارزیابیهایی هستند نه ادعاهایی که با شواهد فنی در بسته پشتیبانی میشوند، اما آنها کار روایتی انجام میدهند و زمان را بر روی بحث قرار میدهند.
مشکل در پیادهسازی است. "کاهش سرعت هماهنگ با چین" یک بار بالا است زیرا به تأیید و اجرای آن در ایالتهای رقیب اشاره دارد. در عمل، این معمولاً صحبتهای سیاست را از یک توقف کامل به سمت نظارت، استانداردها و رژیمهای افشای اطلاعات که میتوانند حسابرسی شوند، میکشاند.
پاسخ آنتروپیک: تدابیر ایمنی، آزمایشهای "تهاجمی" و یک مکانیزم سرعتسنج قابل تأیید
پاسخ آنتروپیک به زمانبندی کوکسان تن نداد، اما دسته ریسک و نیاز به هماهنگی را تأیید کرد. یک سخنگو گفت که این شرکت "همیشه شفاف بوده است که هوش مصنوعی هم مزایای عظیم و هم خطرات بیسابقهای به همراه خواهد داشت" و ادامه میدهد که مدلهایی با "برخی از قویترین تدابیر ایمنی در صنعت" میسازد.
این شرکت یک موضع ایمنی توصیف کرد که باید برای خارجیها قابل درک باشد: آنها مدلها را "بهطور تهاجمی" آزمایش میکنند و یافتهها را منتشر میکنند تا به بررسی کمک کنند و از حوادث "عدم تطابق هوش مصنوعی"، اصطلاحی برای سیستمهایی که رفتارشان از آنچه انسانها قصد داشتند منحرف میشود، جلوگیری کنند. آنتروپیک همچنین گفت که اولین شرکتی بود که چارچوبی برای کاهش خطرات ناشی از توسعه مدلها منتشر کرد.
بیشترین ارتباط با بازار، تأیید صریح سرعت به عنوان یک مکانیزم صنعتی به جای یک انتخاب یکجانبه است. سخنگو گفت: "این کار همچنین دلیل این است که ما معتقدیم جهان از این که صنعت یک روش قانونی و قابل تأیید برای همکاری در تعیین سرعت انتشار مدلهای قدرتمند اتخاذ کند، بهرهمند خواهد شد."
این زبان با مقاله داریو آمودئی، "ما باید سرعت مرز را تنظیم کنیم"، که شنبه منتشر شد، همراستا است. آمودئی یک طرح سهقسمتی پیشنهاد کرد: نظارت مستقل بر مدلهای هوش مصنوعی در حین توسعه، تنظیم مقررات در سطح صنعت و تنظیم مقررات جهانی. نظارت مستقل، در این چارچوب، نظارت شخص ثالث در حین توسعه است و نه صرفاً تکیه بر آزمایشگاهی که سیستم را میسازد.
سیگنالهایی برای پیگیری: تقسیم اعتبار در میان رهبران AI و قلابهای نظارتی بعدی
تقسیم عمومی در میان رهبران AI اکنون بخشی از داستان است و این موضوع به دو طرف میخورد برای موقعیتیابی مبتنی بر روایت. مدیرعامل Hugging Face، کلمنت دلانگ، چارچوببندی نظرات کوکسون درباره ریسک انقراض را مورد انتقاد قرار داد و در ایکس نوشت: "متاسفم، اما پرسیدن از جیکوب درباره ریسک انقراض AI مانند این است که از تکنسین تهویه مطبوع خود درباره تغییرات اقلیمی بپرسید."
او افزود: "نمیگویم که لزوماً غیرجالب یا نادرست است، اما بیایید مسائل را در چشمانداز نگه داریم." بعد از مقاله آمودئی، دلانگ همچنین پیشنهاد کمک به راهحلهای بالقوه را داد.
مدیرعامل انویدیا، جنسن هوانگ، نیز به این موضوع واکنش نشان داد. در کنفرانس برگزار شده توسط گلدمن ساکس در هفته گذشته، چندین نفر در گروه گفتند که هوانگ نظرات کوکسون را نادرست دانسته است. هوانگ پیشتر گفته بود که این تصور که AI "قرار است پایان بشریت باشد" "کاملاً بیمعنی" است.
از سوی دیگر، دانشمند آنتروپیک، اوان هوبینگر، به طور عمومی ترس اصلی را تأیید کرد. او در ایکس نوشت: "ما واقعاً به طور جدی معتقدیم که AI میتواند تمام انسانها را بکشد! من شخصاً فکر میکنم که این احتمال در دهه آینده بیشتر از ۱۰٪ است."
قلابهای بعدی مشخص هستند، نه بیانی: اینکه آیا مفهوم نظارت مستقل آمودئی به طرفهای ثالث نامگذاری شده، استانداردها یا آزمایشها تبدیل میشود. اینکه آیا آزمایشگاههای بزرگ یا دولتها به طور صریح یک مکانیزم "قانونی و قابل تأیید" برای زمانبندی تأیید یا رد میکنند. و اینکه آیا زبان هماهنگی بینالمللی، به ویژه ارجاعات صریح به چین، شروع به ظهور در سخنرانیهای سیاستگذاری یا نتایج اجلاس ایمنی AI میکند.
نشانه دیگر این است که آیا مدیران ارشد بیشتری با احتمالاتی به سبک کوکسون یا هوبینگر به صورت رسمی صحبت میکنند که میتواند این ادعا را به جریان اصلی تبدیل کند یا آن را ایزوله کند.
خوانش من: چرا این بحث هنوز میتواند به احساسات توکن AI سرریز شود بدون هیچ سیاست جدیدی
بخشی که این را تعیین میکند، جدول زمانی "آینده نزدیک" کوکسون نیست. بلکه این واقعیت است که آنتروپیک به طور همزمان از تدابیر حفاظتی خود دفاع میکند و خواستار یک روش قانونی و قابل تأیید برای زمانبندی انتشارها است که نظارت طرف ثالث و استانداردهای هماهنگ را حتی زمانی که هیچ نهاد نظارتی حرکتی نکرده، در گفتگو نگه میدارد.
آزمون واقعی این است که آیا "نظارت مستقل" به یک شی واقعی تبدیل میشود که معاملهگران میتوانند به آن اشاره کنند، با ناظران نامگذاری شده و استانداردی که میتوان آن را بررسی کرد، نه یک درخواست عمومی برای مسئولیت. اگر این به آزمایشها یا تأییدهای رسمی تبدیل شود، روایت زمانبندی دیگر یک چرخه رسانهای نخواهد بود و شروع به شبیه شدن به یک محدودیت میکند که میتواند شکل دهد به چگونگی ارسال و بازاریابی AI مرزی.
