هینتون و بنجیو: برنامهریزی برای "انفجار هوش" AI ضروری است
یک گزارش جدید ادعا میکند که تحقیق و توسعه خودکار هوش مصنوعی میتواند سالها پیشرفت را به چند ماه کاهش دهد و خواستار حسابرسان، محدودیتهای سرعت و ابزارهای توقف مرکز دادهها شده است.
بیش از ۲۰ محقق و مدیر AI از جمله جفری هینتون، یوشوا بنگیو، دانشمند ارشد OpenAI یاکوب پاچوکی و همبنیانگذار Anthropic جک کلارک گزارشی منتشر کردند که هشدار میدهد خودکارسازی تحقیق و توسعه AI میتواند موجب یک "انفجار هوش" غیرقابل کنترل شود. نویسندگان این مکانیزم را با پیشنهادات سیاستی که به طور مستقیم به سرعت محاسبات و توسعه هدفگذاری میکند، ترکیب میکنند و کاتالیزور جدیدی برای مقررات AI و روایتهای مرکز داده ایجاد میکنند.
نکات کلیدی
- بیش از ۲۰ نویسنده از جمله جفری هینتون، یوشوا بنگیو، همبنیانگذار Anthropic جک کلارک و دانشمند ارشد OpenAI یاکوب پاچوکی مقالهای با عنوان "اگر خودکارسازی تحقیق و توسعه AI موجب انفجار هوش شود، چه اتفاقی میافتد؟" منتشر کردند.
- این مقاله "انفجار هوش" را به عنوان "شتاب قابل توجه پیشرفت AI بهوسیله AI، فشردهسازی پیشرفتهایی که در غیر این صورت سالها طول میکشید به ماهها یا کمتر" تعریف میکند.
- تحقیق و توسعه خودکار AI و "بهبود خودبازگشتی" به عنوان مسیر کلیدی مطرح شدهاند، با این استدلال که یک توسعهدهنده میتواند به طور مؤثر "میلیونها" محقق برتر را در اختیار بگیرد زمانی که سیستمها به قابلیت تحقیق و توسعه AI در سطح کارشناسی برسند.
- ابزارهای سیاست پیشنهادی شامل گزارشهای پیشرفت شفاف با حسابرسان مستقل، محدودیتهایی بر سرعت توسعه، هماهنگی مراکز داده برای توقف پروژهها، الزامات ایزولهسازی برای سیستمهای تحقیق و توسعه خودکار و برنامهریزی برای پاسخ اضطراری است.
هینتون، بنگیو و رهبران OpenAI/Anthropic "انفجار هوش" را در دستور کار سیاست قرار میدهند.
این گزارش که با عنوان "اگر خودکارسازی تحقیق و توسعه AI موجب انفجار هوش شود، چه اتفاقی میافتد؟" منتشر شده، با فهرست نویسندگان عمدهای به طور عمدی سنگین به زمین مینشیند: برنده جایزه نوبل جفری هینتون، دانشمند کامپیوتر یوشوا بنگیو، همبنیانگذار Anthropic جک کلارک و دانشمند ارشد OpenAI یاکوب پاچوکی از جمله بیش از ۲۰ مشارکتکننده نامبرده هستند.
حرکت اصلی مقاله این است که یک استدلال ایمنی طولانیمدت را به یک مسیر عملی خاص متصل کند و سپس اهرمهای مشخصی را که دولتها میتوانند به آنها دست بزنند، پیوست کند.
نویسندگان "انفجار هوش" را به عنوان "شتاب قابل توجه پیشرفت AI بهوسیله AI، فشردهسازی پیشرفتهایی که در غیر این صورت سالها طول میکشید به ماهها یا کمتر" تعریف میکنند. آنها همچنین هشدار میدهند که "زمانی که انفجار هوش آغاز شود، پنجره اقدام ممکن است بسته شود."
این چارچوب به عنوان یک ادعای قابلیت کمتر از یک ادعای زمانبندی اهمیت دارد، زیرا برای توجیه پیشتعهد طراحی شده است: قوانینی که آزمایشگاههای مرزی و انبوه محاسبات را قبل از اینکه مرحله بعدی خودکارسازی برسد، متعهد میکند.
برای معاملهگران، ارتباط فوری این است که آیا سیستمهای "فوقانسانی" در حال نزدیک شدن هستند یا نه. این است که یک گروه برجسته در تلاش است تا "حاکمیت محاسباتی" را به عنوان یک دسته سیاستی رسمی کند، با پیشنهاداتی که به دورههای آموزشی، خطوط ارزیابی و عملیات مراکز داده مربوط میشود و نه برنامههای پاییندستی.
مکانیسم: تحقیق و توسعه خودکار هوش مصنوعی و بهبود خودبازگشتی
مکانیسم این مقاله بهبود خودگردان بازگشتی است که به عنوان سیستمهای هوش مصنوعی که سیستمهای هوش مصنوعی را با کاهش دخالت انسانی بهبود میبخشند، توصیف شده است. به زبان گزارش، این "تحقیق و توسعه خودکار هوش مصنوعی" نامیده میشود و به عنوان محتملترین مسیر به سوی انفجار هوش تلقی میشود زیرا به گلوگاههایی که معمولاً پیشرفت را کند میکند، یعنی نیروی کار متخصص کمیاب و چرخههای تکرار کند، حمله میکند.
ادعای مقیاسپذیری صریح است. هنگامی که سیستمهای هوش مصنوعی به قابلیتهای سطح کارشناسی در تحقیق و توسعه هوش مصنوعی دست یابند، مقاله استدلال میکند که "یک توسعهدهنده میتواند نیروی کاری معادل با 'میلیونها' محقق برتر انسانی را اداره کند." از نظر مکانیکی، این به معنای آن نیست که یک مدل همهچیزدان میشود.
بلکه به موازیسازی مربوط میشود: بسیاری از کارگران عامل فرضیههایی تولید میکنند، کد مینویسند، آزمایشها را انجام میدهند و به سرعت از معماریها و دستورالعملهای آموزشی نسبت به تیمهای انسانی که میتوانند هماهنگ شوند، تکرار میکنند.
بخش دوم مکانیزم سرعت استقرار است. نویسندگان استدلال میکنند که تحقیق و توسعه خودکار AI به طور منحصر به فردی خطرناک است زیرا سیستمهای بهبود یافته میتوانند "به سرعت پس از ساخت مستقر شوند"، که یک مزیت تحقیقاتی را به سرعت به یک مزیت تولیدی تبدیل میکند. به همین دلیل است که نقاط گلوگاه گزارش در بالادست قرار دارند. اگر حلقه "مدل به ساخت مدل بهتر کمک میکند" باشد، پس سطح حساس دسترسی به محاسبات و سرعت تکرار است، نه پذیرش کاربر.
آنچه نویسندگان به عنوان شواهد اشاره میکنند: ۸۰٪ کد، عوامل خودمختار و پیشبینی اتوماسیون ۲۰۲۸
این گزارش سعی دارد داستان بهبود خودبازگشتی را در جریانهای کاری آزمایشگاهی امروزی، نه فرضیات دور، مستقر کند. این گزارش به بیانیه آنتروپیک اشاره میکند که میگوید هوش مصنوعی اکنون 80٪ از کد خود را تولید میکند. همچنین به استفاده اوپنای از سیستمهای خودمختار اشاره میکند.عاملهای هوش مصنوعیدر زمینههایی مانند آموزش مدلهای جدید، قرار دادن اتوماسیون عاملی به عنوان بخشی از خطوط توسعه پیشرفته.
نویسندگان در مورد جایی که آستانه امروز قرار دارد، حداقل در کاغذ، احتیاط میکنند. آنها مینویسند: "افزایش بهرهوری ناشی از خودکارسازی تحقیق و توسعه AI هنوز به آستانهای که نیاز به ایجاد یک انفجار هوش دارد، نرسیده است، اما افزایشهای ناشی از سیستمهای جدید احتمالاً به آن آستانه نزدیک میشوند." و آنها به مشکلات فعلی اشاره میکنند، از جمله سیستمهایی که به دستورات اطاعت نمیکنند.
با این حال، زبان زمانبندی در حال انجام کار است. گزارش پیشبینی میکند که پروژههای تحقیق و توسعه (R&D) که ممکن است ماهها برای انسانها طول بکشد، تا سال ۲۰۲۸ میتوانند بهطور کامل توسط هوش مصنوعی خودکار شوند. این پیشبینی مربوط به انتشار یک مدل خاص نیست. این یک ادعا درباره خودکارسازی وظایف در سازمانهای تحقیق و توسعه است، که دقیقاً حوزهای است که بهبودهای کوچک جمع میشوند.
این مقاله همچنین عدم قطعیت در مورد اینکه چگونه تسریع نرمافزاری به قابلیتهای دنیای واقعی تبدیل میشود را پرچمگذاری میکند. این مقاله اشاره میکند که پیشرفتها ممکن است به دلیل راهاندازی زنجیره تأمین برای مواد خاص یا رعایت مقررات کند شوند. همچنین استدلال میکند که AI میتواند تسریع در کاهش خطرات و همچنین قابلیتها را تسهیل کند و هر روایت «بیشتر اتوماسیون برابر با بیشتر خطر» را پیچیدهتر کند.
ابزارهای سیاستی که میتوانند محاسبات را تحت تأثیر قرار دهند: حسابرسان، محدودیتهای سرعت و هماهنگی توقف مرکز داده
برنامه سیاستی گزارش به طرز غیرمعمولی عملیاتی است. اولویتهای اصلی آن شامل الزامات گزارشهای پیشرفت شفاف در زمینه تحقیق و توسعه مرتبط با AI، از جمله گنجاندن حسابرسان مستقل در شرکتها و «یافتن راههایی برای محدود کردن توسعه سریع AI» به همراه آماده شدن برای سازگاری با انفجار هوش است.
فراتر از این اولویتها، مقاله ابزارهایی را فهرست میکند که مستقیماً به عملیات محاسبات و آموزش مربوط میشوند. این مقاله پیشنهاد میکند که سرعت بهبود AI در یک دوره زمانی مشخص محدود شود، با مراکز داده همکاری کند تا امکان توقف برخی پروژههای تحقیق و توسعه AI فراهم شود و اطمینان حاصل کند که سیستمهای تحقیق و توسعه خودکار AI به طور کامل ایزوله شده و نمیتوانند از کنترل انسان فرار کنند. همچنین خواستار «برنامههای پاسخ اضطراری» برای سناریوهایی است که ممکن است از انفجار هوش ناشی شوند.
ایده هماهنگی مرکز داده، مؤثرترین اهرم مرتبط با بازار است زیرا به اجرای قوانین در لایه زیرساخت اشاره دارد. اگر تنظیمکنندگان هرگز از گزارشدهی در سطح مدل به الزامات در سطح مرکز داده منتقل شوند، واحد عملی کنترل به اجرای آموزش و خوشه تبدیل میشود، نه برنامه. این نوع تغییری میتواند روایتهای مرتبط با AI را به سرعت دوباره قیمتگذاری کند، زیرا شیب مورد انتظار پیشرفت را تغییر میدهد نه بازار قابل دسترسی را.
خوانش من برای معاملهگران کریپتو: وقتی ایمنی AI به یک محدودکننده محاسبات تبدیل میشود، روایتها به سرعت دوباره قیمتگذاری میشوند.
آستانهای که در اینجا اهمیت دارد این نیست که آیا سناریوی «انفجار هوش» گزارش از نظر شایستگی درست است یا نه. بلکه این است که آیا کنترلهای پیشنهادی آن به اشیاء سیاستی قابل درک تبدیل میشوند: گزارشدهی پیشرفت اجباری با حسابرسان مستقل گنجانده شده، محدودیتهای صریح بر سرعت توسعه و هماهنگی توقف در سطح مرکز داده که میتواند عملیاتی شود.
اگر این ایدهها در پیشنهادات دولتی شروع به ظهور کنند، تنظیمات به نظر ساختاری میرسند نه روایتمحور، زیرا نقاط گلوگاهی در بالادست و قابل اندازهگیری هستند. تفاوت عملی ساده است: ایمنی AI دیگر یک بحث شهرتی نیست و به یک محدودکننده محاسبات تبدیل میشود، و در آن زمان است که روایتهای مرتبط با AI و مرکز داده بر اساس ریسک سیاست به جای سرعت خالص تکرار دوباره قیمتگذاری میشوند.
