पूर्व-Anthropic शोधकर्ता ने AI के खतरे की चेतावनी दी

पूर्व एंथ्रोपिक शोधकर्ता जैकब कॉक्सन ने कहा कि एआई लैब के कर्मचारी "वास्तव में डर गए हैं" सीमांत मॉडल प्रगति की गति से और चेतावनी दी कि मानवता "तुरंत भविष्य" में मर सकती है यदि विकास की गति धीमी नहीं होती। एंथ्रोपिक ने सुरक्षा उपायों और "आक्रामक" परीक्षण पर जोर देते हुए एक कानूनी, सत्यापनीय तरीके का समर्थन किया ताकि उद्योग रिलीज़ की गति को नियंत्रित कर सके, जबकि प्रमुख एआई नेताओं ने सार्वजनिक रूप से यह तय करने में विभाजित किया कि विलुप्ति-जोखिम की रूपरेखा को कितनी गंभीरता से लेना चाहिए।

मुख्य निष्कर्ष

• पूर्व एंथ्रोपिक शोधकर्ता जैकब कॉक्सन ने कहा कि एआई लैब के कर्मचारी प्रगति की गति और इसके मानवता के लिए क्या अर्थ हो सकता है, के बारे में "वास्तव में डर गए हैं"।
• कॉक्सन ने चेतावनी दी कि यदि विकास को धीमा नहीं किया गया तो "इस बात की एक मजबूत संभावना है कि हम सभी तुरंत भविष्य में मर सकते हैं," और तर्क किया कि किसी भी वास्तविक धीमी गति के लिए चीन के साथ समन्वय की आवश्यकता होगी ताकि अंतरराष्ट्रीय दौड़ से बचा जा सके।
• एंथ्रोपिक ने कहा कि यह "उद्योग में कुछ सबसे मजबूत सुरक्षा उपायों" के साथ मॉडल बनाता है, "आक्रामक" रूप से सिस्टम का परीक्षण करता है, जांच में मदद के लिए निष्कर्ष प्रकाशित करता है, और शक्तिशाली मॉडलों की रिलीज़ की गति को नियंत्रित करने के लिए एक कानूनी, सत्यापनीय तंत्र का समर्थन करता है।
• सार्वजनिक प्रतिक्रिया कुछ कार्यकारी अधिकारियों द्वारा खारिज करने और एंथ्रोपिक के भीतर समर्थन के बीच विभाजित थी, जिसमें एवान ह्यूबिंगर का दावा शामिल है कि विलुप्ति का जोखिम "अगले दशक में >10% है।"

पूर्व-एंथ्रोपिक अंदरूनी सूत्र: कर्मचारी एआई प्रगति के तेज होने पर "वास्तव में डर गए हैं"

जैकब कॉक्सन, 27 वर्षीय पूर्व एंथ्रोपिक शोधकर्ता, जो पहले ओपनएआई में काम कर चुके हैं, ने एआई-जोखिम बहस को एक स्पष्ट संदेश के साथ मुख्यधारा में वापस लाया: सीमांत एआई मॉडल बनाने वाले लोग डर गए हैं, और उन्हें लगता है कि समय सीमा छोटी है। "संडे विद लॉरा कुन्स्सबर्ग" पर एक साक्षात्कार में, कॉक्सन ने कहा कि एआई कंपनियों के कर्मचारी "वास्तव में डर गए हैं" प्रगति की गति और मानवता के लिए इसके निहितार्थ के बारे में।

कॉक्सन ने उस डर को विनियमन और गति के लिए एक कॉल से जोड़ा, न कि "सुरक्षा" के लिए एक अस्पष्ट अपील से। "मेरा मानना है कि यदि हम वर्तमान प्रगति की गति पर धीमा नहीं होते हैं, तो इस बात की एक मजबूत संभावना है कि हम सभी तुरंत भविष्य में मर सकते हैं," उन्होंने कहा।

बाजारों के लिए, तत्काल प्रासंगिकता इस बात में नहीं है कि कॉक्सन की व्यक्तिगत समय सीमा सही है या नहीं। यह है कि एक पूर्व कर्मचारी उसी क्षण में एक चरम निकट-अवधि का दावा कर रहा है जब एंथ्रोपिक का नेतृत्व सार्वजनिक रूप से रिलीज़ को धीमा करने के लिए तंत्र के लिए तर्क कर रहा है। यह संयोजन "गति", निगरानी, और विनियमन की कथाओं को जीवित रखता है, भले ही कोई नया बिल या प्रवर्तन कार्रवाई न हो।

कॉक्सन का धीमी गति के लिए तर्क—और क्यों वह कहते हैं कि चीन को इसका हिस्सा होना चाहिए

कॉक्सन का तर्क एक दौड़ की गतिशीलता के चारों ओर बना है। उन्होंने कहा कि AI श्रमिक जब विनियमन के लिए पूछते हैं तो वे "पूरी तरह से गंभीर" होते हैं क्योंकि वे "एक दौड़ में फंसे हुए" महसूस करते हैं और "उस दौड़ के परिणामों से डरते हैं।" जिस तंत्र की वह ओर इशारा कर रहे हैं वह प्रतिस्पर्धात्मक तैनाती का दबाव है: यदि एक प्रयोगशाला मानती है कि दूसरी प्रयोगशाला एक अधिक सक्षम मॉडल भेजेगी, तो संयम व्यक्तिगत रूप से महंगा हो जाता है, भले ही यह सामूहिक रूप से सुरक्षित हो।

यही कारण है कि कॉक्सन ने किसी भी महत्वपूर्ण धीमी गति को भू-राजनीतिक रूप में ढाला, न कि केवल कॉर्पोरेट। "सैम आल्टमैन और एलोन मस्क ने सहमति जताई है कि यह एक महान विचार है। लेकिन मुझे लगता है कि यदि हम अंतरराष्ट्रीय स्तर पर दौड़ से बचने जा रहे हैं, तो चीन के साथ कुछ प्रकार की समन्वित धीमी गति की आवश्यकता होगी," उन्होंने कहा।

उन्होंने एक ठोस विफलता मोड भी पेश किया, जो डारियो अमोडेई की टिप्पणियों में संदर्भित एक परिदृश्य का प्रतिध्वनित करता है: "एक सुपरकंप्यूटर की तरह कार्य करने वाले बॉट्स का झुंड" जो इंटरनेट पर नियंत्रण कर सकता है। कॉक्सन ने कहा कि यह परिदृश्य "छह महीने से एक वर्ष" में वास्तविक हो सकता है, और जोड़ा कि समकक्षों को डर था कि खतरा "अगले दो वर्षों" के भीतर आ सकता है। ये आकलन हैं न कि तकनीकी साक्ष्यों द्वारा समर्थित दावे, लेकिन ये बहस पर एक घड़ी लगाकर कथा का काम कर रहे हैं।

पकड़ कार्यान्वयन है। "चीन के साथ समन्वित धीमी गति" एक उच्च मानक है क्योंकि इसका अर्थ है प्रतिकूल राज्यों के बीच सत्यापन और प्रवर्तन। व्यावहारिक रूप से, यह नीति की बात को एक स्पष्ट विराम से हटाकर निगरानी, मानकों और प्रकटीकरण व्यवस्थाओं की ओर ले जाता है जिन्हें ऑडिट किया जा सकता है।

एंथ्रोपिक की प्रतिक्रिया: सुरक्षा उपाय, "आक्रामक" परीक्षण, और एक सत्यापनीय गति तंत्र

एंथ्रोपिक की प्रतिक्रिया ने कॉक्सन की समयसीमा को स्वीकार नहीं किया, लेकिन इसने जोखिम की श्रेणी और समन्वय की आवश्यकता को मान्यता दी। एक प्रवक्ता ने कहा कि कंपनी "हमेशा पारदर्शी रही है कि AI दोनों विशाल लाभ और अभूतपूर्व जोखिम लाएगा," और यह "उद्योग में सबसे मजबूत सुरक्षा उपायों में से कुछ" के साथ मॉडल बनाना जारी रखती है।

कंपनी ने एक सुरक्षा दृष्टिकोण का वर्णन किया जो बाहरी लोगों के लिए स्पष्ट होना चाहिए: यह "आक्रामक रूप से" मॉडल का परीक्षण करती है और "AI मिसअलाइनमेंट" की घटनाओं को रोकने और जांच में सहायता करने के लिए निष्कर्ष प्रकाशित करती है, यह उस प्रणाली के लिए शब्द है जिसका व्यवहार मानवों की इच्छाओं से भिन्न होता है। एंथ्रोपिक ने यह भी कहा कि यह जोखिमों को कम करने के लिए एक ढांचा प्रकाशित करने वाला पहला था जो मॉडल विकास से उत्पन्न होता है।

बाजार के लिए सबसे प्रासंगिक यह है कि गति को एक उद्योग तंत्र के रूप में स्पष्ट रूप से समर्थन दिया गया है, न कि एकतरफा विकल्प के रूप में। "यह काम भी इसीलिए है कि हम मानते हैं कि दुनिया को उद्योग द्वारा एक कानूनी, सत्यापनीय तरीके से एक साथ काम करने से लाभ होगा कि हम शक्तिशाली मॉडलों को कैसे जारी करते हैं," प्रवक्ता ने कहा।

यह भाषा CEO डारियो अमोडेई के निबंध "हमें सीमाओं की गति निर्धारित करनी चाहिए" के साथ मेल खाती है, जो शनिवार को प्रकाशित हुआ था। अमोडेई ने एक तीन-भागीय योजना का प्रस्ताव रखा: AI मॉडलों की स्वतंत्र निगरानी जैसे-जैसे वे विकसित होते हैं, उद्योग-व्यापी विनियमन, और वैश्विक विनियमन। इस ढांचे में स्वतंत्र निगरानी, विकास के दौरान तीसरे पक्ष की देखरेख है न कि केवल उस प्रयोगशाला पर निर्भर रहना जो प्रणाली का निर्माण कर रही है।

ट्रैक करने के संकेत: एआई नेताओं के बीच विश्वसनीयता विभाजन और अगले नियामक हुक

एआई नेताओं के बीच सार्वजनिक विभाजन अब कहानी का हिस्सा है, और यह कथा-प्रेरित स्थिति के लिए दोनों तरीकों से कटता है। हगिंग फेस के सीईओ क्लेमेंट डेलांग ने कॉक्सन के विलुप्ति-जोखिम टिप्पणी के फ्रेमिंग की आलोचना की, एक्स पर लिखते हुए: "माफ कीजिए, लेकिन जैकब से एआई विलुप्ति जोखिम के बारे में पूछना आपके एसी वाले से जलवायु परिवर्तन के बारे में पूछने जैसा है।" उन्होंने जोड़ा: "यह नहीं कह रहा कि यह जरूरी तौर पर दिलचस्प या गलत है, लेकिन चलो चीजों को परिप्रेक्ष्य में रखते हैं।" अमोडेई के निबंध के बाद, डेलांग ने संभावित समाधानों में मदद करने की पेशकश भी की।

एनवीडिया के सीईओ जेनसन हुआंग ने भी प्रतिक्रिया दी। पिछले सप्ताह गोल्डमैन सैक्स द्वारा आयोजित एक सम्मेलन में, समूह में कई लोगों ने कहा कि हुआंग ने कॉक्सन की टिप्पणियों को असत्य बताया। हुआंग ने पहले कहा है कि एआई का यह विचार कि "यह मानवता का अंत होने वाला है" "पूर्ण बकवास" है।

दूसरी ओर, एंथ्रोपिक के वैज्ञानिक इवान हबिंगर ने सार्वजनिक रूप से मुख्य डर का समर्थन किया। "हम वास्तव में ईमानदारी से मानते हैं कि एआई सभी मनुष्यों को मार सकता है! मैं व्यक्तिगत रूप से सोचता हूं कि यह अगले दशक में >10% है," उन्होंने एक्स पर लिखा।

अगले हुक ठोस हैं, न कि रेटोरिकल: क्या अमोडेई का स्वतंत्र निगरानी अवधारणा नामित तीसरे पक्षों, मानकों या पायलटों में बदलता है। क्या प्रमुख प्रयोगशालाएं या सरकारें "कानूनी, सत्यापन योग्य" गति तंत्र को स्पष्ट रूप से समर्थन या अस्वीकार करती हैं। और क्या अंतरराष्ट्रीय समन्वय भाषा, विशेष रूप से चीन के स्पष्ट संदर्भ, नीति भाषणों या एआई सुरक्षा शिखर सम्मेलन के परिणामों में दिखाई देने लगती है। दूसरा संकेत यह है कि क्या अधिक वरिष्ठ कार्यकारी कॉक्सन- या हबिंगर-शैली की संभावनाओं के साथ रिकॉर्ड पर जाते हैं, जो या तो इस दावे को मुख्यधारा में लाएगा या इसे अलग करेगा।

मेरी राय: क्यों यह बहस बिना किसी नई नीति के एआई-टोकन भावना में फैल सकती है

जिस भाग का निर्णय करता है वह कॉक्सन का "तत्काल भविष्य" समयरेखा नहीं है। यह तथ्य है कि एंथ्रोपिक एक साथ अपनी सुरक्षा का बचाव कर रहा है और रिलीज़ की गति के लिए एक कानूनी, सत्यापन योग्य तरीके की मांग कर रहा है, जो तीसरे पक्ष की निगरानी और समन्वित मानकों को बातचीत में बनाए रखता है, भले ही कोई नियामक आगे नहीं बढ़ा है।

वास्तविक परीक्षण यह है कि क्या "स्वतंत्र निगरानी" एक वास्तविक वस्तु बन जाती है जिस पर व्यापारी इंगित कर सकते हैं, नामित निगरानियों और एक मानक के साथ जिसे जांचा जा सकता है, न कि जिम्मेदारी के लिए एक सामान्य कॉल। यदि यह पायलटों या औपचारिक समर्थन में बदलता है, तो गति की कहानी एक मीडिया चक्र बनना बंद कर देती है और यह दिखने लगती है जैसे कि यह एक बाधा है जो यह निर्धारित कर सकती है कि सीमांत एआई कैसे भेजा और विपणन किया जाता है।

स्रोत

• बीबीसी