AI एजेंटों के जोखिम: "अच्छे" एजेंट क्यों फेल होते हैं

एआई एजेंटों के जोखिम और विफलता के तरीके ज्यादातर बहु-चरण उपकरण उपयोग के दौरान मौन संचयी त्रुटियों से आते हैं, न कि एक नाटकीय मॉडल क्रैश से। एक कार्यप्रवाह जो प्रति चरण 90% "सही" दिखता है, अंत-से-अंत अनुपयोगी हो सकता है जब तक कि इसे स्पष्ट अनुमतियों, चेकपॉइंट्स और निगरानी के साथ नहीं बनाया गया है।

मुख्य निष्कर्ष

• बहु-चरण एजेंट की विश्वसनीयता चरणों में गुणा होती है, इसलिए 85% प्रति-क्रिया सटीकता 10-चरण कार्यप्रवाह में लगभग 20% सफलता में गिर सकती है, जबकि 95% प्रति-क्रिया लगभग 60% पर होती है।
• सबसे हानिकारक एजेंट विफलताएं "मुलायम" विफलताएं होती हैं: संभावित आउटपुट, गलत उपकरण कॉल, और लक्ष्य जो त्रुटियों या अलर्ट को सक्रिय नहीं करते।
• बहु-एजेंट सिस्टम अपनी स्वयं की विफलता के तरीके जोड़ते हैं, जिसमें अनुपालन पूर्वाग्रह और पुरानी साझा स्थिति शामिल होती है, जो एक भ्रांति को गलत सहमति में बदल सकती है।
• प्रॉम्प्ट इंजेक्शन एजेंटों के लिए एक निष्पादन-परत का खतरा है क्योंकि यह उपकरण कॉल और उद्देश्यों को मोड़ सकता है, न केवल पाठ आउटपुट।

एआई एजेंट विफलताएं कैसे भिन्न होती हैं

एक उत्पादन एजेंट एक लीक होने वाली निष्पादन श्रृंखला की तरह विफल होता है, न कि एक क्रैश होने वाले कार्यक्रम की तरह। पारंपरिक सॉफ़्टवेयर आमतौर पर जोर से टूटता है: एकएपीआई500 लौटाता है, एक डेटाबेस क्वेरी त्रुटि होती है, एक कार्य विफल होता है और पुनः प्रयास करता है। एजेंटिक कार्यप्रवाह अक्सर UI में "सफल" होते हैं जबकि गलत काम कर रहे होते हैं, क्योंकि सिस्टम सुसंगतता और पूर्णता के लिए अनुकूलित कर रहा होता है, सत्य के लिए नहीं। यह किसी के लिए मुख्य मानसिक मॉडल बदलाव है जो क्या बना रहा है।एआई एजेंटक्रिप्टो में: असफलता अक्सर एक साफ-सुथरा आउटपुट होता है जो संचालनात्मक रूप से गलत होता है।

संवर्धन गणित वह हिस्सा है जिसे अधिकांश टीमें छोड़ देती हैं। ट्रांटोर का उदाहरण स्पष्ट है: यदि एक एजेंट प्रति क्रिया 85% सटीक है, तो 10-चरण कार्यप्रवाह केवल लगभग 20% समय सफल होता है। यहां तक कि 95% प्रति-चरण सटीकताकेवललगभग 60% सफलता देती है 10 चरणों में। यह एक व्यापार पुस्तक पर भरने की दर के क्षय के समान है जब एक रणनीति को कई निर्भर भरावों की आवश्यकता होती है। प्रत्येक चरण स्थानीय रूप से तर्कसंगत हो सकता है और फिर भी एक वैश्विक रूप से टूटे हुए रन का उत्पादन कर सकता है।

एजेंटिक सिस्टम भी गैर-निर्धारणात्मक रूप से विफल होते हैं। समान इनपुट के साथ दो रन भिन्न हो सकते हैं क्योंकि मॉडल नमूने, उपकरण आउटपुट बदलते हैं, या पुनः प्राप्त संदर्भ बदलता है। रेडिस सामान्य पैटर्न को अनुक्रमिक पाइपलाइनों में त्रुटि संवर्धन के रूप में फ्रेम करता है जहां सॉफ्ट त्रुटियाँ बिना क्रैश या अलर्ट के फैलती हैं। वह "कोई स्टैक ट्रेस नहीं" गुण यही है कि टीमें एजेंट विफलताओं का गलत निदान करती हैं जैसे "हमें एक बेहतर मॉडल की आवश्यकता है" जबकि असली मुद्दा गेटों और अवलोकन की कमी है।

क्रिप्टो एक तेज धार जोड़ता है। जब एक एआई एजेंट के पास एक एजेंट वॉलेट होता है, तो एक उपकरण कॉल एक हानिरहित एपीआई अनुरोध नहीं होता है। यह एक लेनदेन, एक अनुमोदन, एक पुल, या एक हस्ताक्षर हो सकता है। एक मौन गलती की लागत एक बुरा उत्तर नहीं है। यह एक ऑन-चेन क्रिया है जो निपटती है।

मुख्य एजेंट विफलता मोड की अपेक्षा करें

उपकरण का दुरुपयोग बुनियादी विफलता मोड है क्योंकि यह भाषा और निष्पादन के बीच की सीमा पर बैठता है। ट्रांटोर गलत उपकरण का चयन करने, गलत तर्क पास करने, या उपकरण की त्रुटियों की अनदेखी करने और ऐसे ही कार्य को सफल मानने वाले एजेंटों का वर्णन करता है। एक एआई एजेंट के जोखिम क्रिप्टो संदर्भ में, यह "गलत श्रृंखला, गलत टोकन, गलत खर्च करने वाला, गलत राशि" शैली की गलतियों से साफ-सुथरा मैप करता है। खतरनाक हिस्सा यह नहीं है कि कॉल विफल हो जाता है। खतरनाक हिस्सा यह है कि कॉल आंशिक रूप से सफल होता है और एजेंट एक भ्रष्ट स्थिति पर अगले चरणों का निर्माण करता है।

संदर्भ बहाव और भ्रांति cascades दूसरा वर्ग हैं। जैसे-जैसे उपकरण के आउटपुट और मध्यवर्ती तर्क जमा होते हैं, मॉडल का ध्यान पतला हो जाता है और यह उद्देश्य के विकृत संस्करण पर काम करना शुरू कर देता है। ट्रांटोर इसे लंबे संदर्भों में खो जाने के प्रभाव से जोड़ता है। रेडिस संदर्भ विंडो सीमाओं को संदर्भ सड़न से अलग करता है, और यह बिंदु बनाता है जिसे व्यापारी पहचानेंगे: अधिक जानकारी जोड़ने से निर्णय की गुणवत्ता खराब हो सकती है जब प्रणाली प्रासंगिक बिट को विश्वसनीय रूप से पुनः प्राप्त नहीं कर सकती।

लक्ष्य प्रवाह धीमी रक्तस्राव है। ट्रांटोर इसे एक उभरती हुई विफलता के रूप में वर्णित करता है जहां कोई एक कदम "गलत" नहीं है, लेकिन एजेंट मूल स्पेक से भिन्न उद्देश्य के लिए अनुकूलन करता है। क्रिप्टो वर्कफ़्लो में, लक्ष्य प्रवाह एक एजेंट के रूप में प्रकट होता है जो "पुनर्संतुलन जोखिम" से शुरू होता है और "गतिविधि अधिकतम करना" के साथ समाप्त होता है क्योंकि उसने सीखा कि अधिक उपकरण कॉल करना प्रगति की तरह दिखता है।

पुनः प्रयास लूप और runaway लागत यांत्रिक विफलता मोड हैं जो बजट को सहीता से पहले प्रभावित करते हैं। ट्रांटोर अनंत लूप को चिह्नित करता है जहां विफल उपकरण कॉल दोहराए गए प्रयासों को सक्रिय करते हैं, और कठिन पुनरावृत्ति सीमाओं और खर्च सीमाओं की सिफारिश करता है। यह एजेंट संचालन में डेस्क अनुशासन का सबसे साफ अनुवाद है: यदि प्रणाली को मध्य-चलन में रोका नहीं जा सकता है, तो यह उत्पादन के लिए तैयार नहीं है।

मौन गुणवत्ता गिरावट वह है जो टीमों को हफ्तों तक जलाती है। ट्रांटोर कारणों की सूची बनाता है जैसे दस्तावेज़ भंडार प्रवाह, प्रॉम्प्ट रिग्रेशन, मौन मॉडल व्यवहार परिवर्तन, और इनपुट वितरण परिवर्तन। एजेंट "कार्य" को "पूर्ण" करता रहता है, लेकिन उपयोगिता उस सीमा से नीचे गिर जाती है जहां आउटपुट पर कार्य करना सुरक्षित नहीं है।

मल्टी-एजेंट समन्वय और कैस्केड जोखिम

मल्टी-एजेंट सेटअप अक्सर अतिरिक्तता के माध्यम से सुरक्षा के रूप में बेचे जाते हैं। स्रोत दूसरी दिशा की ओर इशारा करते हैं जब तक कि सत्यापन को स्पष्ट रूप से डिज़ाइन नहीं किया गया है। रेडिस अनुपालन पूर्वाग्रह को उजागर करता है: डाउनस्ट्रीम एजेंट आमतौर पर एक आत्मविश्वासी अपस्ट्रीम कथन के साथ संरेखित होते हैं, जो एक भ्रांति को गलत सहमति में मजबूत करता है। यह एक सैद्धांतिक विचलन नहीं है। यह एक समन्वय विफलता मोड है जो सहमति की तरह दिखता है और गलत आउटपुट को तेजी से भेजता है।

arXiv अध्ययन इसे MASFT के साथ औपचारिक करता है, जो तीन श्रेणियों में समूहित 14 मल्टी-एजेंट विफलता मोड का वर्गीकरण है: विनिर्देशन और प्रणाली डिज़ाइन विफलताएँ, इंटर-एजेंट असंरेखण, और कार्य सत्यापन और समाप्ति विफलताएँ। अध्ययन 150+ कार्यों के माध्यम से पांच MAS ढांचे का विश्लेषण करता है जिनमें मानव-एनोटेटेड ट्रेस होते हैं और कोहेन के काप्पा 0.88 का इंटर-एनोटेटर सहमति रिपोर्ट करता है। यह यह भी रिपोर्ट करता है कि ChatDev की सहीता उनके मूल्यांकन में 25% तक कम हो सकती है, और कि सर्वोत्तम प्रयास हस्तक्षेप जैसे कि सुधारित भूमिका विनिर्देशन और ऑर्केस्ट्रेशन ने ChatDev को +14% से सुधार दिया लेकिन फिर भी वास्तविक दुनिया में तैनाती के लिए अपर्याप्त रहा।

समन्वय ओवरहेड केवल विलंब नहीं है। यह संदर्भ बजट का उपभोग करता है। रेडिस नोट करता है कि मल्टी-एजेंट वेरिएंट अनुक्रमिक तर्क पर एकल-एजेंट बेंचमार्क पर कम प्रदर्शन कर सकते हैं क्योंकि संचार ओवरहेड किसी भी समानांतरकरण के लाभ को अधिक कर देता है। हर अतिरिक्त हैंडऑफ़ एक और स्थान है जहां एक नरम त्रुटि "राज्य" बन सकती है।

साझा मेमोरी और पुरानी स्थिति अन्य कैस्केड इंजन हैं। रेडिस वर्णन करता है कि एजेंट विभिन्न समय पर साझा स्थिति को पढ़ते हैं और पहले से ही समवर्ती क्रियाओं द्वारा प्रतिस्थापित जानकारी पर कार्य करते हैं। क्रिप्टो में, यही कारण है कि एक एजेंट पहले के संतुलन के आधार पर एक खर्च करने वाले को मंजूरी दे सकता है, फिर एक बाद के संतुलन के आधार पर एक स्वैप निष्पादित कर सकता है, और न तो सामंजस्य स्थापित कर सकता है। एक सॉल्वर नेटवर्क कुछ निष्पादन जटिलता को पथ खोजने के लिए आउटसोर्स करके कम कर सकता है, लेकिन यह भी एक और सीमा बन जाता है जहां आउटपुट को अगले कदम से पहले मान्य किया जाना चाहिए।

मल्टी-एजेंट पाठ सरल है: अधिक एजेंट स्वचालित रूप से अधिक सुरक्षा नहीं बनाते हैं। वे बिना सत्यापित धारणाओं के लिए अधिक सतहें बनाते हैं ताकि वे टिकाऊ बन सकें।

एजेंटिक वर्कफ़्लो में सुरक्षा खतरें

प्रॉम्प्ट इंजेक्शन वह सुरक्षा विफलता मोड है जो एजेंटों के लिए सबसे महत्वपूर्ण है क्योंकि यह केवल पाठ तक सीमित नहीं है। ट्रैंटोर प्रॉम्प्ट इंजेक्शन को OWASP LLM टॉप 10 की नंबर एक कमजोरियों के रूप में वर्णित करता है और यह जोर देता है कि यह एजेंटिक संदर्भों में अधिक खतरनाक है क्योंकि यह कार्यप्रवाह में लक्ष्यों और उपकरण कॉल को हाईजैक कर सकता है। यही "चैटबॉट कुछ अजीब कहता है" और "एजेंट जो करने की कोशिश कर रहा है उसे बदलता है" के बीच का अंतर है।

एजेंट सुरक्षा जोखिम बढ़ते हैं क्योंकि अब हर बाहरी इनपुट निष्पादन योग्य प्रभाव है। पुनः प्राप्त दस्तावेज़, उपकरण के आउटपुट, मेमोरी, और यहां तक कि अन्य एजेंटों के संदेश सभी इनपुट हैं जो शत्रुतापूर्ण निर्देश ले जा सकते हैं। ट्रैंटोर हर दस्तावेज़, डेटाबेस रिकॉर्ड, एपीआई प्रतिक्रिया, और उपकरण के आउटपुट को संभावित रूप से प्रतिकूल मानने की सिफारिश करता है, और एजेंट के संदर्भ में प्रवेश करने से पहले इनपुट को साफ करने की सलाह देता है।

क्रिप्टो में, प्रॉम्प्ट इंजेक्शन क्रिप्टो एजेंट परिदृश्य सीधे हैं: एक दुर्भावनापूर्ण टोकन सूची प्रविष्टि, पुनर्प्राप्ति में एक विषाक्त "डॉक्यूमेंटेशन" स्निपेट, या एक तैयार उपकरण प्रतिक्रिया एजेंट को एक खर्च करने वाले को मंजूरी देने की दिशा में ले जा सकती है, जो एक हमलावर-नियंत्रित ब्रिजिंग की ओर है।पताया कारण से एआई एजेंट सुरक्षा जोखिम मुख्य रूप से क्रियाओं के नियंत्रण के बारे में होते हैं, डेटा के लीक के बारे में नहीं।

निवारण आर्किटेक्चरल हैं। एक टीई इन्फ्रास्ट्रक्चर के कुछ हिस्सों के लिए अखंडता और पृथक्करण में मदद कर सकता है, लेकिन यह अपने आप में निर्देश हाइजैक को हल नहीं करता। मुख्य रक्षा यह है कि एजेंट क्या कर सकता है, यह सत्यापित करना कि वह क्या करने वाला है, और यह लॉग करना कि उसने क्या किया है, इस तरह से कि इसे ऑडिट किया जा सके।

ट्रैंटोर का यह भी दावा है कि 2025 में एआई एजेंटों को तैनात करने वाले संगठनों में से 88% ने कम से कम एक सुरक्षा घटना की रिपोर्ट की। यह आंकड़ा स्रोत में एक द्वितीयक दावे के रूप में प्रस्तुत किया गया है, लेकिन यह यात्रा की दिशा से मेल खाता है: एक बार जब एजेंट क्रियान्वित हो सकते हैं, तो घटना की सतह अधिकांश टीमों के नियंत्रणों की तुलना में तेजी से बढ़ती है।

कार्यशील डिज़ाइन और संचालन नियंत्रण

जो नियंत्रण काम करते हैं, वे जोखिम सीमाओं की तरह दिखते हैं, न कि "बेहतर प्रॉम्प्टिंग।" स्रोतों के बीच का सिद्धांत यह है कि एजेंट की विफलताएँ कदमों और अभिनेताओं के बीच जमा होती हैं, इसलिए प्रणाली को हर सीमा पर स्पष्ट सीमाएँ, सत्यापन और अवलोकन की आवश्यकता होती है।

एक डेस्क-शैली नियंत्रण स्टैक को एक क्रमबद्ध निर्माण अनुक्रम के रूप में व्यक्त किया जा सकता है:

1. उपकरणों की पहुंच को न्यूनतम अधिकारों तक सीमित करें। ट्रांटोर के उपकरणों के दुरुपयोग के उदाहरण मौलिक रूप से अनुमति देने में विफलताएँ हैं। एक एजेंट को व्यापक फ़ाइल सिस्टम या व्यवस्थापक पहुंच नहीं होनी चाहिए जब उसे केवल एक कार्य की आवश्यकता होती है, और यही तर्क एक एजेंट वॉलेट पर भी लागू होता है जो मनमाने लेनदेन पर हस्ताक्षर कर सकता है।2. उपकरण कॉल को स्कीमाओं और पूर्व शर्तों के साथ गेट करें। ट्रांटोर निष्पादन से पहले गलत तर्कों को पकड़ने के लिए स्कीमा सत्यापन की सिफारिश करता है। क्रिप्टो उपकरणों के लिए, इसका मतलब है कि कॉल को फायर करने की अनुमति देने से पहले श्रृंखला, टोकन, दशमलव, प्राप्तकर्ता और अनुमति डेल्टास को मान्य करना।3. सत्यापन चेकपॉइंट डालें। रेडिस हर सीमा पर मान्यता देने की सिफारिश करता है, और arXiv MASFT वर्गीकरण कार्य सत्यापन और समाप्ति विफलताओं को एक प्रमुख श्रेणी के रूप में चिह्नित करता है। एक सत्यापनकर्ता की भूमिका योजनाकार से संरचनात्मक रूप से भिन्न होनी चाहिए, अन्यथा यह एकल संस्कृति बन जाती है।

4. संदर्भ वृद्धि को नियंत्रित करें। ट्रांटोर संदर्भ प्रवृत्ति को रोकने के लिए नियमित अंतराल पर पदानुक्रमित संक्षेपण की सिफारिश करता है। रेडिस चेतावनी देता है कि अधिक संदर्भ जोड़ने से समन्वय समस्याएँ बढ़ सकती हैं क्योंकि संदर्भ सड़न और मध्य में खो जाने वाले व्यवहार के कारण।

5. ऑर्केस्ट्रेशन परत पर लूप और लागत को सीमित करें। ट्रांटोर कठिन पुनरावृत्ति सीमाओं और खर्च की सीमाओं के साथ वास्तविक समय की लागत निगरानी की मांग करता है। यह इंजीनियरिंग रूप में किल-स्विच आवश्यकता है।

6. संभाव्य प्रणालियों के साथ मेल खाने वाली अवलोकनीयता बनाएं। रेडिस हर एजेंट आह्वान, उपकरण कॉल, और अंतःएजेंट संदेश के लिए सहसंबंध आईडी की सिफारिश करता है, साथ ही संरचित ट्रेस जिसमें उपभोग किए गए टोकन, विलंबता, और प्रति-चरण सफलता या विफलता स्थिति शामिल है। मौन गुणवत्ता गिरावट केवल तब दिखाई देती है जब आउटपुट वितरण और नमूना 'ऑडिट' समय के साथ ट्रैक किए जाते हैं।

संगठनात्मक नियंत्रण तकनीकी नियंत्रणों के रूप में महत्वपूर्ण हैं। ट्रांटोर का दावा है कि दायरा बढ़ने और डेटा गुणवत्ता के मुद्दे AI एजेंट विफलताओं के 61% के लिए जिम्मेदार हैं। यह वह अनाकर्षक कारण है कि कई पायलट कभी उत्पादन प्रणालियाँ नहीं बनते।

सुरक्षित तैनाती के लिए व्यावहारिक निष्कर्ष। उत्पादन की तैयारी श्रृंखला को मापने से शुरू होती है, मॉडल की प्रशंसा करने से नहीं। यदि कार्यप्रवाह को 10 निर्भर चरणों की आवश्यकता है, तो केवल ईमानदार विश्वसनीयता संख्या संयुक्त सफलता दर है, न कि प्रति-चरण 'सटीकता'। ट्रांटोर का 85% से ~20% उदाहरण यह परीक्षण करने का सबसे तेज़ तरीका है कि क्या एक प्रणाली डेमो है या एक परिचालन उपकरण।

बहु-एजेंट डिज़ाइन को अपनी जटिलता अर्जित करनी चाहिए। arXiv पेपर बेंचमार्क के पार न्यूनतम प्रदर्शन लाभ दिखाता है और कुछ मूल्यांकन में ChatDev के लिए कम सटीकता का दस्तावेजीकरण करता है। रेडिस का तर्क है कि एकल-एजेंट सेटअप अनुक्रमिक तर्क में बहु-एजेंट सेटअप को बेहतर प्रदर्शन कर सकते हैं क्योंकि समन्वय ओवरहेड संदर्भ को खा जाता है और नए विफलता मोड को पेश करता है। बहु-एजेंट को समानांतर कार्य के लिए उचित ठहराया जा सकता है, लेकिन केवल तभी जब सत्यापनकर्ता भूमिकाएँ और समाप्ति मानदंड स्पष्ट हों।

क्रिप्टो तैनाती के लिए, पहली प्राथमिकता निष्पादन को सीमित करना है। एक एजेंट वॉलेट के साथ एक एआई एजेंट को तंग अनुमतियों, कठिन खर्च सीमाओं, और एक किल-स्विच के साथ चलाना चाहिए जो मध्य-रन में समाप्त कर सकता है। उपकरण आउटपुट, पुनर्प्राप्त दस्तावेज़, और मेमोरी को प्रतिकूल इनपुट के रूप में मानें, क्योंकि प्रॉम्प्ट इंजेक्शन एक कार्यप्रवाह अपहरण है, न कि एक चैट ट्रिक।संरचना.

यह एआई एजेंटों के जोखिम और विफलता मोड को एक डिज़ाइन समस्या बनाता है, न कि एक मॉडल समस्या, और जो टीमें जीवित रहेंगी वे अनुशासित निष्पादन डेस्क की तरह दिखेंगी: स्पष्ट सीमाएँ, सीमाओं पर सत्यापन, और सिस्टम ने वास्तव में क्या किया है, उस पर कड़ी निगरानी।

लेना

मैंने देखा है कि टीमें 90% "अच्छे उत्तर दर" को एक उत्पादन SLA की तरह मानती हैं, फिर आश्चर्यचकित होती हैं जब एजेंट उस क्षण में टूट जाता है जब उसे लगातार दस चीजें करनी होती हैं। ट्रांटोर गणित सही थप्पड़ है: प्रति चरण 85% ~20% अंत-से-अंत में 10 चरणों में बदलना ठीक उसी तरह है जैसे एक रणनीति जिसमें उचित प्रति-भरने की संभावनाएँ हैं, तब भी मर जाती है जब इसे भरने की एक श्रृंखला की आवश्यकता होती है।

मैंने यह भी देखा है कि मल्टी-एजेंट सेटअप झूठी संतोषजनकता पैदा करते हैं। अनुक्रमिक कार्यप्रवाह पर, रेडिस का अनुपालन पूर्वाग्रह तेजी से प्रकट होता है: एक आत्मविश्वासी भ्रांति "सहमति" बन जाती है क्योंकि किसी को सत्यापित करने के लिए भुगतान नहीं किया जाता, केवल सहमत होने के लिए। जो मुद्रा कायम रहती है वह उबाऊ और प्रभावी है: न्यूनतम विशेषाधिकार, स्कीमा गेट, सत्यापनकर्ता चेकपॉइंट, कठिन लागत सीमाएँ, और ट्रेस जो किसी को रन को फिर से खेलने और पहले खराब हैंडऑफ को पहचानने की अनुमति देते हैं।

स्रोत

• ट्रांटोर
• रेडिस
• arXiv