AI ajanlarının riskleri: "iyi" ajanlar neden başarısız…

AI ajanlarının riskleri ve hata modları çoğunlukla çok adımlı araç kullanımı boyunca sessiz birikim hatalarından kaynaklanır, tek bir dramatik model çöküşünden değil. Her adımda %90 "doğru" görünen bir iş akışı, açık izinler, kontrol noktaları ve izleme ile inşa edilmedikçe, uçtan uca kullanılamaz olabilir.

Ana Noktalar

• Çok adımlı ajan güvenilirliği adımlar boyunca çarpan bir şekilde azalır, bu nedenle her bir eylemde %85 doğruluk, 10 adımlı bir iş akışında yaklaşık %20 başarıya düşebilirken, %95 doğruluk ise yaklaşık %60 civarında kalır.
• En zararlı ajan hataları “yumuşak” hatalardır: makul çıktılar, yanlış araç çağrıları ve hata veya uyarı tetiklemeyen kayma hedefleri.
• Çok ajanlı sistemler, bir yanılsamayı yanlış bir konsensüse dönüştürebilecek uyum yanlılığı ve eski paylaşılmış durum gibi kendi hata modlarını ekler.
• Prompt enjeksiyonu, yalnızca metin çıktısını değil, aynı zamanda araç çağrılarını ve hedefleri yönlendirebileceği için ajanlar için bir yürütme katmanı tehdididir.

Yapay zeka ajanı hatalarının nasıl farklılık gösterdiği

Bir üretim ajanı, bir sızıntılı yürütme zinciri gibi başarısız olur, çökme programı gibi değil. Geleneksel yazılımlar genellikle gürültülü bir şekilde bozulur: birAPI500 döndürür, bir veritabanı sorgusu hatası, bir iş başarısız olur ve yeniden dener. Ajansal iş akışları genellikle UI'de "başarılı" görünürken yanlış şeyi yapar, çünkü sistem tutarlılık ve tamamlama için optimize olmaktadır, gerçeklik için değil.

Bu, ne inşa eden herkes için anahtar zihinsel model kaymasıdır.ai ajanlarıkripto para dünyasında: başarısızlık genellikle operasyonel olarak yanlış olan temiz görünümlü bir çıktıdır.

Karmaşık matematik, çoğu ekibin atladığı kısımdır. Trantor’un örneği serttir: eğer bir ajan her eylemde %85 doğruluk payına sahipse, 10 adımlı bir iş akışı yalnızca yaklaşık %20 oranında başarılı olur. Hatta her adımda %95 doğruluksağlar10 adımda yalnızca yaklaşık %60 başarı elde edilir. Bu, bir stratejinin birden fazla bağımlı dolum gerektirdiğinde bir ticaret defterindeki dolum oranı azalmasıyla aynı şekildedir. Her adım yerel olarak mantıklı olabilir ve yine de küresel olarak bozuk bir akış üretebilir.

Ajanik sistemler de belirsiz bir şekilde başarısız olur. Aynı girdilere sahip iki çalışma, model örnekleri, araç çıktıları değiştiği veya alınan bağlam kaydığı için farklılaşabilir. Redis, yaygın modeli, hataların çökme veya uyarı olmadan yayıldığı ardışık boru hatlarındaki hata birikimi olarak çerçeveler.

O “yığın izinin olmaması” özelliği, ekiplerin ajan hatalarını “daha iyi bir modele ihtiyacımız var” olarak yanlış teşhis etmesinin nedenidir; gerçek sorun eksik kapılar ve gözlemlenebilirliktir.

Kripto, daha keskin bir kenar ekler. Bir ai ajanı bir ajan cüzdanına sahip olduğunda, bir araç çağrısı zararsız bir API isteği değildir. Bu, bir işlem, bir onay, bir köprü veya bir imza olabilir. Sessiz bir hatanın maliyeti kötü bir cevap değildir. Bu, yerleşen bir zincir üzerindeki bir eylemdir.

Beklenmesi gereken temel ajan başarısızlık modları

Araç kötüye kullanımı, dil ile yürütme arasındaki sınırda yer aldığı için temel başarısızlık modudur. Trantor, ajanların yanlış aracı seçtiğini, yanlış argümanlar geçirdiğini veya araç hatalarını göz ardı edip eylemin başarılıymış gibi devam ettiğini tanımlar. Bir ai ajanının kripto bağlamındaki riskleri, “yanlış zincir, yanlış token, yanlış harcayıcı, yanlış miktar” tarzı hatalara temiz bir şekilde eşleşir.

Tehlikeli olan kısım, çağrının başarısız olması değildir. Tehlikeli olan kısım, çağrının kısmen başarılı olması ve ajanın bozulmuş bir durum üzerine sonraki adımları inşa etmesidir.

Bağlam kayması ve halüsinasyon zincirleri ikinci sınıftır. Araç çıktıları ve ara akıl yürütmeler biriktiğinde, modelin dikkati incelir ve hedefin bozulmuş bir versiyonu üzerinde işlem yapmaya başlar. Trantor bunu uzun bağlamlarda kaybolma etkisiyle ilişkilendirir.

Redis, bağlam pencere sınırlarını bağlam çürümesinden ayırır ve tüccarların tanıyacağı noktayı yapar: daha fazla bilgi eklemek, sistem ilgili bilgiyi güvenilir bir şekilde almadığında karar kalitesini kötüleştirebilir.

Hedef kayması yavaş bir kanamadır. Trantor bunu, tek bir adımın "yanlış" olmadığı, ancak ajanın orijinal spesifikasyondan farklı bir hedefe optimize olduğu bir ortaya çıkan başarısızlık olarak tanımlar. Kripto iş akışlarında, hedef kayması, "maruziyeti dengeleme" ile başlayıp "faaliyeti maksimize etme" ile bitiren bir ajan olarak kendini gösterir çünkü daha fazla araç çağrısının ilerleme gibi göründüğünü öğrenmiştir.

Yeniden deneme döngüleri ve kontrolsüz maliyetler, bütçeleri doğruluk öncesinde etkileyen mekanik başarısızlık modudur. Trantor, başarısız araç çağrılarının tekrar eden denemeleri tetiklediği sonsuz döngüleri işaretler ve katı yineleme sınırları ve harcama limitleri önerir. Bu, masa disiplini ile ajan operasyonları arasındaki en temiz çeviridir: sistem, çalışmanın ortasında durdurulamıyorsa, üretim için hazır değildir.

Sessiz kalite bozulması, takımları haftalarca yakan bir durumdur. Trantor, belge deposu kayması, istem geri dönüşü, sessiz model davranış değişiklikleri ve girdi dağılımı kayması gibi nedenleri listeler. Ajan, görevleri "tamamlamaya" devam eder, ancak fayda, çıktının üzerine hareket edilebilecek güvenli eşik seviyesinin altına düşer.

Çoklu ajan koordinasyonu ve kaskad riskleri

Çoklu ajan kurulumları genellikle yedeklilik aracılığıyla güvenlik olarak satılır. Kaynaklar, doğrulama açıkça tasarlanmadıkça diğer yöne işaret eder. Redis, uyum yanlılığını vurgular: aşağı akıştaki ajanlar, kendine güvenen bir yukarı akış iddiasıyla hizalanma eğilimindedir ve bu, bir halüsinasyonu yanlış bir konsensüse pekiştirir. Bu teorik bir tuhaflık değildir. Bu, anlaşma gibi görünen ve yanlış çıktıları daha hızlı gönderen bir koordinasyon başarısızlığı modudur.

arXiv çalışması, bunu MASFT ile resmileştirir; 14 çoklu ajan başarısızlık modunun üç kategoriye gruplandığı bir taksonomi: spesifikasyon ve sistem tasarımı hataları, ajanlar arası uyumsuzluk ve görev doğrulama ve sonlandırma hataları. Çalışma, insan tarafından etiketlenmiş izlerle 150'den fazla görevde beş MAS çerçevesini analiz eder ve Cohen'in Kappa'sı 0.88 olan etiketleyici anlaşmasını rapor eder.

Ayrıca, ChatDev doğruluğunun değerlendirmelerinde %25 kadar düşük olabileceğini ve rol spesifikasyonunun ve orkestrasyonun iyileştirilmesi gibi en iyi çaba müdahalelerinin ChatDev'i %14 artırdığını ancak yine de gerçek dünya dağıtımı için yetersiz kaldığını rapor eder.

Koordinasyon yükü sadece gecikme değildir. Bağlam bütçesini tüketir. Redis, çoklu ajan varyantlarının, iletişim yükünün herhangi bir paralelleştirme faydasını aştığı için ardışık akıl yürütmede tek ajan temel çizgilerinin altında performans gösterebileceğini belirtir. Her ek devretme, bir yumuşak hatanın "durum" haline gelmesi için başka bir yerdir.

Paylaşılan bellek ve bayat durum, diğer kaskad motorudur. Redis, ajanların paylaşılan durumu farklı zamanlarda okuyup, eşzamanlı eylemlerle zaten geçersiz kılınmış bilgilere dayanarak hareket etmesini tanımlar. Kripto dünyasında, bir ajan, önceki bir bakiyeye dayanarak bir harcayıcıyı onaylayabilir, ardından daha sonraki bir bakiyeye dayanarak bir takas gerçekleştirebilir ve hiçbirini uzlaştırmayabilir.

Bir çözücü ağı, bazı yürütme karmaşıklıklarını dış kaynak kullanarak azaltabilir, ancak bu, çıktının bir sonraki adım öncesinde doğrulanması gereken başka bir sınır haline gelir.

Çoklu ajan dersi basittir: daha fazla ajan, varsayılan olarak daha fazla güvenlik yaratmaz. Daha fazla doğrulanmamış varsayımların kalıcı hale gelmesi için daha fazla yüzey yaratır.

Ajanik iş akışlarındaki güvenlik tehditleri

Prompt enjeksiyonu, ajanlar için en önemli güvenlik arıza modu çünkü metinle sınırlı değildir. Trantor, prompt enjeksiyonunu OWASP LLM Top 10'un 2025 yılı için bir numaralı zayıflığı olarak tanımlıyor ve bunun ajans bağlamlarında daha tehlikeli olduğunu vurguluyor çünkü bir iş akışı boyunca hedefleri ve araç çağrılarını ele geçirebilir. Bu, "sohbet botu garip bir şey söylüyor" ile "ajan ne yapmaya çalıştığını değiştiriyor" arasındaki farktır.

Ajan güvenlik riskleri, her dış girişin artık yürütülebilir bir etki haline gelmesi nedeniyle genişliyor. Alınan belgeler, araç çıktıları, bellek ve hatta diğer ajanların mesajları, düşmanca talimatlar taşıyabilecek tüm girdilerdir. Trantor, her belgeyi, veritabanı kaydını, API yanıtını ve araç çıktısını potansiyel olarak düşmanca olarak ele almayı ve girdileri ajanın bağlamına girmeden önce temizlemeyi önermektedir.

Kripto dünyasında, prompt injection kripto ajan senaryoları basittir: kötü niyetli bir token listesi girişi, geri alımda zehirlenmiş bir “belgeler” parçası veya hazırlanmış bir araç yanıtı, ajanı bir harcayıcıyı onaylamaya yönlendirebilir ve saldırgan kontrolündeki bir köprüye yönlendirebilir.adres, veya istenmeyen bir mesajı imzalamak. Bu nedenle, AI ajanı güvenlik riskleri genellikle eylemlerin kontrolü ile ilgilidir, veri sızıntısı ile değil.

Hafifletmeler mimaridir. Bir tee, yürütme ortamının bazı bölümleri için bütünlük ve izolasyon sağlamaya yardımcı olabilir, ancak tek başına talimat kaçırmayı çözmez. Temel savunma, ajanın ne yapabileceğini kısıtlamak, ne yapacağını doğrulamak ve ne yaptığını denetlenebilir bir şekilde kaydetmektir.

Trantor ayrıca, 2025'te AI ajanları kullanan organizasyonların %88'inin en az bir güvenlik olayı bildirdiğini iddia ediyor. Bu rakam kaynakta ikincil bir iddia olarak sunuluyor, ancak hareket yönüyle örtüşüyor: Ajanlar hareket edebildiğinde, olay yüzeyi çoğu ekibin kontrollerinden daha hızlı büyüyor.

İşleyen tasarım ve operasyon kontrol sistemleri

İşleyen kontroller, "daha iyi yönlendirme" değil, risk sınırları gibi görünmektedir. Kaynaklar arasındaki tez, ajan hatalarının adımlar ve aktörler arasında birikmesi olduğudur, bu nedenle sistemin her sınırda açık sınırlandırmalara, doğrulamaya ve gözlemlenebilirliğe ihtiyacı vardır.

Bir masa tarzı kontrol yığını, sıralı bir yapı dizisi olarak ifade edilebilir:

1. Araçları en az ayrıcalıkla sınırlayın. Trantor'un araç kötüye kullanımı örnekleri temelde izin hatalarıdır. Bir ajan yalnızca bir işlevi gerektiğinde geniş dosya sistemi veya yönetici erişimine sahip olmamalıdır ve aynı mantık, rastgele işlemleri imzalayabilen bir ajan cüzdanı için de geçerlidir.2. Araç çağrılarını şemalar ve ön koşullarla kontrol edin. Trantor, yürütmeden önce yanlış argümanları yakalamak için şema doğrulaması önermektedir. Kripto araçları için bu, bir çağrının ateşlenmesine izin verilmeden önce zincir, token, ondalık, alıcı ve izin delta'larının doğrulanması anlamına gelir.3. Doğrulama kontrol noktaları ekleyin. Redis, her sınırda doğrulama yapılmasını önermektedir ve arXiv MASFT taksonomisi, görev doğrulama ve sonlandırma hatalarını büyük bir kategori olarak işaretlemektedir. Bir doğrulayıcı rolü, planlayıcıdan yapısal olarak farklı olmalıdır, aksi takdirde tek tip hale gelir.

4. Bağlam büyümesini kontrol edin. Trantor, bağlam kaymasını önlemek için düzenli aralıklarla hiyerarşik özetleme önermektedir. Redis, daha fazla bağlam eklemenin bağlam çürümesi ve ortada kaybolma davranışları nedeniyle koordinasyon sorunlarını kötüleştirebileceği konusunda uyarıyor.

5. Döngüleri ve maliyetleri orkestrasyon katmanında sınırlayın. Trantor, katı yineleme sınırları ve harcama limitleri ile gerçek zamanlı maliyet izleme çağrısında bulunmaktadır. Bu, mühendislik formundaki acil durum kesme gereksinimidir.

6. Olasılıksal sistemlerle eşleşen gözlemlenebilirlik oluşturun. Redis, her ajan çağrısı, araç çağrısı ve ajanlar arası mesaj için korelasyon kimlikleri, ayrıca tüketilen tokenlar, gecikme ve adım başına başarı veya başarısızlık durumu içeren yapılandırılmış izler önermektedir. Sessiz kalite bozulması yalnızca çıktı dağılımları ve örneklenen denetimler zaman içinde takip edildiğinde ortaya çıkar.

Kurumsal kontroller, teknik olanlar kadar önemlidir. Trantor, kapsam kayması ve veri kalitesi sorunlarının AI ajanı hatalarının %61'ini oluşturduğunu iddia etmektedir. Bu, birçok pilotun asla üretim sistemlerine dönüşmemesinin sıradan nedenidir.

Daha güvenli dağıtım için pratik çıkarımlar. Üretim hazır hale gelmek, modeli hayranlıkla izlemekle değil, zinciri ölçmekle başlar. İş akışı 10 bağımlı adıma ihtiyaç duyuyorsa, tek dürüst güvenilirlik sayısı, adım başına 'doğruluk' değil, bileşik başarı oranıdır. Trantor'un %85'ten ~%20'ye örneği, bir sistemin demo mu yoksa operasyonel bir araç mı olduğunu hızlı bir şekilde test etmenin en iyi yoludur.

Çoklu ajan tasarımları karmaşıklıklarını hak etmelidir. ArXiv makalesi, benchmarklar arasında minimal performans kazançları göstermekte ve bazı değerlendirmelerde ChatDev için düşük doğruluk belgeleri sunmaktadır. Redis, tek ajan kurulumlarının, koordinasyon yükü bağlamı tükettiği ve yeni hata modları tanıttığı için sıralı akıl yürütmede çoklu ajan kurulumlarını geçebileceğini savunmaktadır.

Çoklu ajan, yalnızca doğrulayıcı rolleri ve sonlandırma kriterleri açık olduğunda paralel çalışmalarda haklı çıkarılabilir.

Kripto dağıtımları için ilk öncelik yürütmeyi kısıtlamaktır. Bir ajan cüzdanına sahip bir AI ajanı, sıkı izinlerle, katı harcama limitleriyle ve çalışmanın ortasında sonlandırılabilen bir acil durum kesme düğmesiyle çalışmalıdır. Araç çıktıları, alınan belgeler ve belleği düşmanca girdiler olarak değerlendirin, çünkü istem enjekte etme bir iş akışı ele geçirmedir, bir sohbet numarası değildir.bileşebilirlik.

Bu, AI ajanlarının riskleri ve başarısızlık modlarının bir tasarım sorunu olduğu anlamına gelir, model sorunu değil ve hayatta kalan takımlar, disiplinli yürütme masalarına çok benzer görünecektir: açık sınırlar, sınırda doğrulama ve sistemin gerçekten ne yaptığını sıkı bir şekilde izleme.

Alıntı

Takımların %90 'iyi cevap oranını' bir üretim SLA'sı gibi ele aldığını ve ardından ajan on şey yapmak zorunda kaldığında çökmüş gibi görünmesine şaşırdıklarını izledim. Trantor matematiği yüzüme bir tokat gibi: her adımda %85'in 10 adımda ~%20'ye dönüşmesi, makul dolum olasılıklarına sahip bir stratejinin dolum zincirine ihtiyaç duyduğunda nasıl öldüğünün tam olarak bir örneğidir.

Ayrıca çoklu ajan kurulumlarının sahte bir rahatlık yarattığını da gördüm. Ardışık iş akışlarında, Redis'in uyum yanlılığı hızlıca ortaya çıkar: bir güvenilir halüsinasyon 'konsensüs' haline gelir çünkü kimse doğrulamak için değil, yalnızca katılmak için ödeme alır.

Dayanıklı olan duruş sıkıcı ve etkilidir: en az ayrıcalık, şema kapıları, doğrulayıcı kontrol noktaları, katı maliyet sınırları ve birinin çalışmayı yeniden oynatmasına ve ilk kötü devri noktasal olarak belirlemesine olanak tanıyan izler.

Kaynaklar

• Trantor
• Redis
• arXiv