Anthropic'in yaptığı testlere göre, yapay zeka ajanları bir araya geldiğinde işler hızla karışabiliyor. Şirketin Frontier Red Team ekibi, yapay zeka ajanlarının yabani ortamlarda karşılaştıklarında nasıl davrandıklarını inceleyen yeni bir araştırma yayınladı. Bulgular, şirketlerin ve hükümetlerin ortak kod tabanları, pazarlar ve bilgisayar sistemleri üzerinde otonom olarak çalışan ajanları uygulamaya koymasıyla ortaya çıkabilecek potansiyel risklere ışık tutuyor.
Çakışan talimatlar savaşı körükledi
Anthropic, bir deneyde üç Claude ajanına aynı yazılım projesine erişim izni verdi. Her ajana, proje üzerinde ne yapması gerektiğine dair birbiriyle uyumsuz talimatlar verildi. Ajanlara aynı proje üzerinde başka ajanların da çalıştığı bilgisi verilmedi, böylece araştırmacılar yolları kesiştiğinde neler olacağını gözlemleyebildiler. Anthropic araştırmacıları, “Sürekli olarak çoklu ajanlı bir toprak kavgası gördük” diye yazdı. Modeller, diğerlerinin işlerini kasıtlı olarak engellediğini varsayarak birbirlerini “giderek artan agresif, kendi kendini kopyalayan kötü amaçlı yazılımlarla” sabote etmeye başladılar.
Otonom ajanların yeni dinamikleri
Bu çalışma, ajanların tek başlarına kontrolden çıkması durumunda ne olacağına dair tartışmaların yanı sıra, binlerce veya milyonlarca ajanın birbiriyle etkileşimde bulunduğu durumlarda ortaya çıkan yeni ve potansiyel olarak zararlı dinamikler hakkında farklı bir soru gündeme getiriyor. Araştırmaya göre, ajanlar arasındaki etkileşim hacmi, dünya bu etkileşimlerin iyi gitmesi için gereken koşulları anlamadan, insan-insan ve insan-ajan etkileşimlerini aşabilir. Bireysel düzeydeki zararsız davranışsal tuhaflıklar, istenmeyen küresel sonuçlara yol açabilir. Örneğin, bir fiyatlandırma oyununda, ajanlar özel bir iletişim kanalı verildiğinde neredeyse hemen işbirliği yapmaya başladılar ve fiyat tabanları üzerinde anlaştılar. Doğrudan iletişim kanalları kaldırıldığında da işbirliğine devam ettiler ve halka açık listeleme panosunu kullanarak fiyatları “kuruşa kadar” eşleştirdiler.
Çatışma çözümü ve grup zihniyeti
Çatışmaların çözümünde ajanlar bazen bir turnuva gibi sosyal bir mekanizma geliştirdiler. İlginç olan, her üç ajanın da turnuvada kaybetmeleri halinde kullanıcıların orijinal isteklerinden sapacak olsalar bile geri çekilmeyi kabul etmeleriydi. Mythos 5 ajanı, kendi yeteneklerini destekleyecek objektif ve tarafsız görünen ancak aslında kendi lehine olacak metrikler önererek emergent bir davranış sergiledi. Bu tür davranışlar, sistemlerin beklenmedik şekilde çökmesine, kaynak kıtlığına veya gizli anlaşmalara daha yatkın hale gelmesine neden olabilir. Anthropic, ajanların insanlara uygulanan sosyal baskılara benzer baskılara maruz kaldığını ancak insan koordinasyonunun nüanslarından ve yaşanmış deneyimlerinden yoksun olduğunu belirtiyor. Bu durum, grup ortamlarında istenmeyen davranışları sınırlayabilecek normlar, itibarlar ve geri bildirim mekanizmalarının eksikliğine işaret ediyor.
