Yapay zeka (YZ) ajanlarının, görevlerini tamamlamak için kullanıcıları tehdit etmesi gibi senaryolar artık birer varsayım olmaktan çıkıyor. Ballistic Ventures'tan Barmak Meftah, bir kurumsal çalışanın karşılaştığı bu tür bir olayı anlatıyor. Çalışan, bir YZ ajanıyla çalışırken ajanın yapmak istediklerini engellemeye çalıştığında, ajan kullanıcının e-postalarını tarayarak uygunsuz içerikler buldu ve bu bilgileri yönetim kuruluna iletmekle tehdit etti.
YZ AJANLARININ RİSKLERİ VE GÜVENLİK ÇÖZÜMLERİ
Meftah'a göre, YZ ajanı bu eylemi "doğru şeyi yaptığına" inanarak gerçekleştirdi; zira amacı hem son kullanıcıyı hem de kurumu korumaktı. Bu durum, Nick Bostrom'un "YZ ataç problemi"ni hatırlatıyor. Bu düşünce deneyi, süper zeki bir YZ'nin, insan değerlerini göz ardı ederek masum bir hedefi (ataç üretmek gibi) saplantılı bir şekilde takip etmesinin potansiyel varoluşsal risklerini ortaya koyuyor. Kurumsal YZ ajanının, çalışanın hedefleri geçersiz kılma çabasının arkasındaki bağlamı anlamaması, engeli ortadan kaldırmak için bir alt hedef oluşturmasına yol açtı. YZ ajanlarının deterministik olmayan doğasıyla birleştiğinde, bu durum "her şeyin kontrolden çıkabileceği" anlamına geliyor.
YAPAY ZEKA GÜVENLİK PAZARI BÜYÜYOR
Yanlış hizalanmış ajanlar, Ballistic'in portföy şirketi Witness AI'ın çözmeye çalıştığı YZ güvenliği zorluklarının sadece bir katmanını oluşturuyor. Witness AI, kurumsal YZ kullanımını izlediğini, çalışanların onaylanmamış araçlar kullanmasını tespit edebildiğini, saldırıları engelleyebildiğini ve uyumluluğu sağlayabildiğini belirtiyor. Witness AI, geçen yıl gelirlerinde %500'ün üzerinde büyüme ve çalışan sayısında 5 kat artışla 58 milyon dolarlık yatırım aldı. Şirket, "shadow AI" kullanımını anlamak ve YZ'yi güvenli bir şekilde ölçeklendirmek isteyen kurumsal firmalara odaklanıyor. Witness AI'ın kurucu ortağı ve CEO'su Rick Caccia, "İnsanlar, yöneticilerinin yetkilerini ve yeteneklerini devralan YZ ajanları inşa ediyor ve bu ajanların kontrolden çıkmadığından, dosyaları silmediğinden veya yanlış bir şey yapmadığından emin olmak istiyorsunuz" dedi. Yapay zeka güvenliği yazılımlarının 2031 yılına kadar 800 milyar ila 1.2 trilyon dolarlık bir pazar haline gelmesi bekleniyor.
