Şirketler, AI ajanlarına daha uzun ve karmaşık görevler devrettikçe, bir denetim sorunu ile karşılaşmaya başladılar. İnsanların gerçekçi bir şekilde inceleyebileceğinden daha hızlı, daha uzun ve daha fazla işlem yapabilen ajanlar, bu sorunu daha da derinleştirdi.
Hugging Face olayı
Hugging Face olayı, 12.000'den fazla ajanın insanlardan daha hızlı bir şekilde koordine olduğu bir durumu ortaya koydu. Böyle büyük bir ajan kalabalığını nasıl izlersiniz? AI laboratuvarları ve girişimlerden gelen ortaya çıkan cevap ise hem basit hem de karmaşık: Devrede başka bir AI bulundurmak. OpenAI Hugging Face olayının bağımsız araştırmasında AI kullanımı zorunlu hale geldi. Redwood Research’ın baş bilim insanı Ryan Greenblatt, bu durumu “slop-vestigation” olarak adlandırarak, veri hacminin “anlamayı imkansız hale getirdiğini” ifade etti.
AI ile AI izleme sorunları
Bazıları, AI'nın AI'yı izlemek için kullanılmasına şüpheyle yaklaşıyor. Teknoloji bloggerı Simon Willison, “Eğer bir AI kötü niyetli şeyler yapıyorsa ve başka bir AI'nın onu izlediğini düşünüyorsa, onu kandırmaya çalışabilir” diyor. Bu durum, AI'ların birbirlerine karşı zeka yarışına girmesine yol açabilir. AI güvenliği araştırmacıları, kaçak davranışları inceleyerek bu konuyu kurumsal sektöre yönelik araçlara dönüştürmeye çalışıyorlar. Apollo Research, bu yıl Şubat ayında Watcher adında bir AI izleme aracı piyasaya sürdü. Araç, bir kodlama ajanı ile bir sonraki eylemi arasında başka bir AI yerleştiriyor ve özel verilerin sızması veya izin olmadan dosyaların silinmesi gibi riskleri kontrol ediyor. Apollo, AI izleme katmanları kullanarak, eylemleri öncelikle hızlı bir genel kontrolle inceliyor ve daha sonra daha güçlü bir deneticiye yönlendiriyor.
