Anthropic'ten Jacob Coxon'un, yapay zekanın geleceği hakkında endişeleri nedeniyle istifa etmesinin ardından, kurucular Rune Kvist ve Rajiv Dattani ile bir araya geldim. İkili, yapay zeka ajanlarının kontrolsüz hareket etmesini önlemeye yönelik çözüm önerileri olduğunu düşünüyor.
Yapay zeka güvenliği için yeni bir model
Kvist, “Yapay zeka, giderek daha hızlı bir şekilde daha akıllı hale geliyor. Yapay zekanın ilginç yanı, daha akıllı hale geldikçe benimsenmesinin ve kontrol edilmesinin daha zor hale gelmesidir” dedi. Dattani ise, daha önce METR'de COO olarak görev yapmış bir isim. İkili, yapay zeka güvenliğini geliştirmeyi amaçlayan Artificial Intelligence Underwriting Company (AIUC) adlı bir girişim başlattı.
Yatırımcıların ilgisi
AIUC, Ribbit Capital liderliğinde 40 milyon dolarlık bir yatırım turunu duyurdu. Yapay zeka ajanları için bir üçüncü taraf denetim ve sertifikasyon katmanı oluşturmayı hedefleyen şirket, 250 güvenlik ve risk liderinden oluşan bir konsorsiyumla çalışıyor. Dattani, “Ajan satın alırken nelere dikkat edersiniz?” sorusunu sorarak, bu geribildirimlerin testleri şekillendirdiğini belirtti. AIUC, yaklaşık 5.000 test uygulayarak ajanların güvenliğini değerlendiriyor ve sonuçları detaylı bir rapor haline getiriyor. Bu süreçte insan denetçiler nihai denetimi gerçekleştiriyor. Dattani, “Burada nerede geçiyor, nerede güvenilir olduğunu görebilirsiniz. Satın alma kararınızı vermeden önce bu referansların farkında olmalısınız” şeklinde konuştu.
