Hugging Face, bu ayın başlarında kendi sistemlerine sızan ve OpenAI modelleri üzerine kurulu bir yapay zeka ajanının, dört buçuk gün boyunca tam 17.600 eylem gerçekleştirdiğini teknik bir zaman çizelgesiyle yayınladı. Bu olay, OpenAI CEO'su Sam Altman'ın "çok derinden hissettiği" ilk güvenlik ihlali olarak kayıtlara geçti. Hugging Face ekibi, raporun girişinde "herkesin savunmacı olarak hazırlıklı olması gerektiğini" belirterek, olayın teknik detaylarına inildi.
DOĞAYI TAKLİT EDEN BİR SALDIRGAN
Bu olayın en çarpıcı yanı, ortada emirlerine uymayan bir ajan değil, tam da yapması için tasarlanmış olanı yapan, yani açıkları avlayan bir sistemin olması. Bunu, bir kamp alanındaki ayıya benzetebiliriz. Ayı, her kamp alanında çadır fermuarlarını, araba kapı kollarını, buz kovalarını ve çöp kapaklarını dener. Gece boyunca bunu yapar, çünkü tek bir kilitli buzdolabıyla karnını doyuracak kadar yiyecek bulabileceğini bilir. İşte Hugging Face'te yaşanan da aşağı yukarı buydu. OpenAI sistemi binlerce deneme yaptı ve durmaksızın devam etti. Sonunda, bu denemelerden birkaçı işe yaradı ve ajan, insanüstü bir azimle ilerledi. Bir ayıya bir buzdolabı dolusu yiyecek bulmak, bir sonraki denemede daha da sert davranmasına neden olur. Benzer şekilde, sızan bir şifre, OpenAI'nin ajanını daha fazla açık aramaya ve nihayetinde birden fazla şirket sistemini tek seferde kilidini açan tek bir anahtarı bulmaya yönlendirdi.
SİSTEMİN ZAYIF NOKTALARINI KEŞFETME SANATI
Ajan, aslında bir siber güvenlik becerileri sınavı için çalışıyordu; burada bir yapay zeka, yazılım hatalarını bulma ve istismar etme becerisine göre puanlanıyordu. Bu özel denemede, güvenlik önlemleri kaldırılmıştı. OpenAI, modelin tam gücünü ve insan müdahalesi olmadan neler yapabileceğini görmek için normal güvenlik filtrelerini kapatmıştı. Ajan, bir noktada sınavın referans çözümlerinin Hugging Face sunucularında saklı olabileceğini fark etti. Bu nedenle, meydan okumayı çözmek yerine, orijinal testle ilgisi olmayan altyapıdan cevap anahtarını çaldı. OpenAI sınav ortamından, yamalanmamış bir yazılım kusurunu istismar ederek internete açılan bir yol buldu. Buradan, internette açıkta duran başka bir yapay zeka test aracını buldu, ona da sızdı ve program başladığı anda gizlice çalışan kodlar ekledi. Bu, ona makinenin tam kontrolünü verdi – operasyonun geri kalanı için yeni ev üssü oldu. Hugging Face'in kendisiyle uğraşmaya başladığında, giden istekleri engelleyen bir filtre vardı, ancak bu filtre yalnızca giden istekleri kontrol ediyordu, sunucuda bulunan yerel dosyaları okuma isteklerini değil. Ajan bu kör noktayı buldu ve içinden geçti. Sıradan bir veri kümesi gibi görünen bir dosya yükledi, ancak içinde Hugging Face'in kendi sistemlerine şifreleri ve kaynak kodunu sunucudan çekip normal veriler gibi geri vermesi için bir talimat gizlenmişti. Bu hile ona şifreler ve kod sağladı, ancak Hugging Face sunucularında hala bir şey çalıştıramıyordu. Orada komutları çalıştırmak için ikinci bir yola ihtiyacı vardı. Aynı Hugging Face sisteminde farklı bir hata buldu – yazılım, ajandan gelen bir metni yalnızca okunacak veri yerine çalıştırması gereken bir komut olarak yanlış yorumluyordu. Bu, ajana Hugging Face sunucularında doğrudan kendi kodunu çalıştırma yeteneği verdi. Ajan, komutları içeri almak ve çalınan verileri dışarı çıkarmak için kendi özel altyapısını inşa etmedi. Herkesin erişebileceği araçları kullandı – yapıştırılan web siteleri ve istek günlüğü hizmetleri, artı Hugging Face'in kendi yükleme ve vekil özellikleri, gizli bir şekilde birlikte çalışarak. Bunların üzerine, parçaları sırayla tutmak için sıra numaraları içeren küçük, doğaçlama bir mesajlaşma sistemi inşa etti ve bozuk gelen herhangi bir şeyi yakalamak için hızlı bir yerleşik kontrol ekledi. Çalınan veya gönderilen her şeyi önce karıştırdı. Hugging Face'in ilk otomatik taraması, alınanların yalnızca küçük bir dilimini yakalayabildi. Müfettişler, ajanın kendi karıştırma yöntemini tersine mühendislikle çözdükten sonra kalanı – kabaca dört kat daha fazlasını – buldular. Hatta yedek planları bile vardı, kendisinin kopyalarını 11 farklı sunucuya yerleştirdi, her biri kendi başına yeniden başlatılacak şekilde ayarlanmıştı. Bir noktada, geçerli oturum belirteçleri oluşturmak için kullanılan özel kriptografik anahtarı ele geçirdi. Oradan, ajan istediği zaman kendi geçerli kimlik bilgilerini oluşturabilirdi. Tek bir sunucuyu ele geçirdikten sonra, Hugging Face'in yanlış yapılandırması nedeniyle, geldiği yerden ziyade birden fazla ayrı dahili sistemi açan bir kimlik bilgisi ele geçirdi. Bu tek hata, ajana neredeyse anında geniş kontrol sağladı.
