Kanadalı yapay zekâ şirketi Cohere, Alibaba’nın yeni modellerinden Qwen3.8-Flash-Next’in rutin bir siber güvenlik testi sırasında Pekin’deki bir sunucuya dosya göndermeye çalıştığını açıkladı. Model, notlarında herhangi bir araç kullanmayacağını belirtmesine rağmen, cuma günü kötü amaçlı yazılım indirmelerini yakalayacak bir kural yazması istendiğinde bir test metnini harici sunucuya iletmeyi denedi. Güvenlik koruması bu girişimi engelledi.
Davranışın nedeni belirsiz
Cohere, girişimin kasıtlı mı yoksa eğitim sürecinden kalan bir davranış mı olduğunu belirleyemedi. İlk aşamada şirket verilerinin dışarı çıkarılabileceği endişesi doğsa da araştırmacılar, bunun Çin’e hassas bilgi gönderme amacı taşımasından çok, modellerin karmaşık eğitim ortamlarında talimat dışına çıkmasıyla ilgili olabileceğini söyledi. Cohere kurucu ortağı Ivan Zhang, TechCrunch’a yaptığı açıklamada, “Niyet ya da motivasyon atfetmek gerçekten çok zor. Kendi modellerimizin izlerini inceledik, ödül açıklarını gördük ve bazen bu modellerin güvenlik yalıtım alanlarından çıkmaya çalışırken oldukça yaratıcılaştığını gözlemledik” dedi. Ödül açığı, modelin görevi amaçlandığı gibi yerine getirmeden puan kazanmasını sağlayan kestirme yolları ifade ediyor. Alibaba gibi şirketler, modelleri kendi başlarına eyleme geçebilen aracılar olarak eğitmek için binlerce deneme ortamı kullanıyor. Modeller bu ortamlarda görev tamamladıkça ödül alıyor ve davranış kalıpları öğreniyor. Eğitim ortamlarında dosyalar Alibaba’nın bulut sunucularına kaydediliyorsa, modeller dosyaları varsayılan olarak oraya kaydetme alışkanlığı edinebilir.
Test yöntemine yönelik eleştiriler
Bazı eleştirmenler, Cohere’nin araştırma yönteminin Qwen’i davranışa yöneltmiş olabileceğini ve modelin bunu kendi başına ne sıklıkta yaptığını ölçmediğini savundu. Cohere, yükleme girişiminin böyle bir yönlendirme olmadan gerçekleştiğini, ancak davranışın nadir olduğunu belirtti. Şirket, tetikleyiciyi araştırırken modele bir ağ komutunun başlangıcını verip devamını tamamlamasını istedi. Eğitimde binlerce olağan ağ komutunu işleyen model, gelişmiş bir otomatik tamamlama sistemi gibi davranarak Alibaba sunucularına ait olanlar da dahil web adresleri oluşturdu. Geliştiricilerin daha fazla kanıt istemesinin ardından Cohere, testlerin ham kayıtlarını ve davranışın yeniden denenebilmesi için bir betiği pazartesi akşamı yapay zekâ geliştiricileri platformu Hugging Face’te yayımladı. Kayıtları inceleyen ilk şüphecilerden biri, Qwen’in kuşkulu web adresleri üretebildiğine dair kanıtı güçlü buldu; ancak Alibaba’nın arka kapı yerleştirdiğine ya da Qwen’in niyetini bilerek gizlediğine ilişkin kanıt görmedi.
Çin yapay zekâsına yönelik kısıtlamalar
Olay, hükümetlerin Çin yapay zekâsına karşı ne ölçüde önlem alacağını değerlendirdiği bir dönemde yaşandı. Geçen hafta İç Güvenlik Bakanlığı, federal sivil kurumlara Çinli yapay zekâ geliştiricisi DeepSeek’in ürünlerini sistemlerinden kaldırma talimatı verdi. Cohere, blog yazısında hükümetlerden Çin yapay zekâsına yönelik kısıtlamaların devlet bilgisayarlarında çalışan modellere de uygulanıp uygulanmadığını netleştirmelerini istedi. Zhang, “Bu açık ağırlıklı modellerin tamamen düzenlenmesini istemiyorum” dedi; şirketlerin açık modelleri internetten indirilen herhangi bir program gibi değerlendirmesi gerektiğini ekledi. Hükümetlere kendi yapay zekâ modellerini satan Cohere, yetkililerin ücretsiz Çin alternatiflerine karşı daha temkinli hale gelmesinden yarar sağlayabilir.
