OpenAI'nin bu hafta dünyanın en zorlu matematik problemlerine dair yüzlerce çözüm iddiasında bulunması, yapay zeka alanında dikkat çekti. Ancak, şirketin bu çözümlerinin, özellikle insan anlayışının gerekliliği vurgulanan noktalarda, mevcut standartların altında kaldığı belirtiliyor. Bu durum, yapay zeka modellerinin ürettiği çözümlerin doğal dil ve biçimsel ifadeleri arasındaki tutarsızlıkları ortaya koyan yeni bir makaleyle daha da endişe verici hale geldi.
Matematikçilerden oluşan danışma grubu
Princeton Üniversitesi'nde yer alan İleri Araştırmalar Enstitüsü bünyesindeki Matematik ve Yapay Zeka Danışma Grubu (AGMAI), küresel çapta dokuz önde gelen araştırmacıdan oluşuyor. Grup, eylül ayı sonunda yayınladığı bir rehberle, ileri düzey matematik problemlerini çözen yapay zeka laboratuvarları için bazı standartlar belirledi. AGMAI, OpenAI'nin son kanıt yayınlarına ilişkin yaptığı açıklamada, "Tavsiyelerimizin ne ölçüde başarıyla uygulandığını değerlendirmek nihayetinde matematik camiasına düşer" ifadelerini kullandı. Ancak grubun ilk taleplerinden biri, "özel modeller üzerinde ileri düzey matematiksel problemlerin test edilmesine son verilmesiydi". OpenAI'nin yayınları ise açıkça matematik alanındaki açık araştırma problemleriyle özel modellerini değerlendirdiğini belirtiyor.
Çözümlerin doğruluğu ve insan anlayışı
AGMAI, OpenAI'nin bazı prensiplerini dikkate aldığını, örneğin sonuçları mümkün olan en kısa sürede yayınlama ve modellerin sonuçlara nasıl ulaştığına dair bilgi verme gibi, kabul etti. Ancak bu prensiplerin tamamı uygulanmamış. Yayımlanan 719 makaleden yalnızca onunda modelin düşünce zinciri yer alıyordu. Matematikçiler, anlaşılmayan kanıtlar için, bunların biçimselleştirilmesi gerektiğini önerirken, OpenAI'nin yayınladığı kanıtların yalnızca %42'si bu süreci geçirmemişti. Sonuç olarak, OpenAI'nin kanıtlarını yayınlarken "insan anlayışının takip edilmesini sağlama sorumluluğunu" üstlenip üstlenmediği hala belirsizliğini koruyor. Cambridge Üniversitesi ve King's College London'dan matematikçilerin yayınladığı bir makale, bu tür laboratuvarların zorluklarla nasıl başa çıktığına dair endişeleri dile getiriyor. Yapay zeka modelleri matematiksel problemleri çözerken önce "doğal dil" açıklaması oluşturuyor, ardından bu sonucu teorik olarak kod olarak derleyerek kanıtın doğruluğunu teyit eden Lean adlı bir programlama dilinde ifade etmeye çalışıyor. Ancak, modellerin doğal dil kanıtlarını koda çevirmesinde sorunlar olabileceği, bu makalede OpenAI'nin akışkanların karmaşık davranışlarını tanımlayan Navier-Stokes denklemlerinden türetilen bir probleme sunduğu çözümün arkasındaki doğal dil kanıtı ile Lean kodu arasında en az iki tutarsızlık belgeleniyor. Bu tutarsızlıklar her iki çözümü de kesin olarak çürütmese de, modellerin insan müdahalesi olmadan kendi çözümlerini biçimselleştirebileceğine güvenip güvenemeyeceğimiz sorusunu gündeme getiriyor.
