Yapay zeka laboratuvarları, model değerlendirmelerine büyük önem vererek, bir yapay zeka ürününün diğerine göre ne kadar iyi olduğunu ölçmeyi amaçlayan sistemler geliştirmiştir. Ancak, bu değerlendirmelerin arkasındaki yöntemlerin karmaşık olduğunu ve henüz olgunlaşmadığını belirten Hugging Face’in politika şefi Irene Solaiman, TechCrunch Disrupt'ta yaptığı konuşmada, sektörün bu yöntemlere güvenebilmesi için daha tutarlı bir bilim haline gelmesi gerektiğini ifade etti.
Değerlendirmelerde güven sorunları
Solaiman, mevcut testlerin güvenilirliğini sorgularken, “Güven, oldukça ağırlıklı bir terim” dedi ve sonuçların güvenilirliğini sorgularken, değerlendirme sonuçlarını yeniden üretme yeteneğinin önemine dikkat çekti. Ayrıca, “Modelin kendisine erişim düzeyine sahip misiniz? İşte burada açık ağırlıklar devreye giriyor” diye ekledi.
Kapsamlı değerlendirme ihtiyacı
Model değerlendirmelerinin yeniden üretilebilirliğinin uzun zamandır tartışmalı bir konu olduğunu vurgulayan Solaiman, mevcut testlerin başka değerlendirmelerle nasıl karşılaştırılacağına dair soruların da önemli olduğunu belirtti. Değerlendirmeler, yalnızca modelin test edilmesinden çıkıp, model etrafındaki tüm sistemin test edilmesine doğru bir evrim geçiriyor. Solaiman, “Değerlendirme alanı şu an oldukça serbest bir durumdadır ve eğer benchmarking, sektör liderleri için yararlı bir araç olarak görülmeye devam edecekse, herkesin aynı sayfada olduğu daha uyumlu bir yaklaşım gerekli olabilir” dedi.
