Yeni bir çalışma, büyük dil modellerinin çeşitli tıbbi bağlamlardaki performansını inceliyor; özellikle acil servis vakalarında, bir modelin insan doktorlardan daha doğru tanılar koyduğu görülüyor.
ÇALIŞMA DETAYLARI
Bu çalışma, Harvard Tıp Fakültesi ve Beth Israel Deaconess Tıp Merkezi'nden bir araştırma ekibi tarafından gerçekleştirildi. Araştırmacılar, OpenAI'nin o1 ve 4o modellerinin tanılarını, Beth Israel acil servisinde gelen 76 hastanın iki hekimle karşılaştırarak inceledi. Değerlendirmeyi yapan diğer iki hekim, tanıların hangisinin AI'dan, hangisinin insan doktorlardan geldiğini bilmiyordu. Çalışma, o1 modelinin iki hekimle karşılaştırıldığında tanı koymada ya nominal olarak daha iyi ya da eşit performans gösterdiğini ortaya koydu.
SONUÇLAR VE GELECEK ARAŞTIRMALAR
Özellikle ilk tanı aşamasında o1 modelinin, %67 oranında doğru veya yakın tanılar koyduğunu belirtildi. Bu oran, bir doktor için %55, diğer doktor için ise %50 olarak kaydedildi. Ancak, çalışma yapay zekanın acil serviste gerçek yaşam veya ölüm kararları vermeye hazır olduğu iddiasında bulunmuyor. Bunun yerine, araştırmacılar, bu teknolojilerin gerçek hasta bakım ortamlarında değerlendirilmesi için acil bir ihtiyaç olduğunu vurguladı. Ayrıca, mevcut çalışmaların, mevcut temel modellerin metin dışı girdiler üzerinde akıl yürütme yeteneklerinin sınırlı olduğunu gösterdiğini belirttiler.
