OpenAI, karar verme sürecini hızlandırmak amacıyla Decisions API modelini ilk kez kullanıcılarına geniş çapta sundu. Bu adım, hız ve maliyet açısından avantaj sağlayarak TypeSafe adlı girişimin 7.6 milyar dolarlık bir şirkete dönüşmesine katkıda bulundu.
Yeni karar modeli ile hızlı seçimler
TypeSafe'in Jev modeli, derin öğrenme modellerinin süper sınıflandırıcılar olarak işlev gördüğü yeni bir kategori oluşturdu. Bu model, bir dizi seçenek karşısında hızlı bir şekilde seçim yaparak kararlarında bir güven derecesi sunabiliyor. Yazılım geliştiricileri, bu karar modellerinin, çeşitli iş akışlarında LLM’lerin yerini alabileceğini fark etti.
Hız ve maliyet avantajı sağlanıyor
OpenAI’nin API ürün sorumlu Nikunj Handa, TechCrunch’a yaptığı açıklamada, ekiplerinin Jev modelini gördüğünde “vay, bu model için milyonlarca kullanım durumu var” dediklerini aktardı. Handa’nın ekibi, ChatGPT Luna'yı yeniden yapılandırarak daha hızlı bir şekilde işlem yapmasını sağladı ve maliyeti düşürdü. Decisions API’nin büyük avantajı, işlem süresini bir ila üç saniyeden 100, 120, 180 milisaniyeye kadar kısaltması olarak belirtiliyor. Kullanıcılar, OpenAI'nin LLM'lerini daha yüksek verimle değiştirmek için bu API'yi kullanarak başarılı sonuçlar elde etti.
