Yapay zeka çıkarımında daha hızlı sonuçlar elde etme yarışı devam ediyor. Mayıs ayında Cerebras’ın halka arzı büyük ilgi gördü. Ancak Fransız girişimi Kog, geleneksel GPU'lardan daha fazla güç elde edilebileceğine inanıyor.
Teknoloji önizlemesi dikkat çekti
Kog, Mayıs ayında Hacker News'te, işletmelerin sahip olduğu standart veri merkezi GPU'larında “son derece hızlı tek istekli kod çözümlemenin mümkün olduğunu” kanıtlamaya yönelik bir teknoloji önizlemesi ile öne çıktı. AMD MI300X ve NVIDIA H200 GPU'larıyla yapılan demo bazı kullanıcıları hayal kırıklığına uğratsa da, diğerleri potansiyeli gördü. CEO Gaël Delalleau, TechCrunch’a verdiği demeçte, “200 somut iş fırsatımız oldu” dedi.
Büyük model geliştirmeye odaklanılıyor
Girişim, mevcut donanım üzerinde yazılım optimizasyonları ile yeni yetenekler sunma sözü veriyor. Müşterilerine daha hızlı sonuçlar sunmayı hedefleyen Kog, bu alandaki talebi gözlemleyerek, potansiyel müşterilerinin küçük modelleri ince ayar yapmaya hazır olmadığını öğrendi. Delalleau, “Larger models geliştirmeye odaklandık” dedi. Kog, “30 kat daha hızlı LLM çıkarımı” vaadinde bulunuyor. Ancak bu, yalnızca 2 milyar parametreye sahip küçük bir modelle gösterilen 3,000 istek başına token (TPS) ile sınırlı. Kog, Avrupa'nın kendi yeteneklerini geliştirmeye çalıştığı bu dönemde, Scaleway ve Fransa'nın Bpifrance ve French Tech 2030 programı tarafından destekleniyor. Kog, LLM'ler üzerinde yaptığı çalışmaları kanıtlamak zorunda. Delalleau, “Eylül ayında ilk büyük modelimizi 10 kat hızda uygularsak, müşteri ilgisini gösterebiliriz” dedi.
