Amazon Web Services (AWS), yapay zeka (YZ) girişimlerinin uygulamalarını kendi Trainium adlı YZ çipine kolayca taşımasını sağlayan TorchNeuron aracını tanıttı. Bu hamleyle Amazon, Nvidia'nın YZ uygulamaları için varsayılan donanım seçimi olmasını ve bu alandaki yükselişini sağlayan yazılım avantajını doğrudan hedef alıyor.
PyTorch entegrasyonu kolaylığı
TorchNeuron, geliştiricilerin YZ modellerini oluşturmak, eğitmek ve çalıştırmak için kullandığı ücretsiz ve açık kaynaklı bir araç olan PyTorch ile çalışıyor. Amazon'a göre bu araç, YZ uygulamalarının sadece bir yapılandırma satırı değişikliğiyle Trainium'da çalışmasına olanak tanıyor; yani kodun yeniden yazılmasına gerek kalmıyor. Amazon, YZ uygulamalarının yaklaşık %85'inin PyTorch ile yazıldığını belirtiyor. Facebook tarafından geliştirilen PyTorch, 2022'den beri açık kaynak projelerini destekleyen Linux Foundation'ın bir parçası. Nvidia, yıllardır uygulamaların kendi GPU'ları ve diğer donanımlarında sorunsuz çalışmasını sağlayan CUDA yazılım altyapısıyla YZ uygulamalarını desteklemek için çalışıyor. Bu durum, Nvidia donanımının adeta varsayılan olarak araç setine derinlemesine entegre olmasına yol açtı. TorchNeuron'un PyTorch'tan uyarlanmış olması, PyTorch'u bilen geliştiricilerin bu aracı da kolayca kullanabilmesini sağlıyor.
AWS bulutunun avantajları
Amazon, Trainium'a geçişin sadece kolay olmadığını, aynı zamanda YZ girişimlerine Amazon'un tüm bulut altyapısına erişim imkanı sunduğunu savunuyor. AWS, bu durumun Coreweave, Nebius ve Firmus gibi Nvidia donanımına bağlı neocloud'ları kullanan girişimler için daha iyi bir seçenek olduğunu iddia ediyor. AWS Annapurna Labs'ten Colin Brace, “AWS üzerinde inşa ediyorsunuz. Tek bir amaçlı hesaplama sağlayıcısına bel bağlayıp her şeyi onun etrafında kurmaya çalışmıyorsunuz. AWS üzerinde, prototipten üretime geçiş için gereken altyapı zaten mevcut, bu da bir kurucunun hızla hareket etmesini ve ihtiyaç duyduğunda ölçeklenmesini sağlıyor” dedi. AWS, hem YZ modelini eğiten (training) hem de tamamlanmış modeli çalıştıran (inference) aynı çipin bulunması ve bu çipin girişimlerin ihtiyaç duyduğu bulut altyapısıyla sıkı entegrasyonu sayesinde, en ucuz token başına fiyatı sunmasa bile bulutlarının girişimlere para tasarrufu sağlayacağını belirtiyor. Brace, “Trainium'un değeri, fiyat-performans ve hem eğitim hem de çıkarım için tek bir platform olması, bu da tam bir iş yükü boyunca ekonomiyi iyileştiriyor” diye ekledi. Deepgram gibi firmaların Trainium'a geçerek daha iyi sonuçlar elde ettiğini de vurguladı. Amazon, sadece PyTorch geliştiricilerine bulutuna geçiş için kolay bir seçenek sunmakla kalmıyor, aynı zamanda PyTorch'un Nvidia'ya otomatik olarak daha az odaklanması için de çalıştığını ve bu yöndeki kod katkısını ana PyTorch projesine yapacağını belirtiyor. Şirket, bu yaklaşımın sadece kendi donanımını aşan bir adım olduğunu ve PyTorch'un tüm geliştirici topluluğu için daha donanımdan bağımsız hale getirilmesini hedeflediğini ifade etti. Bu stratejinin Nvidia için önemli sonuçları olabileceği ve geliştiricilere daha fazla seçenek ve uygun maliyetli çözümler sunarak Nvidia'nın tekeline meydan okuyabileceği öngörülüyor.
