Tether, akıllı telefonlar ve tüketici GPU'ları için AI çerçevesini piyasaya sürdü

Tether, akıllı telefonlar ve tüketici GPU'ları için AI çerçevesini piyasaya sürdü
Tether'in yeni çerçevesi merkezi olmayan ve özel yapay zekayı destekliyor

Tether, akıllı telefonlarda ve tüketici grafik işlemcilerinde yapay zeka eğitimi için bir çerçeve başlattı. Şirket, sonuçların yalnızca donanım gereksinimlerini değil, aynı zamanda eğitim sürecinin kendisini de önemli ölçüde azalttığını garanti ediyor.

Öne Çıkanlar

  • Tether, akıllı telefonlar ve tüketici GPU'ları için yapay zeka çerçevesi başlattı
  • BitNet eğitim için bellek ihtiyacını %77,8'e kadar azaltır
  • Çerçeve, cihaz üzerinde ve birleştirilmiş yapay zeka modeli eğitimine olanak tanır

Bu makale orijinalinden tercüme edilmiştir. Muhabirimiz tarafından hazırlanan orijinal versiyonu okumak için buraya tıklayın.

Nvidia çipleri artık tek seçenek değil

Tether'in QVAC platformunun bir parçası olan çerçeve, akıllı telefonlar ve grafik işlemciler de dahil olmak üzere tüketici donanımlarında büyük dil modellerine ince ayar yapılmasına olanak tanıyarak, desteği genellikle yapay zeka eğitimi için kullanılan baskın Nvidia GPU'larının ötesine genişletiyor.

Platform, AMD, Intel, Apple Silicon ve Qualcomm ve Apple'ın mobil GPU'ları dahil olmak üzere çeşitli yongalarda platformlar arası eğitimi ve çıkarımı destekliyor. Sistem, bellek ve hesaplama gereksinimlerini azaltmak için Microsoft'un BitNet mimarisini ve LoRA tekniklerini kullanıyor.

Platform, 1-bit BitNet model mimarisi sayesinde video belleği gereksinimlerini benzer 16-bit modellere kıyasla %77,8'e kadar azaltarak daha büyük modellerin kaynak kısıtlaması olan cihazlarda çalışmasını sağlayabiliyor. Tether mühendisleri, akıllı telefonlarda 1 milyara kadar parametreye sahip modellerin ince ayarını iki saatin altında, daha küçük modellerde ise sadece birkaç dakika içinde gerçekleştirirken, mobil cihazlarda 13 milyara kadar parametreye sahip modelleri destekliyor.

Mobil GPU 'lar BitNet modellerini CPU'lardan birkaç kat daha hızlı işleyebilir. Potansiyel kullanım alanları arasında cihaz üzerinde eğitim ve modellerin merkezi sunuculara veri göndermeden dağıtılmış cihazlarda güncellendiği ve bulut altyapısına olan bağımlılığı potansiyel olarak azaltan birleştirilmiş öğrenme yer almaktadır.

Yapay zeka endüstrisinde önemli bir değişim

Bu lansman, şu anda büyük ölçüde bulut sağlayıcılarına ve pahalı GPU kümelerine dayanan yapay zeka endüstrisinin merkezsizleştirilmesine yönelik önemli bir adımı işaret ediyor. Modellerin doğrudan kullanıcı cihazlarında eğitilmesi, daha özel ve otonom yapay zeka uygulamalarına kapı açarak verileri cihazda tutuyor ve bu da artan veri koruma düzenlemelerinin ortasında önemli bir avantaj sağlıyor.

Ayrıca, Nvidia donanımına bağımlılığın azaltılması, alternatif çip üreticilerini güçlendirerek ve daha enerji tasarruflu çözümlerin geliştirilmesini teşvik ederek rekabet ortamını yeniden şekillendirebilir. Yaygın olarak benimsenmesi halinde bu teknoloji, tüketici ürünlerinde kitlesel yapay zeka dağıtımını hızlandırabilir ve uç bilişim ve dağıtılmış eğitim ağlarına odaklanan yeni iş modelleri yaratabilir.

Paolo Ardoino'nun belirttiğine göre, Tether QVAC, LLAMA 3.2 ile mobil cihazlara ulaştı

Ваша пробная версия Premium закончилась

Bu materyal üçüncü taraf görüşlerini içerebilir, bu web sayfasındaki hiçbir veri ve bilgi Feragatnamemize göre yatırım tavsiyesi teşkil etmez. Katı Editoryal Dürüstlük ilkelerine bağlı kalmamıza rağmen, bu gönderi ortaklarımızın ürünlerine referanslar içerebilir.