A Tether AI-keretrendszert indít okostelefonok és fogyasztói GPU-k számára

A Tether AI-keretrendszert indít okostelefonok és fogyasztói GPU-k számára
A Tether új kerete a decentralizált és privát AI-t támogatja

A Tether keretrendszert indít az AI-képzéshez okostelefonokon és fogyasztói grafikus processzorokon. A vállalat biztosítja, hogy az eredmények nem csak a hardverigényeket, hanem magát a képzési folyamatot is jelentősen csökkentik.

Kiemelések

  • A Tether elindítja az AI keretrendszert okostelefonokhoz és fogyasztói GPU-khoz
  • A BitNet akár 77,8%-kal csökkenti a memóriaszükségletet a képzés során
  • A keretrendszer lehetővé teszi az eszközön belüli és a szövetségi AI-modellek képzését

Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.

Már nem az Nvidia chipek az egyetlen lehetőség

A Tether QVAC platformjának részét képező keretrendszer lehetővé teszi a nagyméretű nyelvi modellek finomhangolását fogyasztói hardvereken, köztük okostelefonokon és grafikus processzorokon, ezzel a támogatást az AI-tréninghez jellemzően használt domináns Nvidia GPU-kon túlra is kiterjeszti.

A platform támogatja a platformok közötti képzést és következtetést különböző chipeken, köztük az AMD, az Intel, az Apple Silicon, valamint a Qualcomm és az Apple mobil GPU-jain. A rendszer a Microsoft BitNet architektúráját és a LoRA technikákat használja a memória- és számítási követelmények csökkentése érdekében.

Az 1 bites BitNet modellarchitektúrának köszönhetően a platform a hasonló 16 bites modellekhez képest akár 77,8%-kal is csökkentheti a videomemória-szükségletet, lehetővé téve a nagyobb modellek futtatását erőforrás-korlátozott eszközökön. A Tether mérnökei akár 1 milliárd paramétert tartalmazó modelleket is finomhangoltak okostelefonokon kevesebb mint két óra alatt, a kisebb modellek pedig csak néhány percet vesznek igénybe, miközben a mobileszközökön akár 13 milliárd paramétert tartalmazó modelleket is támogatnak.

A mobil GPU-k többször gyorsabban képesek feldolgozni a BitNet modelleket, mint a CPU-k. A potenciális felhasználási esetek közé tartozik az eszközön történő képzés és a szövetségi tanulás, ahol a modelleket elosztott eszközökön frissítik anélkül, hogy az adatokat központi szerverekre küldenék, ami potenciálisan csökkenti a felhőinfrastruktúrára való támaszkodást.

Jelentős váltás az AI-iparban

A bevezetés fontos lépést jelent az AI-iparág decentralizálása felé, amely jelenleg nagymértékben támaszkodik a felhőszolgáltatókra és a drága GPU-klaszterekre. A modellek közvetlenül a felhasználói eszközökön történő képzése megnyitja az utat a privát és autonóm AI-alkalmazások előtt, az adatokat az eszközön tartva - ez kulcsfontosságú előny a növekvő adatvédelmi előírások közepette.

Emellett az Nvidia hardvertől való függőség csökkentése átformálhatja a versenyhelyzetet, erősítve az alternatív chipgyártókat és ösztönözve az energiahatékonyabb megoldások fejlesztését. Széles körű elterjedése esetén ez a technológia felgyorsíthatja az AI tömeges elterjedését a fogyasztói termékekben, és új üzleti modelleket hozhat létre, amelyek középpontjában az edge computing és az elosztott képzési hálózatok állnak.

Amint arról beszámoltunk, a Tether QVAC a LLAMA 3.2-vel a mobilokra is lecsap, Paolo Ardoino megjegyzi

Ваша пробная версия Premium закончилась

Ez az anyag harmadik felek véleményét tartalmazhatja, a weboldalon található adatok és információk egyike sem minősül befektetési tanácsnak a Jogi nyilatkozatunk szerint. Bár szigorú Szerkesztői Integritást követünk, ez a bejegyzés tartalmazhat hivatkozásokat partnereink termékeire.