A Tether AI-keretrendszert indít okostelefonok és fogyasztói GPU-k számára
A Tether keretrendszert indít az AI-képzéshez okostelefonokon és fogyasztói grafikus processzorokon. A vállalat biztosítja, hogy az eredmények nem csak a hardverigényeket, hanem magát a képzési folyamatot is jelentősen csökkentik.
Kiemelések
- A Tether elindítja az AI keretrendszert okostelefonokhoz és fogyasztói GPU-khoz
- A BitNet akár 77,8%-kal csökkenti a memóriaszükségletet a képzés során
- A keretrendszer lehetővé teszi az eszközön belüli és a szövetségi AI-modellek képzését
Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.
Már nem az Nvidia chipek az egyetlen lehetőség
A Tether QVAC platformjának részét képező keretrendszer lehetővé teszi a nagyméretű nyelvi modellek finomhangolását fogyasztói hardvereken, köztük okostelefonokon és grafikus processzorokon, ezzel a támogatást az AI-tréninghez jellemzően használt domináns Nvidia GPU-kon túlra is kiterjeszti.
A platform támogatja a platformok közötti képzést és következtetést különböző chipeken, köztük az AMD, az Intel, az Apple Silicon, valamint a Qualcomm és az Apple mobil GPU-jain. A rendszer a Microsoft BitNet architektúráját és a LoRA technikákat használja a memória- és számítási követelmények csökkentése érdekében.
Az 1 bites BitNet modellarchitektúrának köszönhetően a platform a hasonló 16 bites modellekhez képest akár 77,8%-kal is csökkentheti a videomemória-szükségletet, lehetővé téve a nagyobb modellek futtatását erőforrás-korlátozott eszközökön. A Tether mérnökei akár 1 milliárd paramétert tartalmazó modelleket is finomhangoltak okostelefonokon kevesebb mint két óra alatt, a kisebb modellek pedig csak néhány percet vesznek igénybe, miközben a mobileszközökön akár 13 milliárd paramétert tartalmazó modelleket is támogatnak.
A mobil GPU-k többször gyorsabban képesek feldolgozni a BitNet modelleket, mint a CPU-k. A potenciális felhasználási esetek közé tartozik az eszközön történő képzés és a szövetségi tanulás, ahol a modelleket elosztott eszközökön frissítik anélkül, hogy az adatokat központi szerverekre küldenék, ami potenciálisan csökkenti a felhőinfrastruktúrára való támaszkodást.
Jelentős váltás az AI-iparban
A bevezetés fontos lépést jelent az AI-iparág decentralizálása felé, amely jelenleg nagymértékben támaszkodik a felhőszolgáltatókra és a drága GPU-klaszterekre. A modellek közvetlenül a felhasználói eszközökön történő képzése megnyitja az utat a privát és autonóm AI-alkalmazások előtt, az adatokat az eszközön tartva - ez kulcsfontosságú előny a növekvő adatvédelmi előírások közepette.
Emellett az Nvidia hardvertől való függőség csökkentése átformálhatja a versenyhelyzetet, erősítve az alternatív chipgyártókat és ösztönözve az energiahatékonyabb megoldások fejlesztését. Széles körű elterjedése esetén ez a technológia felgyorsíthatja az AI tömeges elterjedését a fogyasztói termékekben, és új üzleti modelleket hozhat létre, amelyek középpontjában az edge computing és az elosztott képzési hálózatok állnak.
Amint arról beszámoltunk, a Tether QVAC a LLAMA 3.2-vel a mobilokra is lecsap, Paolo Ardoino megjegyzi
Ваша пробная версия Premium закончилась
Legfrissebb NVDA hírek
- Forex
- Crypto