Tether lanserer AI-rammeverk for smarttelefoner og forbruker-GPU-er
Tether lanserer et rammeverk for AI-trening på smarttelefoner og grafikkprosessorer. Selskapet forsikrer at resultatene ikke bare reduserer maskinvarekravene betydelig, men også selve opplæringsprosessen.
Høydepunkter
- Tether lanserer AI-rammeverk for smarttelefoner og GPUer for forbrukermarkedet
- BitNet reduserer minnebehovet med opptil 77,8 % for trening
- Rammeverket muliggjør opplæring av AI-modeller på enheten og i fødererte nettverk
Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.
Nvidia-brikker er ikke lenger det eneste alternativet
Rammeverket, som er en del av Tethers QVAC-plattform, gjør det mulig å finjustere store språkmodeller på forbrukermaskinvare, inkludert smarttelefoner og grafikkprosessorer, noe som utvider støtten utover de dominerende Nvidia GPU-ene som vanligvis brukes til AI-trening.
Plattformen støtter plattformovergripende opplæring og inferens på ulike brikker, inkludert AMD, Intel, Apple Silicon og mobile GPUer fra Qualcomm og Apple. Systemet bruker Microsofts BitNet-arkitektur og LoRA-teknikker for å redusere minne- og beregningskravene.
Takket være 1-bit BitNet-modellarkitekturen kan plattformen redusere kravene til videominne med opptil 77,8 % sammenlignet med tilsvarende 16-bit-modeller, noe som gjør det mulig å kjøre større modeller på enheter med begrensede ressurser. Tethers ingeniører har finjustert modeller med opptil 1 milliard parametere på smarttelefoner på under to timer, og mindre modeller tar bare noen få minutter, samtidig som de støtter modeller med opptil 13 milliarder parametere på mobile enheter.
Mobile GPU-er kan behandle BitNet-modeller flere ganger raskere enn CPU-er. Potensielle bruksområder omfatter opplæring på enheten og føderert læring, der modeller oppdateres på tvers av distribuerte enheter uten å sende data til sentraliserte servere, noe som potensielt kan redusere avhengigheten av skyinfrastruktur.
Et betydelig skifte i AI-bransjen
Lanseringen markerer et viktig skritt i retning av å desentralisere AI-bransjen, som i dag i stor grad er avhengig av skyleverandører og dyre GPU-klynger. Opplæring av modeller direkte på brukernes enheter åpner for mer private og autonome AI-applikasjoner, og holder data på enheten - en viktig fordel i en tid med stadig strengere regler for databeskyttelse.
I tillegg kan redusert avhengighet av Nvidia-maskinvare endre konkurranselandskapet, styrke alternative chipprodusenter og oppmuntre til utvikling av mer energieffektive løsninger. Hvis denne teknologien blir tatt i bruk i stor skala, kan den fremskynde massebruk av AI i forbrukerprodukter og skape nye forretningsmodeller basert på edge computing og distribuerte treningsnettverk.
Som vi rapporterte, Tether QVAC treffer mobilen med LLAMA 3.2, skriver Paolo Ardoino
Ваша пробная версия Premium закончилась
Siste NVDA nyheter
- Forex
- Crypto