Tether toob turule nutitelefonide ja tarbijatele mõeldud graafikaprotsessorite jaoks mõeldud tehisintellekti raamistiku
Tether käivitab raamistiku tehisintellekti koolitamiseks nutitelefonides ja tarbijagraafikaprotsessorites. Ettevõte kinnitab, et tulemused ei vähenda mitte ainult oluliselt riistvaranõudeid, vaid ka koolitusprotsessi ennast.
Tipphetked
- Tether käivitab AI raamistiku nutitelefonide ja tarbijate GPUde jaoks
- BitNet vähendab mäluvajadust treenimiseks kuni 77,8% võrra
- Raamistik võimaldab seadmesiseset ja föderaalset tehisintellekti mudelite koolitust
See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.
Nvidia kiibid ei ole enam ainus võimalus
Tetheri QVAC-platvormi kuuluv raamistik võimaldab suurte keelemudelite peenhäälestamist tarbijarelvastusel, sealhulgas nutitelefonidel ja graafikaprotsessoritel, laiendades toetust kaugemale Nvidia GPUde domineerimisest, mida tavaliselt AI treenimiseks kasutatakse.
Platvormiülene platvorm toetab platvormideülest koolitust ja järelduste tegemist erinevatel kiipidel, sealhulgas AMD, Intel, Apple Silicon ning Qualcommi ja Apple'i mobiilsete GPUde peal. Süsteem kasutab Microsofti BitNet-arhitektuuri ja LoRA-tehnikat, et vähendada mälu- ja arvutusvajadust.
Tänu 1-bitise BitNet-mudeli arhitektuurile suudab platvorm vähendada videomälu nõudeid kuni 77,8% võrreldes sarnaste 16-bitiste mudelitega, võimaldades suurematel mudelitel töötada piiratud ressurssidega seadmetes. Tetheri insenerid on kuni 1 miljardi parameetriga mudeleid nutitelefonides peenhäälestanud alla kahe tunni, väiksematel mudelitel kulub selleks vaid mõni minut, toetades samas kuni 13 miljardi parameetriga mudeleid mobiilseadmetes.
Mobiilne GPU suudab BitNeti mudeleid töödelda mitu korda kiiremini kui protsessorid. Potentsiaalsete kasutusviiside hulka kuuluvad seadmesisene koolitus ja föderatiivne õppimine, kus mudelid uuendatakse hajutatud seadmetes, ilma et andmeid saadetaks kesksetesse serveritesse, mis võib vähendada sõltuvust pilveinfrastruktuurist.
Märkimisväärne muutus tehisintellekti tööstuses
Käivitamine tähistab olulist sammu tehisintellekti tööstuse detsentraliseerimise suunas, mis praegu tugineb suuresti pilvepakkujatele ja kallitele GPU-klastritele. Mudelite treenimine otse kasutajate seadmetes avab ukse privaatsematele ja autonoomsematele tehisintellekti rakendustele, säilitades andmed seadmes - see on oluline eelis kasvavate andmekaitseregulatsioonide tingimustes.
Lisaks võib sõltuvuse vähendamine Nvidia riistvarast muuta konkurentsimaastikku, tugevdades alternatiivseid kiibitootjaid ja soodustades energiatõhusamate lahenduste väljatöötamist. Kui see tehnoloogia võetakse laialdaselt kasutusele, võib see kiirendada tehisintellekti massilist kasutuselevõttu tarbekaupades ja luua uusi ärimudeleid, mille keskmes on servaarvutid ja hajutatud treeningvõrgud.
Nagu me teatasime, tabab Tether QVAC LLAMA 3.2 abil mobiiltelefoni, märgib Paolo Ardoino
Ваша пробная versioon Premium закончилась
Viimased NVDA uudised
- Forex
- Crypto