Tether toob turule nutitelefonide ja tarbijatele mõeldud graafikaprotsessorite jaoks mõeldud tehisintellekti raamistiku

Tether toob turule nutitelefonide ja tarbijatele mõeldud graafikaprotsessorite jaoks mõeldud tehisintellekti raamistiku
Tetheri uus raamistik edendab detsentraliseeritud ja privaatset tehisintellekti

Tether käivitab raamistiku tehisintellekti koolitamiseks nutitelefonides ja tarbijagraafikaprotsessorites. Ettevõte kinnitab, et tulemused ei vähenda mitte ainult oluliselt riistvaranõudeid, vaid ka koolitusprotsessi ennast.

Tipphetked

  • Tether käivitab AI raamistiku nutitelefonide ja tarbijate GPUde jaoks
  • BitNet vähendab mäluvajadust treenimiseks kuni 77,8% võrra
  • Raamistik võimaldab seadmesiseset ja föderaalset tehisintellekti mudelite koolitust

See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.

Nvidia kiibid ei ole enam ainus võimalus

Tetheri QVAC-platvormi kuuluv raamistik võimaldab suurte keelemudelite peenhäälestamist tarbijarelvastusel, sealhulgas nutitelefonidel ja graafikaprotsessoritel, laiendades toetust kaugemale Nvidia GPUde domineerimisest, mida tavaliselt AI treenimiseks kasutatakse.

Platvormiülene platvorm toetab platvormideülest koolitust ja järelduste tegemist erinevatel kiipidel, sealhulgas AMD, Intel, Apple Silicon ning Qualcommi ja Apple'i mobiilsete GPUde peal. Süsteem kasutab Microsofti BitNet-arhitektuuri ja LoRA-tehnikat, et vähendada mälu- ja arvutusvajadust.

Tänu 1-bitise BitNet-mudeli arhitektuurile suudab platvorm vähendada videomälu nõudeid kuni 77,8% võrreldes sarnaste 16-bitiste mudelitega, võimaldades suurematel mudelitel töötada piiratud ressurssidega seadmetes. Tetheri insenerid on kuni 1 miljardi parameetriga mudeleid nutitelefonides peenhäälestanud alla kahe tunni, väiksematel mudelitel kulub selleks vaid mõni minut, toetades samas kuni 13 miljardi parameetriga mudeleid mobiilseadmetes.

Mobiilne GPU suudab BitNeti mudeleid töödelda mitu korda kiiremini kui protsessorid. Potentsiaalsete kasutusviiside hulka kuuluvad seadmesisene koolitus ja föderatiivne õppimine, kus mudelid uuendatakse hajutatud seadmetes, ilma et andmeid saadetaks kesksetesse serveritesse, mis võib vähendada sõltuvust pilveinfrastruktuurist.

Märkimisväärne muutus tehisintellekti tööstuses

Käivitamine tähistab olulist sammu tehisintellekti tööstuse detsentraliseerimise suunas, mis praegu tugineb suuresti pilvepakkujatele ja kallitele GPU-klastritele. Mudelite treenimine otse kasutajate seadmetes avab ukse privaatsematele ja autonoomsematele tehisintellekti rakendustele, säilitades andmed seadmes - see on oluline eelis kasvavate andmekaitseregulatsioonide tingimustes.

Lisaks võib sõltuvuse vähendamine Nvidia riistvarast muuta konkurentsimaastikku, tugevdades alternatiivseid kiibitootjaid ja soodustades energiatõhusamate lahenduste väljatöötamist. Kui see tehnoloogia võetakse laialdaselt kasutusele, võib see kiirendada tehisintellekti massilist kasutuselevõttu tarbekaupades ja luua uusi ärimudeleid, mille keskmes on servaarvutid ja hajutatud treeningvõrgud.

Nagu me teatasime, tabab Tether QVAC LLAMA 3.2 abil mobiiltelefoni, märgib Paolo Ardoino

Ваша пробная versioon Premium закончилась

See materjal võib sisaldada kolmandate osapoolte arvamusi, kuid sellel veebilehel olevad andmed ja teave ei kujuta endast investeerimisnõuandeid vastavalt meie lahtiütlusele. Kuigi järgime ranget toimetuslikku terviklikkust, võib see postitus sisaldada viiteid meie partnerite toodetele.
Nädala parimad boonused
kuni $2 500
sissemakseboonus kõigile klientidele