Tether lansează un cadru de IA pentru smartphone-uri și GPU-uri de consum

Tether lansează un cadru de IA pentru smartphone-uri și GPU-uri de consum
Noul cadru al Tether promovează inteligența artificială descentralizată și privată

Tether lansează un cadru pentru instruirea AI pe smartphone-uri și procesoare grafice de consum. Compania asigură că rezultatele nu numai că reduc semnificativ cerințele hardware, dar și procesul de formare în sine.

Repere

  • Tether lansează un cadru AI pentru smartphone-uri și GPU-uri de consum
  • BitNet reduce necesarul de memorie cu până la 77,8% pentru instruire
  • Cadrul permite instruirea pe dispozitiv și federată a modelelor AI

Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.

Cipurile Nvidia nu mai sunt singura opțiune

Cadrul, care face parte din platforma QVAC a Tether, permite reglarea fină a modelelor de limbaj de mari dimensiuni pe hardware de larg consum, inclusiv smartphone-uri și procesoare grafice, extinzând suportul dincolo de GPU-urile Nvidia dominante utilizate de obicei pentru instruirea AI.

Platforma suportă instruirea și inferența multiplatformă pe diverse cipuri, inclusiv AMD, Intel, Apple Silicon și GPU-uri mobile de la Qualcomm și Apple. Sistemul utilizează arhitectura BitNet de la Microsoft și tehnicile LoRA pentru a reduce memoria și cerințele de calcul.

Datorită arhitecturii modelului BitNet pe 1 bit, platforma poate reduce cerințele de memorie video cu până la 77,8% în comparație cu modele similare pe 16 biți, permițând modelelor mai mari să ruleze pe dispozitive cu resurse limitate. Inginerii Tether au pus la punct modele cu până la 1 miliard de parametri pe smartphone-uri în mai puțin de două ore, modelele mai mici necesitând doar câteva minute, suportând în același timp modele de până la 13 miliarde de parametri pe dispozitive mobile.

GPU-urile mobile pot procesa modele BitNet de câteva ori mai rapid decât CPU-urile. Cazurile potențiale de utilizare includ formarea pe dispozitiv și învățarea federată, în care modelele se actualizează pe dispozitive distribuite fără a trimite date către servere centralizate, reducând potențial dependența de infrastructura cloud.

O schimbare semnificativă în industria IA

Lansarea marchează un pas important către descentralizarea industriei AI, care în prezent se bazează în mare măsură pe furnizorii de cloud și pe clusterele GPU costisitoare. Instruirea modelelor direct pe dispozitivele utilizatorilor deschide ușa către aplicații AI mai private și mai autonome, păstrând datele pe dispozitiv - un avantaj cheie în contextul creșterii reglementărilor privind protecția datelor.

În plus, reducerea dependenței de hardware-ul Nvidia ar putea remodela peisajul concurențial, consolidând producătorii alternativi de cipuri și încurajând dezvoltarea de soluții mai eficiente din punct de vedere energetic. Dacă va fi adoptată pe scară largă, această tehnologie ar putea accelera implementarea AI în masă în produsele de consum și ar putea crea noi modele de afaceri centrate pe calculul de margine și pe rețelele de formare distribuite.

După cum am raportat, Tether QVAC lovește mobilul cu LLAMA 3.2, Paolo Ardoino notează

Ваша пробная версия Premium закончилась

Acest material poate conține opinii ale unor terți, niciuna dintre datele și informațiile de pe această pagină web nu constituie sfaturi de investiții conform Declinării noastre de responsabilitate. Deși respectăm o Integritate Editorială strictă, această postare poate conține referințe la produse de la partenerii noștri.