Tether lancerer AI-rammeværk til smartphones og forbruger-GPU'er

Tether lancerer AI-rammeværk til smartphones og forbruger-GPU'er
Tethers nye rammeværk fremmer decentral og privat AI

Tether lancerer en ramme for AI-træning på smartphones og grafikprocessorer til forbrugere. Virksomheden forsikrer, at resultaterne ikke kun reducerer hardwarekravene betydeligt, men også selve træningsprocessen.

Højdepunkter

  • Tether lancerer AI-rammeværk til smartphones og forbruger-GPU'er
  • BitNet reducerer hukommelsesbehovet med op til 77,8 % til træning
  • Framework muliggør træning af AI-modeller på enheden og i en føderation

Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.

Nvidia-chips er ikke længere den eneste mulighed

Frameworket, der er en del af Tethers QVAC-platform, gør det muligt at finjustere store sprogmodeller på forbrugerhardware, herunder smartphones og grafikprocessorer, hvilket udvider understøttelsen ud over de dominerende Nvidia GPU'er, der typisk bruges til AI-træning.

Platformen understøtter træning og inferens på tværs af platforme på forskellige chips, herunder AMD, Intel, Apple Silicon og mobile GPU'er fra Qualcomm og Apple. Systemet bruger Microsofts BitNet-arkitektur og LoRA-teknikker til at reducere hukommelses- og beregningskravene.

Takket være 1-bit BitNet-modelarkitekturen kan platformen reducere kravene til videohukommelse med op til 77,8 % sammenlignet med lignende 16-bit-modeller, hvilket gør det muligt at køre større modeller på enheder med begrænsede ressourcer. Tethers ingeniører har finjusteret modeller med op til 1 milliard parametre på smartphones på under to timer, og mindre modeller tager kun et par minutter, mens de understøtter modeller med op til 13 milliarder parametre på mobile enheder.

Mobile GPU'er kan behandle BitNet-modeller flere gange hurtigere end CPU'er. Potentielle anvendelser omfatter træning på enheden og fødereret læring, hvor modeller opdateres på tværs af distribuerede enheder uden at sende data til centraliserede servere, hvilket potentielt kan reducere afhængigheden af cloud-infrastruktur.

Et markant skift i AI-industrien

Lanceringen markerer et vigtigt skridt i retning af at decentralisere AI-industrien, som i øjeblikket er stærkt afhængig af cloud-udbydere og dyre GPU-klynger. Træning af modeller direkte på brugernes enheder åbner døren til mere private og autonome AI-applikationer, hvor data bevares på enheden - en vigtig fordel i en tid med voksende regler for databeskyttelse.

Derudover kan en reduceret afhængighed af Nvidia-hardware omforme konkurrencelandskabet, styrke alternative chipproducenter og tilskynde til udvikling af mere energieffektive løsninger. Hvis denne teknologi bliver udbredt, kan den fremskynde masseudbredelsen af AI i forbrugerprodukter og skabe nye forretningsmodeller centreret om edge computing og distribuerede træningsnetværk.

Som vi rapporterede, rammer Tether QVAC mobilen med LLAMA 3.2, bemærker Paolo Ardoino

Ваша пробная версия Premium закончилась

Dette materiale kan indeholde tredjepartsmeninger, ingen af dataene og oplysningerne på denne webside udgør investeringsrådgivning i henhold til vores Ansvarsfraskrivelse. Selvom vi overholder strenge Redaktionelle Retningslinjer, kan dette indlæg indeholde referencer til produkter fra vores partnere.