Tether lanserar AI-ramverk för smartphones och konsument-GPU:er
Tether lanserar ett ramverk för AI-träning på smartphones och grafikprocessorer för konsumenter. Företaget försäkrar att resultaten inte bara minskar hårdvarukraven avsevärt utan också själva utbildningsprocessen.
Höjdpunkter
- Tether lanserar AI-ramverk för smartphones och GPU:er för konsumenter
- BitNet minskar minnesbehovet med upp till 77,8% för träning
- Ramverket möjliggör träning av AI-modeller på enheten och i federerade system
Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.
Nvidia-chip är inte längre det enda alternativet
Ramverket, som är en del av Tethers QVAC-plattform, gör det möjligt att finjustera stora språkmodeller på konsumenthårdvara, inklusive smartphones och grafikprocessorer, vilket utökar stödet bortom de dominerande Nvidia GPU:er som vanligtvis används för AI-träning.
Plattformen stöder plattformsoberoende träning och inferens på olika chip, inklusive AMD, Intel, Apple Silicon och mobila GPU:er från Qualcomm och Apple. Systemet använder Microsofts BitNet-arkitektur och LoRA-tekniker för att minska minnes- och beräkningskraven.
Tack vare 1-bit BitNet-modellarkitekturen kan plattformen minska kraven på videominne med upp till 77,8% jämfört med liknande 16-bit-modeller, vilket gör det möjligt att köra större modeller på enheter med begränsade resurser. Tethers ingenjörer har finjusterat modeller med upp till 1 miljard parametrar på smartphones på mindre än två timmar, medan mindre modeller tar bara några minuter, samtidigt som de stöder modeller med upp till 13 miljarder parametrar på mobila enheter.
Mobila GPU :er kan bearbeta BitNet-modeller flera gånger snabbare än CPU:er. Potentiella användningsområden är utbildning på enheter och federerad inlärning, där modeller uppdateras på distribuerade enheter utan att data skickas till centraliserade servrar, vilket kan minska beroendet av molninfrastruktur.
Ett betydande skifte i AI-industrin
Lanseringen är ett viktigt steg mot att decentralisera AI-branschen, som för närvarande är starkt beroende av molnleverantörer och dyra GPU-kluster. Genom att träna modeller direkt på användarnas enheter öppnas dörren för mer privata och autonoma AI-applikationer, där data behålls på enheten - en viktig fördel med tanke på de växande dataskyddsbestämmelserna.
Dessutom kan ett minskat beroende av Nvidias hårdvara förändra konkurrenssituationen genom att stärka alternativa chiptillverkare och uppmuntra utvecklingen av mer energieffektiva lösningar. Om denna teknik får stor spridning kan den påskynda massanvändningen av AI i konsumentprodukter och skapa nya affärsmodeller centrerade kring edge computing och distribuerade utbildningsnätverk.
Som vi rapporterade, Tether QVAC träffar mobilen med LLAMA 3.2, Paolo Ardoino noterar
Ваша пробная версия Premium закончилась
Senaste NVDA nyheterna
- Forex
- Crypto