Tether lanceert AI-framework voor smartphones en GPU's voor consumenten

Tether lanceert AI-framework voor smartphones en GPU's voor consumenten
Het nieuwe raamwerk van Tether bevordert gedecentraliseerde en private AI

Tether lanceert een framework voor AI-training op smartphones en grafische processors voor consumenten. Het bedrijf verzekert dat de resultaten niet alleen de hardwarevereisten aanzienlijk verlagen, maar ook het trainingsproces zelf.

Hoogtepunten

  • Tether lanceert AI-raamwerk voor smartphones en GPU's voor consumenten
  • BitNet vermindert geheugenbehoeften tot 77,8% voor training
  • Framework maakt on-device en federatieve AI-model training mogelijk

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

Nvidia-chips zijn niet meer de enige optie

Het framework, dat deel uitmaakt van Tether's QVAC-platform, maakt het mogelijk om grote taalmodellen te fine-tunen op consumentenhardware, waaronder smartphones en grafische processors, waarmee de ondersteuning wordt uitgebreid tot buiten de dominante Nvidia GPU's die doorgaans worden gebruikt voor AI-training.

Het platform ondersteunt cross-platform training en inferentie op verschillende chips, waaronder AMD, Intel, Apple Silicon en mobiele GPU's van Qualcomm en Apple. Het systeem maakt gebruik van Microsofts BitNet-architectuur en LoRA-technieken om de geheugen- en rekenvereisten te verlagen.

Dankzij de 1-bit BitNet-modelarchitectuur kan het platform het benodigde videogeheugen tot 77,8% verminderen in vergelijking met vergelijkbare 16-bit modellen, waardoor grotere modellen kunnen draaien op apparaten met beperkte bronnen. De technici van Tether hebben modellen met tot 1 miljard parameters op smartphones in minder dan twee uur afgesteld, waarbij kleinere modellen slechts enkele minuten in beslag namen, terwijl modellen tot 13 miljard parameters op mobiele apparaten worden ondersteund.

Mobiele GPU's kunnen BitNet-modellen vele malen sneller verwerken dan CPU's. Potentiële toepassingen zijn onder andere on-device training en federated learning, waarbij modellen worden bijgewerkt op gedistribueerde apparaten zonder gegevens naar gecentraliseerde servers te sturen, waardoor de afhankelijkheid van cloudinfrastructuur mogelijk afneemt.

Een belangrijke verschuiving in de AI-industrie

De lancering markeert een belangrijke stap in de richting van decentralisatie van de AI-industrie, die momenteel sterk afhankelijk is van cloudproviders en dure GPU-clusters. Het trainen van modellen direct op apparaten van gebruikers opent de deur naar meer private en autonome AI-toepassingen, waarbij gegevens op het apparaat blijven - een belangrijk voordeel in het licht van de toenemende regelgeving op het gebied van gegevensbescherming.

Daarnaast kan het verminderen van de afhankelijkheid van Nvidia-hardware het concurrentielandschap veranderen, waardoor alternatieve chipmakers sterker worden en de ontwikkeling van energiezuinigere oplossingen wordt aangemoedigd. Als deze technologie op grote schaal wordt toegepast, kan het de massale toepassing van AI in consumentenproducten versnellen en nieuwe bedrijfsmodellen creëren rond edge computing en gedistribueerde trainingsnetwerken.

Zoals we al meldden, Tether QVAC wordt mobiel met LLAMA 3.2, merkt Paolo Ardoino op

Ваша пробная версия Premium закончилась

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.