Tether lancia un framework di IA per smartphone e GPU di consumo

Tether lancia un framework di IA per smartphone e GPU di consumo
Il nuovo framework di Tether promuove l'AI decentralizzata e privata

Tether lancia un framework per l'addestramento dell'intelligenza artificiale su smartphone e processori grafici consumer. L'azienda assicura che i risultati non solo riducono significativamente i requisiti hardware, ma anche il processo di formazione stesso.

In evidenza

  • Tether lancia il framework AI per smartphone e GPU consumer
  • BitNet riduce il fabbisogno di memoria fino al 77,8% per l'addestramento
  • Il framework consente l'addestramento di modelli di IA sul dispositivo e federati

Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.

I chip Nvidia non sono più l'unica opzione

Il framework, che fa parte della piattaforma QVAC di Tether, consente la messa a punto di modelli linguistici di grandi dimensioni su hardware di consumo, compresi smartphone e processori grafici, ampliando il supporto al di là delle GPU Nvidia, tipicamente utilizzate per l'addestramento dell'IA.

La piattaforma supporta l'addestramento e l'inferenza multipiattaforma su vari chip, tra cui AMD, Intel, Apple Silicon e GPU mobili di Qualcomm e Apple. Il sistema utilizza l'architettura BitNet di Microsoft e le tecniche LoRA per ridurre i requisiti di memoria e di calcolo.

Grazie all'architettura dei modelli BitNet a 1 bit, la piattaforma può ridurre i requisiti di memoria video fino al 77,8% rispetto a modelli simili a 16 bit, consentendo l'esecuzione di modelli più grandi su dispositivi con risorse limitate. Gli ingegneri di Tether hanno messo a punto modelli fino a 1 miliardo di parametri su smartphone in meno di due ore, con modelli più piccoli che richiedono solo pochi minuti, mentre supportano modelli fino a 13 miliardi di parametri su dispositivi mobili.

Le GPU mobili sono in grado di elaborare i modelli BitNet a una velocità molte volte superiore a quella delle CPU. I potenziali casi d'uso includono l'addestramento sul dispositivo e l'apprendimento federato, in cui i modelli si aggiornano su dispositivi distribuiti senza inviare i dati a server centralizzati, riducendo potenzialmente la dipendenza dall'infrastruttura cloud.

Un cambiamento significativo nel settore dell'IA

Il lancio segna un passo importante verso la decentralizzazione del settore dell'IA, che attualmente si affida in larga misura ai fornitori di cloud e ai costosi cluster di GPU. L'addestramento dei modelli direttamente sui dispositivi degli utenti apre le porte ad applicazioni di IA più private e autonome, mantenendo i dati sul dispositivo, un vantaggio fondamentale nel contesto delle crescenti normative sulla protezione dei dati.

Inoltre, la riduzione della dipendenza dall'hardware Nvidia potrebbe ridisegnare il panorama competitivo, rafforzando i produttori di chip alternativi e incoraggiando lo sviluppo di soluzioni più efficienti dal punto di vista energetico. Se adottata su larga scala, questa tecnologia potrebbe accelerare la diffusione di massa dell'intelligenza artificiale nei prodotti di consumo e creare nuovi modelli di business incentrati sull'edge computing e sulle reti di formazione distribuite.

Come abbiamo riportato, Tether QVAC arriva sul mobile con LLAMA 3.2, osserva Paolo Ardoino

Ваша пробная версия Premium закончилась

Questo materiale può contenere opinioni di terze parti, nessuno dei dati e delle informazioni su questa pagina web costituisce consulenza sugli investimenti secondo il nostro Disclaimer. Sebbene aderiamo a una rigorosa Integrità Editoriale, questo post può contenere riferimenti a prodotti dei nostri partner.