Tether lance un cadre d'IA pour les smartphones et les GPU grand public
Tether lance un cadre pour l'apprentissage de l'IA sur les smartphones et les processeurs graphiques grand public. L'entreprise assure que les résultats obtenus permettent non seulement de réduire considérablement les besoins en matériel, mais aussi le processus de formation lui-même.
Points forts
- Tether lance un cadre d'IA pour les smartphones et les GPU grand public
- BitNet réduit les besoins en mémoire jusqu'à 77,8 % pour l'entraînement
- Le framework permet l'entraînement de modèles d'IA sur l'appareil et fédérés
Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.
Les puces Nvidia ne sont plus la seule option possible
Le cadre, qui fait partie de la plateforme QVAC de Tether, permet d'affiner les grands modèles de langage sur le matériel grand public, y compris les smartphones et les processeurs graphiques, en élargissant le support au-delà des GPU Nvidia dominants généralement utilisés pour l'entraînement à l'IA.
La plateforme prend en charge la formation et l'inférence multiplateforme sur diverses puces, notamment AMD, Intel, Apple Silicon et les GPU mobiles de Qualcomm et d'Apple. Le système utilise l'architecture BitNet de Microsoft et les techniques LoRA pour réduire les exigences en matière de mémoire et de calcul.
Grâce à l'architecture du modèle BitNet à 1 bit, la plateforme peut réduire les besoins en mémoire vidéo jusqu'à 77,8 % par rapport à des modèles similaires à 16 bits, ce qui permet d'exécuter des modèles plus importants sur des appareils aux ressources limitées. Les ingénieurs de Tether ont mis au point des modèles comportant jusqu'à 1 milliard de paramètres sur des smartphones en moins de deux heures, les modèles plus petits ne prenant que quelques minutes, tout en prenant en charge des modèles comportant jusqu'à 13 milliards de paramètres sur des appareils mobiles.
Les GPU mobiles peuvent traiter les modèles BitNet plusieurs fois plus rapidement que les CPU. Les cas d'utilisation potentiels comprennent la formation sur l'appareil et l'apprentissage fédéré, où les modèles sont mis à jour sur des appareils distribués sans envoyer de données à des serveurs centralisés, ce qui réduit potentiellement la dépendance à l'égard de l'infrastructure en nuage.
Un changement important dans l'industrie de l'IA
Ce lancement marque une étape importante vers la décentralisation de l'industrie de l'IA, qui dépend actuellement fortement des fournisseurs de cloud et des clusters de GPU coûteux. L'entraînement des modèles directement sur les appareils des utilisateurs ouvre la voie à des applications d'IA plus privées et autonomes, en conservant les données sur l'appareil - un avantage clé dans le contexte des réglementations croissantes en matière de protection des données.
En outre, la réduction de la dépendance au matériel Nvidia pourrait remodeler le paysage concurrentiel, en renforçant les fabricants de puces alternatifs et en encourageant le développement de solutions plus économes en énergie. Si elle est largement adoptée, cette technologie pourrait accélérer le déploiement de masse de l'IA dans les produits de consommation et créer de nouveaux modèles commerciaux centrés sur l'informatique périphérique et les réseaux d'entraînement distribués.
Comme nous l'avons rapporté, Tether QVAC frappe le mobile avec LLAMA 3.2, Paolo Ardoino note
Ваша пробная версия Premium закончилась
- Forex
- Crypto