Tether lanza un marco de IA para teléfonos inteligentes y GPU de consumo

Tether lanza un marco de IA para teléfonos inteligentes y GPU de consumo
El nuevo marco de Tether promueve la IA descentralizada y privada

Tether lanza un marco para el entrenamiento de IA en smartphones y procesadores gráficos de consumo. La empresa asegura que los resultados no sólo reducen significativamente los requisitos de hardware, sino también el propio proceso de entrenamiento.

Destacados

  • Tether lanza un marco de IA para smartphones y GPU de consumo
  • BitNet reduce hasta un 77,8% las necesidades de memoria para el entrenamiento
  • El marco permite el entrenamiento de modelos de IA federados y en el dispositivo

Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.

Los chips Nvidia ya no son la única opción

El marco, que forma parte de la plataforma QVAC de Tether, permite afinar grandes modelos lingüísticos en hardware de consumo, incluidos smartphones y procesadores gráficos, ampliando el soporte más allá de las GPU Nvidia dominantes que suelen utilizarse para el entrenamiento de IA.

La plataforma admite el entrenamiento y la inferencia multiplataforma en varios chips, como AMD, Intel, Apple Silicon y GPU móviles de Qualcomm y Apple. El sistema utiliza la arquitectura BitNet de Microsoft y técnicas LoRA para reducir los requisitos computacionales y de memoria.

Gracias a la arquitectura de modelos BitNet de 1 bit, la plataforma puede reducir los requisitos de memoria de vídeo hasta un 77,8% en comparación con modelos similares de 16 bits, lo que permite ejecutar modelos más grandes en dispositivos con recursos limitados. Los ingenieros de Tether han puesto a punto modelos con hasta 1.000 millones de parámetros en teléfonos inteligentes en menos de dos horas, mientras que los modelos más pequeños tardan sólo unos minutos, y admiten modelos de hasta 13.000 millones de parámetros en dispositivos móviles.

Las GPU móviles pueden procesar modelos BitNet varias veces más rápido que las CPU. Entre los posibles casos de uso se incluyen el entrenamiento en el dispositivo y el aprendizaje federado, en el que los modelos se actualizan a través de dispositivos distribuidos sin enviar datos a servidores centralizados, lo que reduce potencialmente la dependencia de la infraestructura en la nube.

Un cambio significativo en la industria de la IA

El lanzamiento marca un paso importante hacia la descentralización de la industria de la IA, que actualmente depende en gran medida de proveedores en la nube y costosos clusters de GPU. Entrenar los modelos directamente en los dispositivos de los usuarios abre la puerta a aplicaciones de IA más privadas y autónomas, manteniendo los datos en el dispositivo, una ventaja clave en medio de las crecientes normativas de protección de datos.

Además, la reducción de la dependencia del hardware de Nvidia podría remodelar el panorama competitivo, fortaleciendo a los fabricantes de chips alternativos y fomentando el desarrollo de soluciones más eficientes desde el punto de vista energético. Si se adopta de forma generalizada, esta tecnología podría acelerar el despliegue masivo de la IA en productos de consumo y crear nuevos modelos de negocio centrados en la computación de borde y las redes de entrenamiento distribuidas.

Como ya informamos, Tether QVAC llega a los móviles con LLAMA 3.2, Paolo Ardoino señala lo siguiente

Ваша пробная версия Premium закончилась

Este material puede contener opiniones de terceros, ninguno de los datos e información en esta página web constituye asesoramiento de inversión según nuestro Aviso Legal. Aunque nos adherimos a una estricta Integridad Editorial, esta publicación puede contener referencias a productos de nuestros socios.