A Tether lança estrutura de IA para smartphones e GPUs de consumo

A Tether lança estrutura de IA para smartphones e GPUs de consumo
A nova estrutura do Tether promove IA descentralizada e privada

A Tether lança uma estrutura para treinamento de IA em smartphones e processadores gráficos de consumo. A empresa garante que os resultados não apenas reduzem significativamente os requisitos de hardware, mas também o próprio processo de treinamento.

Destaques

  • Tether lança estrutura de IA para smartphones e GPUs de consumo
  • O BitNet reduz a necessidade de memória em até 77,8% para treinamento
  • A estrutura permite o treinamento de modelos de IA no dispositivo e federados

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

Os chips da Nvidia não são mais a única opção

A estrutura, parte da plataforma QVAC da Tether, permite o ajuste fino de grandes modelos de linguagem no hardware do consumidor, incluindo smartphones e processadores gráficos, expandindo o suporte para além das GPUs Nvidia dominantes normalmente usadas para treinamento de IA.

A plataforma suporta treinamento e inferência entre plataformas em vários chips, incluindo AMD, Intel, Apple Silicon e GPUs móveis da Qualcomm e da Apple. O sistema usa a arquitetura BitNet da Microsoft e técnicas de LoRA para reduzir os requisitos de memória e computação.

Graças à arquitetura de modelo BitNet de 1 bit, a plataforma pode reduzir os requisitos de memória de vídeo em até 77,8% em comparação com modelos similares de 16 bits, permitindo que modelos maiores sejam executados em dispositivos com recursos limitados. Os engenheiros da Tether fizeram o ajuste fino de modelos com até 1 bilhão de parâmetros em smartphones em menos de duas horas, com modelos menores levando apenas alguns minutos, além de suportar modelos de até 13 bilhões de parâmetros em dispositivos móveis.

As GPUs móveis podem processar modelos BitNet várias vezes mais rápido do que as CPUs. Os casos de uso em potencial incluem treinamento no dispositivo e aprendizado federado, em que os modelos são atualizados em dispositivos distribuídos sem enviar dados para servidores centralizados, reduzindo potencialmente a dependência da infraestrutura de nuvem.

Uma mudança significativa no setor de IA

O lançamento marca um passo importante em direção à descentralização do setor de IA, que atualmente depende muito de provedores de nuvem e clusters de GPU caros. Os modelos de treinamento diretamente nos dispositivos dos usuários abrem as portas para aplicativos de IA mais privados e autônomos, mantendo os dados no dispositivo - uma vantagem importante em meio às crescentes regulamentações de proteção de dados.

Além disso, a redução da dependência do hardware da Nvidia poderia remodelar o cenário competitivo, fortalecendo fabricantes de chips alternativos e incentivando o desenvolvimento de soluções mais eficientes em termos de energia. Se for amplamente adotada, essa tecnologia poderá acelerar a implantação em massa de IA em produtos de consumo e criar novos modelos de negócios centrados em computação de ponta e redes de treinamento distribuídas.

Conforme relatamos, o Tether QVAC chega aos dispositivos móveis com o LLAMA 3.2, observa Paolo Ardoino

Ваша пробная версия Premium закончилась

Este material pode conter opiniões de terceiros, nenhum dos dados e informações nesta página constitui aconselhamento de investimento de acordo com o nosso Aviso Legal. Embora sigamos rigorosos Padrões Editoriais, este post pode conter referências a produtos de nossos parceiros.