Tether wprowadza platformę AI dla smartfonów i konsumenckich procesorów graficznych
Tether uruchamia framework do szkolenia AI na smartfonach i konsumenckich procesorach graficznych. Firma zapewnia, że wyniki nie tylko znacznie zmniejszają wymagania sprzętowe, ale także sam proces szkolenia.
Najważniejsze
- Tether uruchamia platformę AI dla smartfonów i konsumenckich układów GPU
- BitNet zmniejsza zapotrzebowanie na pamięć nawet o 77,8% w przypadku szkoleń
- Framework umożliwia szkolenie modeli AI na urządzeniu i w federacji
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
Układy Nvidii nie są już jedyną opcją
Framework, będący częścią platformy QVAC firmy Tether, umożliwia dostrajanie dużych modeli językowych na sprzęcie konsumenckim, w tym smartfonach i procesorach graficznych, rozszerzając wsparcie poza dominujące procesory graficzne Nvidia, zwykle używane do szkolenia sztucznej inteligencji.
Platforma obsługuje wieloplatformowe szkolenie i wnioskowanie na różnych układach, w tym AMD, Intel, Apple Silicon i mobilnych procesorach graficznych Qualcomm i Apple. System wykorzystuje architekturę BitNet firmy Microsoft i techniki LoRA w celu zmniejszenia wymagań dotyczących pamięci i obliczeń.
Dzięki 1-bitowej architekturze modelu BitNet, platforma może zmniejszyć wymagania dotyczące pamięci wideo nawet o 77,8% w porównaniu do podobnych modeli 16-bitowych, umożliwiając uruchamianie większych modeli na urządzeniach o ograniczonych zasobach. Inżynierowie Tether dostroili modele o rozdzielczości do 1 miliarda parametrów na smartfonach w czasie poniżej dwóch godzin, przy czym mniejsze modele zajęły zaledwie kilka minut, obsługując jednocześnie modele o rozdzielczości do 13 miliardów parametrów na urządzeniach mobilnych.
Mobilne układy GPU mogą przetwarzać modele BitNet kilka razy szybciej niż procesory CPU. Potencjalne przypadki użycia obejmują szkolenie na urządzeniu i uczenie federacyjne, w którym modele są aktualizowane na rozproszonych urządzeniach bez wysyłania danych do scentralizowanych serwerów, potencjalnie zmniejszając zależność od infrastruktury chmury.
Znacząca zmiana w branży sztucznej inteligencji
Premiera stanowi ważny krok w kierunku decentralizacji branży sztucznej inteligencji, która obecnie w dużym stopniu opiera się na dostawcach usług w chmurze i drogich klastrach GPU. Trenowanie modeli bezpośrednio na urządzeniach użytkowników otwiera drzwi do bardziej prywatnych i autonomicznych aplikacji AI, utrzymując dane na urządzeniu - kluczowa zaleta w obliczu rosnących przepisów dotyczących ochrony danych.
Ponadto, zmniejszenie zależności od sprzętu Nvidia może zmienić krajobraz konkurencji, wzmacniając alternatywnych producentów chipów i zachęcając do opracowywania bardziej energooszczędnych rozwiązań. Jeśli technologia ta zostanie powszechnie przyjęta, może przyspieszyć masowe wdrażanie sztucznej inteligencji w produktach konsumenckich i stworzyć nowe modele biznesowe skoncentrowane na przetwarzaniu brzegowym i rozproszonych sieciach szkoleniowych.
Jak informowaliśmy, Tether QVAC trafia na urządzenia mobilne z LLAMA 3.2, zauważa Paolo Ardoino
Ваша пробная версия Premium закончилась