Tether запускає платформу ШІ для смартфонів та графічних процесорів споживацького рівня
Tether запускає фреймворк для навчання ШІ на смартфонах і побутових графічних процесорах. У компанії запевняють, що результати не лише суттєво знижують вимоги до апаратного забезпечення, а й сам процес навчання.
Основні моменти
- Tether запускає фреймворк штучного інтелекту для смартфонів і споживчих графічних процесорів
- BitNet зменшує потребу в пам'яті для навчання на 77,8%.
- Фреймворк дає змогу навчати АІ-моделі на пристрої та в об'єднаних мережах
Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.
Чіпи Nvidia більше не єдиний варіант
Фреймворк, що є частиною платформи QVAC від Tether, дозволяє тонко налаштовувати великі мовні моделі на споживчому обладнанні, включаючи смартфони та графічні процесори, розширюючи підтримку за межі домінуючих графічних процесорів Nvidia, які зазвичай використовуються для навчання ШІ.
Платформа підтримує крос-платформне навчання і висновок на різних чіпах, включаючи AMD, Intel, Apple Silicon і мобільні графічні процесори від Qualcomm і Apple. Система використовує архітектуру BitNet від Microsoft і методи LoRA для зменшення вимог до пам'яті та обчислень.
Завдяки 1-бітній архітектурі моделі BitNet, платформа може зменшити вимоги до відеопам'яті на 77,8% порівняно з аналогічними 16-бітними моделями, що дозволяє більшим моделям працювати на пристроях з обмеженими ресурсами. Інженери Tether налаштовують моделі з 1 млрд параметрів на смартфонах менш ніж за дві години, а менші моделі - всього за кілька хвилин, підтримуючи при цьому моделі з 13 млрд параметрів на мобільних пристроях.
Мобільні графічні процесори можуть обробляти моделі BitNet в кілька разів швидше, ніж центральні процесори. Потенційні варіанти використання включають навчання на пристрої та федеративне навчання, коли моделі оновлюються на розподілених пристроях без надсилання даних на централізовані сервери, що потенційно зменшує залежність від хмарної інфраструктури.
Значний зсув в індустрії штучного інтелекту
Запуск знаменує собою важливий крок до децентралізації індустрії ШІ, яка наразі значною мірою залежить від хмарних провайдерів та дорогих кластерів графічних процесорів. Навчання моделей безпосередньо на пристроях користувачів відкриває двері для більш приватних і автономних додатків ШІ, зберігаючи дані на пристрої - ключова перевага в умовах посилення законодавства про захист даних.
Крім того, зменшення залежності від апаратного забезпечення Nvidia може змінити конкурентний ландшафт, зміцнивши позиції альтернативних виробників чіпів і стимулюючи розробку більш енергоефективних рішень. У разі широкого впровадження ця технологія може прискорити масове розгортання ШІ в споживчих продуктах і створити нові бізнес-моделі, засновані на периферійних обчисленнях і розподілених навчальних мережах.
Як ми повідомляли, Tether QVAC виходить на мобільний зв'язок з LLAMA 3.2, зазначає Паоло Ардойно.
Ваша пробна версія Premium закінчилася
- Forex
- Crypto