Tether запускает платформу ИИ для смартфонов и потребительских графических процессоров
Tether запускает фреймворк для обучения ИИ на смартфонах и потребительских графических процессорах. Компания уверяет, что полученные результаты не только значительно снижают требования к аппаратному обеспечению, но и сам процесс обучения.
Основные моменты
- Tether запускает ИИ-фреймворк для смартфонов и потребительских GPU
- BitNet сокращает потребность в памяти до 77,8% при обучении
- Фреймворк позволяет проводить обучение моделей ИИ на устройстве и в объединенной среде
Эта статья была переведена с оригинала. Читайте оригинальную версию от нашего корреспондента здесь.
Чипы Nvidia больше не панацея
Фреймворк, являющийся частью платформы QVAC компании Tether, позволяет выполнять тонкую настройку больших языковых моделей на потребительском оборудовании, включая смартфоны и графические процессоры, расширяя поддержку за пределы доминирующих графических процессоров Nvidia, обычно используемых для обучения ИИ.
Платформа поддерживает кроссплатформенное обучение и выводы на различных чипах, включая AMD, Intel, Apple Silicon, а также мобильные GPU от Qualcomm и Apple. Система использует архитектуру BitNet от Microsoft и методы LoRA для снижения требований к памяти и вычислениям.
Благодаря 1-битной архитектуре модели BitNet платформа позволяет снизить требования к видеопамяти на 77,8 % по сравнению с аналогичными 16-битными моделями, что дает возможность запускать более крупные модели на устройствах с ограниченными ресурсами. Инженеры Tether отладили модели с количеством параметров до 1 млрд на смартфонах менее чем за два часа, а на более мелкие модели ушло всего несколько минут, при этом на мобильных устройствах поддерживаются модели с количеством параметров до 13 миллиардов.
Мобильные графические процессоры могут обрабатывать модели BitNet в несколько раз быстрее, чем центральные процессоры. Потенциальные варианты использования включают обучение на устройствах и федеративное обучение, когда модели обновляются на распределенных устройствах без отправки данных на централизованные серверы, что потенциально снижает зависимость от облачной инфраструктуры.
Значительный сдвиг в индустрии ИИ
Этот запуск знаменует собой важный шаг на пути к децентрализации индустрии ИИ, которая в настоящее время в значительной степени зависит от облачных провайдеров и дорогостоящих кластеров GPU. Обучение моделей непосредственно на пользовательских устройствах открывает возможности для более частных и автономных приложений ИИ, сохраняя данные на устройстве, что является ключевым преимуществом в условиях растущего регулирования защиты данных.
Кроме того, снижение зависимости от оборудования Nvidia может изменить конкурентную среду, усилив позиции альтернативных производителей чипов и стимулировав разработку более энергоэффективных решений. В случае широкого распространения эта технология может ускорить массовое внедрение ИИ в потребительские товары и создать новые бизнес-модели, основанные на пограничных вычислениях и распределенных обучающих сетях.
Как мы уже сообщали, Tether QVAC выходит на рынок мобильных устройств с LLAMA 3.2, отмечает Паоло Ардойно.
Ваша пробная версия Premium закончилась
Последние новости NVDA
- Forex
- Crypto