Tether는 스마트폰과 소비자 그래픽 프로세서에서 AI 트레이닝을 위한 프레임워크를 출시합니다. 이 회사는 그 결과 하드웨어 요구 사항뿐만 아니라 교육 프로세스 자체도 크게 줄일 수 있다고 확신합니다.
하이라이트
- 테더, 스마트폰과 소비자용 GPU를 위한 AI 프레임워크 출시
- 비트넷, 트레이닝에 필요한 메모리를 최대 77.8%까지 줄여줍니다.
- 프레임워크를 통해 온디바이스 및 연합 AI 모델 훈련 지원
이 기사는 원문을 번역한 것입니다. 당사 특파원이 작성한 원문은 여기에서 확인하실 수 있습니다.
더 이상 엔비디아 칩만이 유일한 옵션이 아닙니다.
테더의 QVAC 플랫폼의 일부인 이 프레임워크는 스마트폰과 그래픽 프로세서를 포함한 소비자 하드웨어에서 대규모 언어 모델을 미세 조정할 수 있어 일반적으로 AI 훈련에 주로 사용되는 엔비디아 GPU를 넘어 지원을 확장합니다.
이 플랫폼은 AMD, 인텔, 애플 실리콘, 퀄컴과 애플의 모바일 GPU를 포함한 다양한 칩에서 크로스 플랫폼 학습 및 추론을 지원합니다. 이 시스템은 Microsoft의 BitNet 아키텍처와 LoRA 기술을 사용하여 메모리 및 계산 요구 사항을 줄입니다.
1비트 비트넷 모델 아키텍처 덕분에 이 플랫폼은 유사한 16비트 모델에 비해 비디오 메모리 요구 사항을 최대 77.8%까지 줄일 수 있어 리소스가 제한된 디바이스에서도 더 큰 모델을 실행할 수 있습니다. Tether의 엔지니어들은 스마트폰에서 최대 10억 개의 파라미터를 가진 모델을 2시간 이내에, 더 작은 모델은 단 몇 분 만에 미세 조정했으며, 모바일 디바이스에서는 최대 130억 개의 파라미터를 지원하는 모델을 지원합니다.
모바일 GPU는 CPU보다 몇 배 더 빠르게 비트넷 모델을 처리할 수 있습니다. 잠재적인 사용 사례로는 중앙 서버로 데이터를 전송하지 않고 분산된 기기에서 모델을 업데이트하여 클라우드 인프라에 대한 의존도를 줄일 수 있는 온디바이스 트레이닝과 연합 학습이 있습니다.
AI 산업의 중요한 변화
이번 출시는 현재 클라우드 제공업체와 고가의 GPU 클러스터에 크게 의존하고 있는 AI 산업을 탈중앙화하기 위한 중요한 발걸음을 내디딘 것입니다. 사용자 디바이스에서 직접 모델을 훈련하면 데이터 보호 규제가 강화되는 가운데 데이터를 온디바이스로 유지하면서 보다 프라이빗하고 자율적인 AI 애플리케이션의 문을 열 수 있습니다.
또한, 엔비디아 하드웨어에 대한 의존도를 줄이면 경쟁 구도가 재편되어 대체 칩 제조업체의 입지가 강화되고 에너지 효율이 더 높은 솔루션 개발이 촉진될 수 있습니다. 이 기술이 널리 채택되면 소비자 제품에서 대규모 AI 배포를 가속화하고 엣지 컴퓨팅과 분산형 트레이닝 네트워크를 중심으로 한 새로운 비즈니스 모델을 창출할 수 있습니다.
보도한 바와 같이, Tether QVAC가 LLAMA 3.2를 통해 모바일에 출시되었다고 Paolo Ardoino는 말합니다.
프리미엄 서비스에 가입하기
-
가나
-
그리스
-
나미비아
-
나이지리아
-
남아프리카 공화국
-
네덜란드
-
네팔
-
노르웨이
-
뉴질랜드
-
대만, 중화민국
-
대한민국
-
덴마크
-
도미니카 공화국
-
독일
-
라오스
-
라트비아
-
레바논
-
레소토
-
루마니아
-
룩셈부르크
-
르완다
-
리비아
-
리투아니아
-
마다가스카르
-
말레이시아
-
멕시코
-
모로코
-
모리셔스
-
모잠비크
-
몬테네그로
-
몰도바
-
몰타
-
몽골
-
미국
-
미얀마
-
바레인
-
바하마
-
방글라데시
-
베네수엘라
-
베트남
-
벨기에
-
벨라루스
-
보츠와나
-
볼리비아
-
북마케도니아
-
불가리아
-
브라질
-
브루나이 다루살람
-
사우디아라비아
-
세르비아
-
소말리아
-
스리랑카
-
스웨덴
-
스위스
-
스페인
-
슬로바키아
-
슬로베니아
-
시리아
-
싱가포르
-
아랍에미리트
-
아르메니아
-
아르헨티나
-
아이티
-
아일랜드
-
아제르바이잔
-
아프가니스탄
-
알바니아
-
알제리
-
앙골라
-
에스와티니
-
에스토니아
-
에콰도르
-
에티오피아
-
엘살바도르
-
영국
-
예멘
-
오만
-
오스트리아
-
요르단
-
우간다
-
우루과이
-
우즈베키스탄
-
우크라이나
-
이라크
-
이란, 이슬람 공화국
-
이스라엘
-
이집트
-
이탈리아
-
인도
-
인도네시아
-
일본
-
자메이카
-
잠비아
-
재결합(국가 이름)
-
조지아
-
중국
-
짐바브웨
-
체코
-
칠레
-
카메룬
-
카자흐스탄
-
카타르
-
캄보디아
-
캐나다
-
케냐
-
코스타리카
-
코트디부아르
-
콜롬비아
-
콩고
-
콩고 민주공화국
-
쿠바
-
쿠웨이트
-
크로아티아
-
키르기스스탄
-
키프로스(국가 이름)
-
타지키스탄
-
탄자니아
-
태국
-
터키
-
튀니지
-
트리니다드 토바고
-
파나마
-
파라과이
-
파키스탄
-
파푸아뉴기니
-
팔레스타인
-
페루
-
포르투갈
-
폴란드
-
푸에르토리코
-
프랑스
-
핀란드
-
필리핀
-
헝가리
-
호주
-
홍콩
- Forex
- Crypto
