Tether uvádí na trh rámec pro umělou inteligenci určený pro smartphony a spotřebitelské grafické procesory

Tether uvádí na trh rámec pro umělou inteligenci určený pro smartphony a spotřebitelské grafické procesory
Nový rámec společnosti Tether podporuje decentralizovanou a soukromou umělou inteligenci

Společnost Tether uvádí na trh rámec pro trénink umělé inteligence na chytrých telefonech a spotřebitelských grafických procesorech. Společnost ujišťuje, že výsledky výrazně snižují nejen hardwarové nároky, ale i samotný proces trénování.

Hlavní body

  • Společnost Tether uvádí na trh framework pro umělou inteligenci pro chytré telefony a spotřebitelské grafické procesory
  • BitNet snižuje potřebu paměti až o 77,8 % při trénování
  • Framework umožňuje trénování modelů AI přímo v zařízení a ve sdružených zařízeních

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Čipy Nvidia už nejsou jedinou možností

Framework, který je součástí platformy QVAC společnosti Tether, umožňuje jemné ladění velkých jazykových modelů na spotřebitelském hardwaru, včetně chytrých telefonů a grafických procesorů, čímž se rozšiřuje podpora mimo dominantní grafické procesory Nvidia, které se obvykle používají pro trénování AI.

Platforma podporuje multiplatformní trénování a odvozování na různých čipech, včetně AMD, Intel, Apple Silicon a mobilních GPU od Qualcommu a Applu. Systém využívá architekturu BitNet společnosti Microsoft a techniky LoRA ke snížení paměťových a výpočetních nároků.

Díky 1bitové architektuře modelu BitNet dokáže platforma snížit nároky na videopaměť až o 77,8 % ve srovnání s podobnými 16bitovými modely, což umožňuje provozovat větší modely na zařízeních s omezenými zdroji. Inženýři společnosti Tether vyladili modely s až 1 miliardou parametrů na chytrých telefonech za méně než dvě hodiny, přičemž menší modely zaberou jen několik minut, a zároveň podporují modely s až 13 miliardami parametrů na mobilních zařízeních.

Mobilní grafické procesory dokáží zpracovávat modely sítě BitNet několikanásobně rychleji než procesory CPU. Potenciální případy použití zahrnují školení přímo v zařízení a federativní učení, kdy se modely aktualizují v distribuovaných zařízeních bez odesílání dat na centralizované servery, což potenciálně snižuje závislost na cloudové infrastruktuře.

Významný posun v odvětví umělé inteligence

Uvedení na trh představuje důležitý krok k decentralizaci odvětví umělé inteligence, které se v současnosti do značné míry spoléhá na poskytovatele cloudových služeb a drahé klastry GPU. Trénování modelů přímo v uživatelských zařízeních otevírá dveře soukromějším a autonomnějším aplikacím AI, přičemž data zůstávají v zařízení - což je klíčová výhoda v době rostoucích předpisů na ochranu dat.

Snížení závislosti na hardwaru Nvidia by navíc mohlo změnit konkurenční prostředí, posílit alternativní výrobce čipů a podpořit vývoj energeticky úspornějších řešení. Pokud se tato technologie rozšíří, může urychlit masové nasazení AI ve spotřebitelských produktech a vytvořit nové obchodní modely zaměřené na edge computing a distribuované tréninkové sítě.

Jak jsme již informovali, Tether QVAC zasahuje do mobilních zařízení s verzí LLAMA 3.2, Paolo Ardoino poznamenává.

Ваша пробная версия Premium закончилась

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.