Tether lanseeraa tekoälykehyksen älypuhelimille ja kuluttajille suunnatuille GPU:ille
Tether lanseeraa kehyksen tekoälyn harjoittelua varten älypuhelimissa ja kuluttajien grafiikkasuorittimissa. Yhtiö vakuuttaa, että tulokset vähentävät merkittävästi paitsi laitteistovaatimuksia myös itse koulutusprosessia.
Kohokohdat
- Tether lanseeraa tekoälykehyksen älypuhelimille ja kuluttajille tarkoitetuille näytönohjaimille.
- BitNet vähentää muistin tarvetta jopa 77,8 % koulutuksessa
- Kehys mahdollistaa laitteessa tapahtuvan ja yhdistetyn tekoälymallien harjoittelun.
Tämä artikkeli on käännetty alkuperäisestä tekstistä. Lue kirjeenvaihtajamme alkuperäinen versio täältä.
Nvidian piirit eivät ole enää ainoa vaihtoehto
Tetherin QVAC-alustaan kuuluva kehys mahdollistaa suurten kielimallien hienosäätämisen kuluttajalaitteistoissa, kuten älypuhelimissa ja grafiikkasuorittimissa, laajentaen tukea tekoälyn koulutukseen tyypillisesti käytettävien hallitsevien Nvidian näytönohjainten ulkopuolelle.
Alusta tukee alustarajat ylittävää harjoittelua ja päättelyä erilaisilla siruilla, mukaan lukien AMD:n, Intelin, Applen piipiirillä sekä Qualcommin ja Applen mobiilinäytönohjaimilla. Järjestelmä käyttää Microsoftin BitNet-arkkitehtuuria ja LoRA-tekniikoita muisti- ja laskentavaatimusten vähentämiseksi.
1-bittisen BitNet-malliarkkitehtuurin ansiosta alusta voi vähentää videomuistivaatimuksia jopa 77,8 prosenttia vastaaviin 16-bittisiin malleihin verrattuna, mikä mahdollistaa suurempien mallien suorittamisen resurssirajoitteisissa laitteissa. Tetherin insinöörit ovat hienosäätäneet jopa 1 miljardin parametrin malleja älypuhelimissa alle kahdessa tunnissa ja pienempiä malleja vain muutamassa minuutissa, ja ne tukevat jopa 13 miljardin parametrin malleja mobiililaitteissa.
Mobiilien grafiikkasuorittimet voivat käsitellä BitNet-malleja useita kertoja nopeammin kuin suorittimet. Mahdollisia käyttötapauksia ovat muun muassa laitteessa tapahtuva koulutus ja yhdistetty oppiminen, jossa mallit päivittyvät hajautetuissa laitteissa lähettämättä tietoja keskitetyille palvelimille, mikä voi vähentää riippuvuutta pilvi-infrastruktuurista.
Merkittävä muutos tekoälyteollisuudessa
Lanseeraus on merkittävä askel kohti tekoälyteollisuuden hajauttamista, joka tällä hetkellä nojaa vahvasti pilvipalveluntarjoajiin ja kalliisiin GPU-klustereihin. Mallien kouluttaminen suoraan käyttäjän laitteissa avaa oven yksityisemmille ja itsenäisemmille tekoälysovelluksille, jolloin tiedot pysyvät laitteessa - tärkeä etu kasvavien tietosuojasäännösten keskellä.
Lisäksi riippuvuuden vähentäminen Nvidian laitteistosta voi muuttaa kilpailumaisemaa, vahvistaa vaihtoehtoisia siruvalmistajia ja kannustaa energiatehokkaampien ratkaisujen kehittämiseen. Jos tämä teknologia otetaan laajalti käyttöön, se voi nopeuttaa tekoälyn massakäyttöä kuluttajatuotteissa ja luoda uusia liiketoimintamalleja, jotka keskittyvät reunalaskentaan ja hajautettuihin koulutusverkkoihin.
Kuten raportoimme, Tether QVAC osuu matkapuhelimiin LLAMA 3.2:n kanssa, Paolo Ardoino huomauttaa
Ваша пробная versio Premium закончилась
Viimeisimmät NVDA uutiset
- Forex
- Crypto