Tether meluncurkan kerangka kerja AI untuk smartphone dan GPU konsumen

Tether meluncurkan kerangka kerja AI untuk smartphone dan GPU konsumen
Kerangka kerja baru Tether mempromosikan AI yang terdesentralisasi dan privat

Tether meluncurkan kerangka kerja untuk pelatihan AI pada smartphone dan prosesor grafis konsumen. Perusahaan ini menjamin bahwa hasilnya tidak hanya secara signifikan mengurangi kebutuhan perangkat keras tetapi juga proses pelatihan itu sendiri.

Sorotan

  • Tether meluncurkan kerangka kerja AI untuk smartphone dan GPU konsumen
  • BitNet mengurangi kebutuhan memori hingga 77,8% untuk pelatihan
  • Kerangka kerja memungkinkan pelatihan model AI pada perangkat dan federasi

Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.

Chip Nvidia bukan satu-satunya pilihan lagi

Kerangka kerja ini, bagian dari platform QVAC Tether, memungkinkan penyempurnaan model bahasa besar pada perangkat keras konsumen, termasuk smartphone dan prosesor grafis, memperluas dukungan di luar GPU Nvidia yang dominan yang biasanya digunakan untuk pelatihan AI.

Platform ini mendukung pelatihan lintas platform dan inferensi pada berbagai chip, termasuk AMD, Intel, Apple Silicon, dan GPU mobile dari Qualcomm dan Apple. Sistem ini menggunakan arsitektur BitNet Microsoft dan teknik LoRA untuk mengurangi kebutuhan memori dan komputasi.

Berkat arsitektur model BitNet 1-bit, platform ini dapat mengurangi kebutuhan memori video hingga 77,8% dibandingkan dengan model 16-bit yang serupa, sehingga memungkinkan model yang lebih besar untuk berjalan pada perangkat yang memiliki sumber daya terbatas. Para insinyur Tether telah menyempurnakan model hingga 1 miliar parameter pada smartphone dalam waktu kurang dari dua jam, dengan model yang lebih kecil hanya membutuhkan waktu beberapa menit, sementara mendukung model hingga 13 miliar parameter pada perangkat seluler.

GPU seluler dapat memproses model BitNet beberapa kali lebih cepat daripada CPU. Kasus penggunaan potensial termasuk pelatihan di perangkat dan pembelajaran terpadu, di mana model diperbarui di seluruh perangkat yang didistribusikan tanpa mengirim data ke server terpusat, sehingga berpotensi mengurangi ketergantungan pada infrastruktur cloud.

Pergeseran signifikan dalam industri AI

Peluncuran ini menandai langkah penting menuju desentralisasi industri AI, yang saat ini sangat bergantung pada penyedia layanan cloud dan cluster GPU yang mahal. Model pelatihan langsung pada perangkat pengguna membuka pintu untuk aplikasi AI yang lebih privat dan otonom, menjaga data tetap berada di dalam perangkat-keuntungan utama di tengah peraturan perlindungan data yang terus berkembang.

Selain itu, mengurangi ketergantungan pada perangkat keras Nvidia dapat membentuk kembali lanskap persaingan, memperkuat pembuat chip alternatif dan mendorong pengembangan solusi yang lebih hemat energi. Jika diadopsi secara luas, teknologi ini dapat mempercepat penggunaan AI secara massal pada produk konsumen dan menciptakan model bisnis baru yang berpusat pada edge computing dan jaringan pelatihan terdistribusi.

Seperti yang kami laporkan, Tether QVAC masuk ke perangkat seluler dengan LLAMA 3.2, kata Paolo Ardoino

Harga Premium untuk perangkat seluler

Materi ini mungkin mengandung opini pihak ketiga, tidak ada data dan informasi di halaman web ini yang merupakan nasihat investasi menurut Disclaimer kami. Meskipun kami mematuhi Integritas Editorial yang ketat, postingan ini mungkin mengandung referensi ke produk dari mitra kami.