Η Tether λανσάρει πλαίσιο τεχνητής νοημοσύνης για smartphone και GPU καταναλωτών
Η Tether εγκαινιάζει ένα πλαίσιο για την εκπαίδευση της τεχνητής νοημοσύνης σε smartphones και καταναλωτικούς επεξεργαστές γραφικών. Η εταιρεία διαβεβαιώνει ότι τα αποτελέσματα όχι μόνο μειώνουν σημαντικά τις απαιτήσεις σε υλικό αλλά και την ίδια τη διαδικασία εκπαίδευσης.
Κορυφαία σημεία
- Η Tether εγκαινιάζει πλαίσιο AI για smartphones και GPUs για καταναλωτές
- Το BitNet μειώνει τις ανάγκες σε μνήμη έως και 77,8% για εκπαίδευση
- Το πλαίσιο επιτρέπει την εκπαίδευση μοντέλων AI εντός συσκευής και σε ομοσπονδία
Αυτό το άρθρο μεταφράστηκε από το πρωτότυπο. Διαβάστε την αρχική έκδοση από τον ανταποκριτή μας εδώ.
Τα τσιπ της Nvidia δεν είναι πλέον η μόνη επιλογή
Το πλαίσιο, μέρος της πλατφόρμας QVAC της Tether, επιτρέπει τη λεπτομερή ρύθμιση μεγάλων γλωσσικών μοντέλων σε καταναλωτικό υλικό, συμπεριλαμβανομένων των smartphones και των επεξεργαστών γραφικών, επεκτείνοντας την υποστήριξη πέρα από τις κυρίαρχες GPU της Nvidia που χρησιμοποιούνται συνήθως για την εκπαίδευση AI.
Η πλατφόρμα υποστηρίζει την εκπαίδευση και την εξαγωγή συμπερασμάτων σε διάφορες πλατφόρμες σε διάφορα τσιπ, συμπεριλαμβανομένων των AMD, Intel, Apple Silicon και κινητών GPU από την Qualcomm και την Apple. Το σύστημα χρησιμοποιεί την αρχιτεκτονική BitNet της Microsoft και τις τεχνικές LoRA για τη μείωση των απαιτήσεων μνήμης και υπολογισμών.
Χάρη στην αρχιτεκτονική μοντέλων BitNet 1 bit, η πλατφόρμα μπορεί να μειώσει τις απαιτήσεις μνήμης βίντεο έως και 77,8% σε σύγκριση με παρόμοια μοντέλα 16 bit, επιτρέποντας την εκτέλεση μεγαλύτερων μοντέλων σε συσκευές με περιορισμένους πόρους. Οι μηχανικοί της Tether έχουν τελειοποιήσει μοντέλα με έως και 1 δισεκατομμύριο παραμέτρους σε smartphones σε λιγότερο από δύο ώρες, ενώ τα μικρότερα μοντέλα χρειάζονται μόλις λίγα λεπτά, ενώ υποστηρίζουν μοντέλα με έως και 13 δισεκατομμύρια παραμέτρους σε κινητές συσκευές.
Οι κινητές GPU μπορούν να επεξεργαστούν τα μοντέλα BitNet αρκετές φορές ταχύτερα από τις CPU. Οι πιθανές περιπτώσεις χρήσης περιλαμβάνουν την εκπαίδευση σε συσκευές και την ομοσπονδιακή μάθηση, όπου τα μοντέλα ενημερώνονται σε κατανεμημένες συσκευές χωρίς να στέλνουν δεδομένα σε κεντρικούς διακομιστές, μειώνοντας ενδεχομένως την εξάρτηση από υποδομές cloud.
Μια σημαντική αλλαγή στη βιομηχανία ΤΝ
Το λανσάρισμα σηματοδοτεί ένα σημαντικό βήμα προς την αποκέντρωση της βιομηχανίας AI, η οποία επί του παρόντος βασίζεται σε μεγάλο βαθμό σε παρόχους cloud και ακριβές συστάδες GPU. Η εκπαίδευση μοντέλων απευθείας στις συσκευές των χρηστών ανοίγει την πόρτα σε πιο ιδιωτικές και αυτόνομες εφαρμογές AI, διατηρώντας τα δεδομένα στη συσκευή - ένα βασικό πλεονέκτημα εν μέσω αυξανόμενων κανονισμών προστασίας δεδομένων.
Επιπλέον, η μείωση της εξάρτησης από το υλικό της Nvidia θα μπορούσε να αναδιαμορφώσει το ανταγωνιστικό τοπίο, ενισχύοντας τους εναλλακτικούς κατασκευαστές τσιπ και ενθαρρύνοντας την ανάπτυξη πιο ενεργειακά αποδοτικών λύσεων. Εάν υιοθετηθεί ευρέως, η τεχνολογία αυτή μπορεί να επιταχύνει τη μαζική ανάπτυξη της ΤΝ σε καταναλωτικά προϊόντα και να δημιουργήσει νέα επιχειρηματικά μοντέλα με επίκεντρο τον υπολογισμό των άκρων και τα κατανεμημένα δίκτυα εκπαίδευσης.
Όπως αναφέραμε, το Tether QVAC χτυπάει τα κινητά με το LLAMA 3.2, σημειώνει ο Paolo Ardoino
Ваша пробная версия Premium закончилась
Τελευταίες NVDA Ειδήσεις
- Forex
- Crypto