Tether bringt KI-Framework für Smartphones und Consumer-GPUs auf den Markt
Tether bringt ein Framework für KI-Training auf Smartphones und Consumer-Grafikprozessoren auf den Markt. Das Unternehmen versichert, dass die Ergebnisse nicht nur die Hardwareanforderungen, sondern auch den Trainingsprozess selbst deutlich reduzieren.
Höhepunkte
- Tether bringt AI-Framework für Smartphones und Consumer-GPUs auf den Markt
- BitNet reduziert den Speicherbedarf für das Training um bis zu 77,8%
- Framework ermöglicht Training von KI-Modellen auf dem Gerät und im Verbund
Dieser Artikel wurde aus dem Original übersetzt. Lesen Sie die Originalversion unseres Korrespondenten hier.
Nvidia-Chips sind nicht mehr die einzige Option
Das Framework, das Teil der QVAC-Plattform von Tether ist, ermöglicht die Feinabstimmung großer Sprachmodelle auf Consumer-Hardware, einschließlich Smartphones und Grafikprozessoren, und erweitert damit die Unterstützung über die dominierenden Nvidia-GPUs hinaus, die üblicherweise für das KI-Training verwendet werden.
Die Plattform unterstützt plattformübergreifendes Training und Inferenz auf verschiedenen Chips, darunter AMD, Intel, Apple Silicon und mobile GPUs von Qualcomm und Apple. Das System nutzt die BitNet-Architektur von Microsoft und LoRA-Techniken, um die Speicher- und Rechenanforderungen zu reduzieren.
Dank der 1-Bit-BitNet-Modellarchitektur kann die Plattform die Anforderungen an den Videospeicher im Vergleich zu ähnlichen 16-Bit-Modellen um bis zu 77,8 % reduzieren, wodurch größere Modelle auf Geräten mit eingeschränkten Ressourcen ausgeführt werden können. Die Tether-Ingenieure haben Modelle mit bis zu 1 Milliarde Parametern auf Smartphones in weniger als zwei Stunden feinabgestimmt, wobei kleinere Modelle nur ein paar Minuten benötigen und Modelle mit bis zu 13 Milliarden Parametern auf mobilen Geräten unterstützt werden.
Mobile GPUs können BitNet-Modelle um ein Vielfaches schneller verarbeiten als CPUs. Zu den potenziellen Anwendungsfällen gehören das Training auf dem Gerät und föderiertes Lernen, bei dem Modelle auf verteilten Geräten aktualisiert werden, ohne dass Daten an zentrale Server gesendet werden müssen, was die Abhängigkeit von der Cloud-Infrastruktur verringern könnte.
Ein bedeutender Wandel in der KI-Branche
Die Markteinführung ist ein wichtiger Schritt in Richtung Dezentralisierung der KI-Branche, die derzeit stark auf Cloud-Anbieter und teure GPU-Cluster angewiesen ist. Das Trainieren von Modellen direkt auf den Geräten der Nutzer öffnet die Tür zu privateren und autonomeren KI-Anwendungen, wobei die Daten auf dem Gerät verbleiben - ein entscheidender Vorteil in Zeiten wachsender Datenschutzbestimmungen.
Darüber hinaus könnte die Verringerung der Abhängigkeit von Nvidia-Hardware die Wettbewerbslandschaft umgestalten, indem alternative Chiphersteller gestärkt und die Entwicklung energieeffizienterer Lösungen gefördert werden. Wenn sich diese Technologie durchsetzt, könnte sie den massenhaften Einsatz von KI in Verbraucherprodukten beschleunigen und neue Geschäftsmodelle schaffen, die sich auf Edge Computing und verteilte Trainingsnetzwerke konzentrieren.
Wie wir berichtet haben, kommt Tether QVAC mit LLAMA 3.2 auf den Mobilfunkmarkt, bemerkt Paolo Ardoino
Ваша пробная версия Premium закончилась
- Forex
- Crypto