Tether 推出了在智能手机和消费级图形处理器上进行人工智能训练的框架。该公司保证,其结果不仅大大降低了硬件要求,还降低了训练过程本身。
亮点
- Tether 为智能手机和消费级 GPU 推出人工智能框架
- BitNet 可将训练所需的内存最多减少 77.8%
- 该框架可在设备上进行联合人工智能模型训练
本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.
英伟达芯片不再是唯一选择
该框架是Tether公司QVAC平台的一部分,允许在智能手机和图形处理器等消费类硬件上对大型语言模型进行微调,将支持范围扩大到通常用于人工智能训练的主流Nvidia GPU之外。
该平台支持在各种芯片上进行跨平台训练和推理,包括 AMD、英特尔、苹果 Silicon 以及高通和苹果的移动 GPU。该系统使用微软的 BitNet 架构和 LoRA 技术来降低内存和计算要求。
由于采用了 1 位 BitNet 模型架构,与类似的 16 位模型相比,该平台可减少高达 77.8% 的视频内存需求,从而使更大的模型能够在资源有限的设备上运行。Tether的工程师在智能手机上对多达10亿个参数的模型进行微调的时间不到两小时,较小的模型只需几分钟,同时支持移动设备上多达130亿个参数的模型。
移动 GPU 处理 BitNet 模型的速度是 CPU 的数倍。潜在的用例包括设备上训练和联合学习,即在分布式设备上更新模型,而无需将数据发送到集中式服务器,从而减少对云基础设施的依赖。
人工智能行业的重大转变
人工智能行业目前严重依赖云提供商和昂贵的 GPU 集群,此次发布标志着人工智能行业向去中心化 迈出了重要一步。直接在用户设备上训练模型为更多私人和自主的人工智能应用打开了大门,在数据保护法规日益严格的情况下,将数据保留在设备上是一项关键优势。
此外,减少对 Nvidia 硬件的依赖可以重塑竞争格局,加强替代芯片制造商的实力,鼓励开发更节能的解决方案。如果得到广泛采用,这项技术可能会加速人工智能在消费产品中的大规模部署,并创造以边缘计算和分布式训练网络为中心的新商业模式。
正如我们在《Tether QVAC通过 LLAMA 3.2进入移动领域》一文中所报道的,保罗-阿尔多诺(Paolo Ardoino)指出
Ваша пробная версия Premium закончилась
- Forex
- Crypto