泰达公司于QVAC Fabric中发布了跨平台BitNet LoRA微调框架。该框架旨在优化微软BitNet单比特大语言模型的训练与推理过程,其设计使得即使在笔记本电脑、消费级GPU及智能手机等设备上,也能完成十亿参数级模型的训练与微调任务。
技术突破与性能表现
此次解决方案首次实现了BitNet模型在移动GPU上的微调功能,包括Adreno、Mali及苹果Bionic等平台。测试结果显示,1.25亿参数模型可在约10分钟内完成微调,10亿参数模型的微调时间约为1小时。即使在智能手机环境下,该框架也可支持最高130亿参数模型的扩展运行。
跨硬件兼容性与效率提升
该框架兼容英特尔、AMD及苹果芯片等多种异构硬件,成为首个在非英伟达设备上实现单比特大语言模型LoRA微调的技术方案。在移动GPU上,BitNet模型的推理速度较CPU提升2至11倍,内存使用量相比传统16位模型最高降低约77.8%。
行业影响与未来展望
泰达指出,这项技术有望降低对高端计算资源与云基础设施的依赖,推动人工智能训练向分布式与本地化方向发展,为联邦学习等新型应用场景奠定技术基础。

资金费率
资金费率热力图
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
账号安全
资讯收藏
自选币种