香港浸会大学(HKBU)的研究人员与来自腾讯机器学习的团队合作,创造了一种新技术,可在保持准确性的同时以前所未有的速度训练人工智能(AI)机器。
在实验期间,研究小组分别在短短4分钟和6.6分钟内训练了两个流行的深度神经网络,分别称为AlexNet和ResNet-50。以前,最快的培训时间是AlexNet 11分钟,ResNet-50 15分钟。
AlexNet和ResNet-50是基于ImageNet建立的深度神经网络,ImageNet是用于视觉识别的大规模数据集。经过训练后,系统便能够识别并标记给定照片中的物体。结果比以前的记录快得多,并且胜过所有其他现有系统。
机器学习是一组数学方法,可使计算机从数据中学习,而无需人工进行编程。然后,可以将所得的算法应用于AI中使用的各种数据和视觉识别任务。
浸大的团队由朱小文教授和博士组成。来自计算机科学系的学生Shi Shaohuai。储教授说:“我们提出了一种新的优化训练方法,可以在不损失准确性的情况下显着提高最佳输出。在AI训练中,研究人员力求更快地训练其网络,但这会导致准确性下降。结果,训练在保持精度和精度的同时,高速进行机器学习的模型是科学家们的重要目标。”
朱教授说,训练AI 机器所需的时间受计算时间和通信时间的影响。研究团队在这两个方面均取得了突破,创造了这一破纪录的成就。
这包括采用一种称为FP16的更简单的计算方法来替代更传统的FP32,从而使计算速度更快而又不损失准确性。由于通信时间受数据块大小的影响,因此该团队提出了一种名为“张量融合”的通信技术,该技术将较小的数据片段合并为较大的数据片段,优化了传输模式,从而提高了AI训练期间的通信效率。
这项新技术可以用于大规模图像分类,还可以应用于其他AI应用程序,包括机器翻译;自然语言处理(NLP),以增强人类语言与计算机之间的交互;医学影像分析;和在线多人战斗游戏。
-
神经网络
+关注
关注
42文章
4765浏览量
100611 -
人工智能
+关注
关注
1791文章
46967浏览量
237825 -
机器学习
+关注
关注
66文章
8387浏览量
132480
发布评论请先 登录
相关推荐
评论