新方法将DL网络的培训时间减少了69%

时间:2020-04-14 15:12:56来源:
导读 小编发现不少朋友对于 新方法将DL网络的培训时间减少了69% 这方面的信息都比较感兴趣,小编就针对 新方法将DL网络的培训时间减少了69%

小编发现不少朋友对于 新方法将DL网络的培训时间减少了69% 这方面的信息都比较感兴趣,小编就针对 新方法将DL网络的培训时间减少了69% 整理了一些相关方面的信息 在这里分享给大家。

北卡罗莱纳州立大学的研究人员开发了一种模型,可将深度学习网络的培训时间减少多达69%。

由北卡罗来纳州立大学计算机科学教授沉锡鹏领导的团队旨在加快AI培训过程,促进线下深度学习解决方案的开发。

传统上,训练深度学习网络涉及的是计算机将数据样本分解为连续数据点的块-将数字图像划分为相邻像素的块,然后通过一系列计算过滤器运行这些数据-Shen等人的方法类似数据指向一起,从而使该技术可以同时对多个数据块同时运行过滤器。

考虑到数据集可以包含数百万个数据样本,并且训练网络涉及数百次运行相同的数据集,研究人员的方法可以节省大量计算能力。

“在开发新的AI工具时面临的最大挑战之一是训练深度学习网络识别和响应与其应用相关的数据模式所需的时间和计算能力,” Shen在一份新闻稿中说。“我们提出了一种加快该过程的方法,我们称之为自适应深度重用。”

该团队通过首先使用较低阈值确定样本之间的相似性来查看大量数据,然后减少这些数量并使用更严格的相似性阈值来训练网络,从而完善了模型。Shen和同事还为网络设计了一种自适应算法,该算法在训练过程中会自动执行更改。

研究人员使用三种流行的深度学习网络和数据集测试了自适应深度重用技术:使用Cifar10的CifarNet,使用ImageNet的AlexNet和使用ImageNet的VGG-19。他们的方法将AlexNet的培训时间减少了69%,将VGG-19的培训时间减少了68%,将CifarNet的培训时间减少了63%,所有这些都没有牺牲准确性。

“这表明该技术极大地减少了培训时间,”北卡罗来纳州立大学的博士候选人,该项目的研究人员慧冠在新闻稿中说。“这还表明,网络越大,由于AlexNet和VGG-19都比CifarNet大得多,因此自适应深度重用可以减少训练时间。”

Shen,Guan和同事将在4月8日在中国澳门举行的电气与电子工程师协会数据工程国际会议上介绍他们的发现。

标签:DL网络
最新文章