研究人员公布了一种剪枝算法 使人工智能应用程序运行得更快

随着越来越多的人工智能应用程序转向智能手机，深度学习模型越来越小，可以让应用程序运行得更快，节省电池电量.. 现在，麻省理工学院的研究人员有了一种新的更好的方法来压缩模型。

它是如此简单，以至于他们在上个月的一条推特上公布了它：训练模型，修剪它最薄弱的连接，以其快速、早期的训练速度重新训练模型，并重复，直到模型像你想要的那么小。

“就这样，”亚历克斯·伦达博士说。 麻省理工D.学生。 “人们修剪模特的标准方法是非常复杂的。”

伦达在本月远程召开国际学习代表大会时讨论了这项技术。 伦达是这项工作的合著者，乔纳森·弗兰克尔是一位博士研究员。 麻省理工学院电气工程和计算机科学系(EECS)的D.名学生，以及电气工程和计算机科学助理教授迈克尔·卡宾-计算机科学和人工科学实验室的所有成员。

寻找更好的压缩技术是从弗兰克尔和卡宾去年在ICLR获奖彩票假说论文中产生的。 他们表明，如果在训练早期发现正确的子网络，深度神经网络只能以十分之一的连接来完成。 他们的发现是在计算能力和能量训练更大的深度学习模型的需求呈指数增长的同时出现的，这一趋势一直持续到今天。 这种增长的代价包括地球变暖的碳排放增加和创新的潜在下降，因为与大型科技公司无关的研究人员争夺稀缺的计算资源。 日常用户也受到影响。 大型人工智能模型消耗了手机带宽和电池功率。

彩票假说引发了一系列主要是理论上的后续论文。 但在一位同事的建议下，Frankle决定看看它对剪枝可能有什么教训，其中一种搜索算法对搜索树中评估的节点数进行修剪。 该领域已经存在了几十年，但在神经网络在图像网络竞争中成功地对图像进行分类后，又出现了复苏。 随着模型越来越大，研究人员增加了人工神经元层以提高性能，其他人提出了降低它们的技术。

宋寒，现在是麻省理工学院的助理教授，是一位先驱。 在一系列有影响力的论文的基础上，韩提出了一种修剪算法，他称之为AMC，或AutoML用于模型压缩，这仍然是行业标准。 在Han的技术下，冗余神经元和连接被自动移除，并对模型进行重新训练以恢复其初始精度..

为了回应韩的工作，弗兰克尔最近在一篇未发表的论文中建议，可以通过将较小的、修剪过的模型重新缠绕到其初始参数或权重，并以更快的初始速度对较小的模型进行再训练来进一步改进结果。

在目前的ICLR研究中，研究人员意识到，该模型可以简单地恢复到其早期训练率，而不需要摆弄任何参数。 在任何修剪方案中，模型得到的越小，它就越不准确。 但是，当研究人员将这种新方法与韩的AMC或Frankle的重量提取方法进行比较时，无论模型收缩多少，它的性能都会更好。

目前还不清楚为什么修剪技术的效果和它一样。 研究人员说，他们将把这个问题留给其他人回答。 对于那些希望尝试它的人来说，该算法与其他剪枝方法一样容易实现，而不需要耗时的调优，研究人员说。

弗兰克尔说：“这是“书”中的剪枝算法。” “很清楚，很普通，而且很简单。”

韩，就他而言，现在已经部分地将重点从压缩AI模型转移到引导AI，从一开始就设计小型、高效的模型。 他的最新方法，“一劳永逸”，也在ICLR首次亮相。 在新的学习率方法中，他说：“我很高兴看到新的修剪和再训练技术的发展，让更多的人获得高性能的人工智能应用。”