深度神经网络模型通常存在大量冗余的权重参数,当计算深度网络模型时需要占用大量的计算资源和存储空间,导致其难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝算法——GDP算法(Gradient-based Deep network Pruning)。GDP算法核心思想是以梯度作为评判权值重要性的依据。然后通过自适应的方法找出阈值进行权值参数的筛选,目的是剔除那些小于阈值的梯度所对应的权值。最后,重新训练剪枝后的深度网络模型恢复精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高0.13个百分点,计算量下降1.1个百分点,具有更优越的深度网络压缩与加速性能。

;

深度神经网络模型通常存在大量冗余的权重参数,当计算深度网络模型时需要占用大量的计算资源和存储空间,导致其难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝算法——GDP算法(Gradient-based Deep network Pruning)。GDP算法核心思想是以梯度作为评判权值重要性的依据。然后通过自适应的方法找出阈值进行权值参数的筛选,目的是剔除那些小于阈值的梯度所对应的权值。最后,重新训练剪枝后的深度网络模型恢复精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高0.13个百分点,计算量下降1.1个百分点,具有更优越的深度网络压缩与加速性能。