中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于信息度量的模型压缩及实现

文献类型:学位论文

作者邵林松
答辩日期2022-05
文献子类硕士
授予单位中国科学院大学
授予地点中国科学院光电技术研究所
关键词模型压缩 过滤器剪枝 部署 目标检测 Tx2
学位名称工程硕士
英文摘要

目前,深度卷积神经网络已成为人工智能应用领域的主流算法,但其计算量 巨大,边缘设备的处理能力难以满足算法实时性要求,不利于算法的实际工程应用。常通过提高算法效率来解决手机、机器人等边缘设备难以部署的问题,而模型压缩作为提高算法效率的手段之一,能有效地减少模型冗余,使其 与完整模型相比具有相当甚至更好的性能,从而使压缩后的模型可以轻松地在资源有限的设备上运行。因此,模型压缩已成为当今热门课题之一。
剪枝是目前实际应用最多的模型压缩方法之一,其优势如下:1)剪枝模型是结构化的,也称为结构化剪枝,可很好地被常规硬件和现成的基本线性代数子程序库(BLAS)支持。2)在线推理阶段,大大减少了存储量和计算 量。3)可与其他压缩方法相结合,例如网络量化、低秩分解和权重剪枝,可实现更深入的压缩和更快的推理速度。虽然许多剪枝工作取得了一定效果,但在剪枝算法中仍然存在两个基本问题:(1)剪枝后的网络结构与每层剪 枝率有关,不同层存在不同的剪枝率,对最终网络模型性能的影响显著,如何确定每层的剪枝率目前还没有确定性的算法。(2)过滤器重要性度量决定了预训练模型中过滤器的保留和继承,不同过滤器的权重初始化剪枝后的网 络呈现出不同的性能效果,目前对如何确定过滤器重要性还没有深入研究。
针对如上问题,本文重点研究了用于图像分类的过滤器剪枝并将其应用于实际目标检测任务,主要研究工作分为以下三个部分:
 1、提出了一种基于特征图信息度量的剪枝方法,以及在此基础上衍生的并行剪枝方法。基于特征图信息度量的剪枝方法是通过探索特征图中的信息来反映出相应过滤器的重要性。在特征信息越丰富,特征图所对应的过滤器越重 要的前提下,利用特征图的信息熵来度量其特征信息,熵越小说明特征图包含的信息越丰富,以此评估当前对应过滤器的重要性。并且利用正则化来实现跨层比较,使得网络能够进行一次性剪枝。并行剪枝算法是一种结合了多种 剪枝方法优点形成的剪枝算法,使网络在参数量和计算量方面优于单一剪枝方法。实验结果显示:运用基于特征图信息度量的剪枝方法,在 ImageNet 上,ResNet50 减少 55.3%的参数和 55%的FLOPs,精度仅损失 4.13%。在 CIFAR10 上,DenseNet40 剪掉 64.2% 的参数和 61.8%的 FLOPs,精度仅损失 0.22%,而并行剪枝方法使 DenseNet40 的 参数和 FLOPs 分别剪掉 65.1%和 65.5%,精度损失仅 0.51%。
2、提出了一种基于过滤器相似性的剪枝方法。将过滤器作为研究对象,以相似性作为评估依据来反映过滤器之间是否能相互替代。相似性越高,表示过滤器就能由其他过滤器替代的可能性越高,并将其视为冗余过滤器进行裁剪 。该剪枝方法主要步骤为:首先,使用常见的剪枝重要性评估方法 L1 范数选出目标过滤器。然后,利用欧式距离来度量过滤器之间的相似性关系。与目标过滤器相似性越高的过滤器,认为能够被目标过滤器替代,从而将其剪掉。在 CIFAR10 数据集上,该算法使得 ResNet56 的参数量和计算量为 0.53M 和 79.34M,精度仅下降 1.28%。并将其成功应用于人脸检测识别任务,证明该算法具有一定的有效性。
3、开展了剪枝算法实时部署技术研究,将三种剪枝方法分别应用于单阶段 YOLO 系列目标检测网络和双阶段 Faster  R-CNN 目标检测网络等实际任务中。其中在 VOC 数据集上,并行剪枝方法剪枝率为 70%时,剪枝后的 YOLOv3 网络仅比原始网络的精度下降 0.067,检测速度达到 25FPS,比剪枝前提高了 14FPS。对于 YOLOv4 和 Faster R-CNN 网络,也能在精度损失不大的情况下完成网络加速推理。针对自建无人机数据集,采用 YOLOv3 网络实现目标实时检测,并部署在 TX2 硬件平台上,结合 TensorRT 工具,速度达到 24FPS。实验结果证实了本文提出的剪枝方法能够成功应用在实际嵌入式平台上具有一定的有效性和实用 性。  

语种中文
源URL[http://ir.ioe.ac.cn/handle/181551/10327]  
专题光电技术研究所_光电技术研究所博硕士论文
推荐引用方式
GB/T 7714
邵林松. 基于信息度量的模型压缩及实现[D]. 中国科学院光电技术研究所. 中国科学院大学. 2022.

入库方式: OAI收割

来源:光电技术研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。