基于目标识别深度网络的模型压缩算法研究
文献类型:学位论文
作者 | 张江永 |
答辩日期 | 2021-05-21 |
文献子类 | 硕士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院光电技术研究所 |
关键词 | 敏感度 集成 空间相似度 层剪枝 部署 |
学位名称 | 工学硕士 |
英文摘要 | 深层卷积神经网络(CNN)依赖的计算和存储资源严重制约了其在有限资源的嵌入式平台上的部署,为提高算法的运行效率,剪枝作为模型压缩应用最为广泛的方法之一,通过剪除网络中冗余的卷积核以减少网络的宽度或深度,减少了网络的参数量和计算量,加速网络前向推理。论文就目标识别深度网络的模型压缩算法展开研究,从网络宽度和网络深度两个不同层面出发,解决了剪枝过程中单一参数度量标准的片面性问题和卷积层相似度的度量问题,获得了更快且精度更高的轻量化模型。 针对单一参数度量标准的片面性问题,论文提出了基于敏感度的集成剪枝算法并对算法进行实际应用。不同的网络与数据集对各种剪枝算法的响应存在差异,本文讨论了3种参数度量标准的有效性,将据其得到的3组卷积核重要性排名按位置相加作为得分,将卷积层同等比例缩减后的精度损失作为该层敏感度,先根据敏感度计算每一层的应剪除卷积核数目,再根据得分剪除每层不重要的卷积核。本文基于YOLOv3 以及YOLOv3-tiny网络进行剪枝实验,数据集分别为VOC 数据集的20个目标类与人这单一类别,剪枝后的轻量化网络结构更规整并且精度更高。YOLOv3 参数压缩80.4%,推理时间为原始的58%,YOLOv3-tiny参数压缩92.5%,NVIDIA Jetson TX2 平台上推理时间为原始的28%。本文还对算法进行实际应用,在简单目标类别、6类无人机类别、两类无人机类别数据集上分别做检测网络剪枝实验,轻量化模型的检测能力在速度提升的情况下没有明显损失,在实验室设计的TX2开发板上两类无人机的轻量化模型检测速度由1秒20帧提升至1秒36帧。 卷积核剪枝虽然能够得到更窄的网络结构,加速推理速度,但是如果网络层数较深,卷积层间的数据I/O依然会耗费大量的时间,本文希望通过卷积层剪枝解决这一问题。针对相邻卷积层的相似度难以度量这一问题,论文提出基于特征图空间相似度的层剪枝方法。由于特征图间的差异很大程度上取决于空间边缘特征差异,本文通过计算相邻层特征图集合间的边缘特征的最小差值,差值越小说明相邻层间相似度越高,特征提取能力越相似,在层剪枝时可以只保留两者间的一个。由于YOLO系列的两层残差结构不适用层剪枝,本文层剪枝的研究对象是EfficientNet-lite做backbone的YOLO-Fastest-xl网络,文中针对残差块中不同的卷积层设计了相应的剪层方式并进行实验,根据实验结果分析了分组卷积对推理速度的影响,比较了不同剪枝方式的优劣,得到的轻量化模型剪除了19个卷积层,参数压缩34.6%,推理时间是原始的80%。相比较网络宽度比YOLO-Fastest-xl更窄的YOLO-Fastest网络,层剪枝得到的模型推理时间是后者的82.4%,且精度高0.013,验证了算法的有效性。 本文主要解决了卷积核剪枝时单一参数度量标准的片面性问题,以及卷积层剪枝时层间相似度的度量问题,在两个不同粒度上对模型压缩,加速前向推理,对深度学习模型落地部署具有积极意义。 |
语种 | 中文 |
源URL | [http://ir.ioe.ac.cn/handle/181551/10174] ![]() |
专题 | 光电技术研究所_光电技术研究所博硕士论文 |
推荐引用方式 GB/T 7714 | 张江永. 基于目标识别深度网络的模型压缩算法研究[D]. 中国科学院光电技术研究所. 中国科学院大学. 2021. |
入库方式: OAI收割
来源:光电技术研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。