多目标检测小模型计算研究
文献类型:学位论文
作者 | 张鹏![]() |
答辩日期 | 2021-05-25 |
文献子类 | 硕士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院自动化研究所 |
导师 | 尹志刚 |
关键词 | 轻量化模型 量化 分块卷积 深度优先调度 FPGA |
学位名称 | 工程硕士学位 |
学位专业 | 计算机技术 |
英文摘要 | 近年来,卷积神经网络(Convolutional Neural Networks, CNN)在各类图像任务中得了巨大进步,但模型庞大的参数量和计算量限制了其在资源有限的边缘设备上的部署,虽然MobileNet和ShuffleNet等通过对模型结构进行优化来减少参数量和计算量,模型剪枝和知识蒸馏等方法也在为获取轻量化模型做出努力,但通过这些方法获得的模型仍然存在卷积时内存占用过大而无法部署的问题。 本文以在FPGA上部署船只检测模型为目标,针对卷积模型在边缘设备上部署的问题,设计了一套系统性的解决方案,首先提出一种分块卷积的计算方法来减少卷积内存占用,然后在部署前对模型参数进行低bit量化提高推理效率,在部署时采用基于分块卷积的深度优先调度方法来代替传统的逐层卷积方法,以避免因存储卷积中间结果而造成的内存占用问题,这一方案大大提高了模型在边缘设备上部署的能力,主要工作包括: 1. 提出一种分块卷积方法,通过将特征图进行基于边缘补零的分块,在卷积时逐块调用特征进行卷积来减少内存占用,该方法可使得VGG16和MobileNetv1 的第一层卷积运算对内存的需求分别减少64倍和16倍,极大地降低了模型在前向推理时的内存需求,并且提出针对分块卷积的模型优化方法,使得分块卷积模型相比普通卷积模型的性能损失小于0.1%。 2. 提出一种基于比特移位的参数定点化方法,该方法同时对分块卷积模型的卷积核和偏置项进行量化来实现前向推理过程中的全定点计算,通过将量化尺度参数转为2的指数次方以实现比特移位量化,提高了模型的前向推理效率,使用该方法将船只检测模型的卷积核量化到7bit时模型仅有约3%的精度损失。 3. 提出一种深度优先的卷积调度方法,在分块卷积模型中使用深度优先的调度代替传统逐层卷积方法,使模型在推理时可以忽略因保存卷积中间结果而带来的内存占用,进一步提高了卷积模型在边缘设备上部署的能力。使用该方法在VU440实验平台上部署输入图像大小为1024*1024*1的量化模型时帧率高达13FPS,达到了在某些关键领域对高清图像进行10FPS以上检测的需求。 |
语种 | 中文 |
页码 | 60 |
源URL | [http://ir.ia.ac.cn/handle/173211/45035] ![]() |
专题 | 国家专用集成电路设计工程技术研究中心_前瞻芯片研制与测试团队 |
推荐引用方式 GB/T 7714 | 张鹏. 多目标检测小模型计算研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2021. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。