卷积神经网络高效计算关键技术研究
文献类型:学位论文
作者 | 郭鹏![]() |
答辩日期 | 2019-06 |
文献子类 | 博士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院自动化研究所 |
导师 | 王东琳 |
关键词 | 深度神经网络 卷积神经网络 二值网络 低比特量化 神经网络加速器 |
学位专业 | 计算机应用技术 |
英文摘要 | 卷积神经网络在计算机视觉、自然语言处理和语音处理等多个领域取得了巨大的成功,引领了新一轮的人工智能热潮,并成为人工智能领域应用中不可或缺的处理模块。另一方面,在带来强大算法性能的同时,卷积神经网络对计算平台的计算能力也提出了更高的需求。而移动式/嵌入式设备的计算能力受到电池、成本等的严格约束,使得卷积神经网络在此类平台上的部署面临了更大的挑战。因此,研究如何高效的进行卷积神经网络的计算,对于卷积神经网络的发展与应用,具有重大的学术意义和实用价值。
本文针对卷积神经网络高效计算的问题,从基于VLIW数字信号处理器的卷积神经网络高效计算、二值神经网络加速器设计和动态精度的权值低比特网络加速器设计三个方面开展了深入研究,具体研究内容及贡献归纳如下:
1.基于VLIW数字信号处理器的高效计算研究。首先,详细分析了卷积神经网络的计算量和存储量,结合roofline模型讨论了卷积层和全连接层的计算特性,针对不同数据复用类型提出了三种串行调度方式。然后开展了基于VLIW数字信号处理器的卷积神经网络计算研究,结合上述三种串行调度方式,讨论了并行模式下如何最大化数据复用。最后,提出了一种核展开的卷积并行方式来灵活支持不同大小卷积核的运算。实验表明,利用此方案搭建的实时人脸检测系统,相比于CPU/GPU取得了显著能效提升。
2.二值神经网络加速器研究。通过将权值和激活值都量化为+1和-1,二值神经网络不仅可以大幅度减少参数规模,还能将复杂的定点乘法运算转换为简单的同或运算,从而带来性能和能效的提升。但传统二值神经网络中还有许多非二值部分,导致无法充分利用二值化的优势,影响系统整体性能。针对这一问题,本文首先通过二值化展开、奇偶填充等方法将网络的主要操作全部二值化。 在此基础上,创新性地提出了一个全二值神经网络加速器,该加速器采用了一种专门针对二值卷积设计的交织-计算单元,不仅可以支持不同尺寸卷积的高并行度计算,而且通过运算分解,还可用于全连接层的计算。实验表明,相比于参考设计,取得了3.1倍的性能提升,5.4倍的资源效率提升和4.9倍的能效提升。
3.动态精度的权值低比特网络加速器研究。相比于二值神经网络,权值低比特网络仅对权值数据进行低比特量化,可以在大规模数据集上取得更好的准确率;同时通过对动态精度的支持,可以更好的实现性能与准确率的平衡。在对几类典型权值低比特网络计算操作分析的基础上,提出一种更贴近实际计算需求的比特级计算操作,并结合比特串机制设计了一个可以支持多种精度的基本计算结构。在此基础上,提出了一个动态精度的权值低比特网络加速器,并结合低比特网络计算特性进行了一系列硬件优化。实验结果表明,相比于传统动态精度网络加速器,本设计可以更广泛地支持多种权值低比特网络。 |
语种 | 中文 |
页码 | 128 |
源URL | [http://ir.ia.ac.cn/handle/173211/23875] ![]() |
专题 | 自动化研究所_国家专用集成电路设计工程技术研究中心 |
推荐引用方式 GB/T 7714 | 郭鹏. 卷积神经网络高效计算关键技术研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2019. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。