基于张量虚拟机的深度神经网络模型加速方法
文献类型：期刊论文
| 作者 | 申云飞2; 申飞1; 李芳1 ; 张俊1
|
| 刊名 | 计算机应用
 |
| 出版日期 | 2023 |
| 卷号 | 43 |
| 关键词 | Tensor Virtual Machine (TVM) Deep Neural Network (DNN) Field-Programmable Gate Array (FPGA) edge device model deployment model acceleration 张量虚拟机 深度神经网络 现场可编程门阵列 边缘设备 模型部署 模型加速 |
| ISSN号 | 1001-9081 |
| 英文摘要 | 随着人工智能(AI)技术的蓬勃发展,深度神经网络(DNN)模型被大规模应用到各类移动端与边缘端。然而,边缘端算力低、内存容量小,且实现模型加速需要深入掌握边缘端硬件知识,这增加了模型的部署难度,也限制了模型的推广应用。因此,基于张量虚拟机(TVM)提出一种DNN加速与部署方法,从而实现卷积神经网络(CNN)模型在现场可编程门阵列(FPGA)上的加速,并在分心驾驶分类应用场景下验证了所提方法的可行性。通过计算图优化方法减小了模型的访存和计算开销,通过模型量化方法减小了模型尺寸,通过计算图打包方法将卷积计算卸载到FPGA上执行以提高模型推理速度。与微处理器(MPU)相比,所提方法可使ResNet50和ResNet18在MPU+FPGA上的推理时间分别减少88.63%和77.53%;而在AUC(American University in Cairo)数据集上,相较于MPU,两个模型在MPU+FPGA上的top1推理精度仅下降了0.26和0.16个百分点。可见,所提方法可以降低不同模型在FPGA上的部署难度。 |
| 语种 | 中文 |
| 源URL | [http://ir.hfcas.ac.cn:8080/handle/334002/134746]  |
| 专题 | 中国科学院合肥物质科学研究院 |
| 作者单位 | 1.中国科学院合肥物质科学研究院 2.安徽大学 |
| 推荐引用方式 GB/T 7714 | 申云飞,申飞,李芳,等. 基于张量虚拟机的深度神经网络模型加速方法[J]. 计算机应用,2023,43. |
| APA | 申云飞,申飞,李芳,&张俊.(2023).基于张量虚拟机的深度神经网络模型加速方法.计算机应用,43. |
| MLA | 申云飞,et al."基于张量虚拟机的深度神经网络模型加速方法".计算机应用 43(2023). |
入库方式： OAI收割
来源：合肥物质科学研究院
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。