深度神经网络的压缩研究
文献类型:期刊论文
作者 | 韩云飞; 蒋同海![]() ![]() |
刊名 | 计算机应用研究
![]() |
出版日期 | 2018 |
卷号 | 35期号:10页码:2894-2897+2903 |
关键词 | 神经网络 压缩 网络删减 参数共享 |
ISSN号 | 1001-3695 |
英文摘要 | 深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案:首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5?和12.1?。基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。 |
源URL | [http://ir.xjipc.cas.cn/handle/365002/5203] ![]() |
专题 | 新疆理化技术研究所_多语种信息技术研究室 新疆理化技术研究所_环境科学与技术研究室 |
作者单位 | 1.中国科学院新疆理化技术研究所 2.新疆民族语音语言信息处理实验室 3.中国科学院大学 |
推荐引用方式 GB/T 7714 | 韩云飞,蒋同海,马玉鹏,等. 深度神经网络的压缩研究[J]. 计算机应用研究,2018,35(10):2894-2897+2903. |
APA | 韩云飞,蒋同海,马玉鹏,徐春香,&张睿.(2018).深度神经网络的压缩研究.计算机应用研究,35(10),2894-2897+2903. |
MLA | 韩云飞,et al."深度神经网络的压缩研究".计算机应用研究 35.10(2018):2894-2897+2903. |
入库方式: OAI收割
来源:新疆理化技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。