中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于动态稀疏和特征学习增强的模型剪枝

文献类型:期刊论文

作者阮晓峰; 胡卫明; 刘雨帆; 李兵
刊名中国科学:技术科学
出版日期2022
卷号52期号:5页码:667-681
英文摘要

为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量, 剪枝已经被广泛地应用在模型压缩任务中. 然而,大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数, 而模型本身的特征信息没有被利用. 为此, 本文提出了一种基于模型特征学习增强的动态剪枝方法, 在训练过程中, 提出的方法不需要数据集类别标签. 一方面, 本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习, 增强了压缩模型学习基准模型特征的能力;另一方面, 本文利用不同压缩子模型的输出信息互相学习, 增强了压缩子模型之间特征学习的能力. 此外, 本文提出了一种动态的结构化稀疏正则方式, 仅仅在预期稀疏参数上施加正则. 在训练过程中, 不同层的稀疏分配率被动态地更新, 同时使用基于泰勒级数的通道敏感性准则确定预期稀疏参数. 在优化过程中, 本文使用动态稀疏的迭代阈值收缩算法(iterative shrinkage-thresholding algorithm, ISTA)求解器解决了约束剪枝率的优化问题. 模型训练结束后, 提出的方法直接移除冗余的参数, 剪枝后的模型不需要微调. 在多个网络结构和数据集下, 本文提出的方法均获得了很好的压缩性能.

语种中文
源URL[http://ir.ia.ac.cn/handle/173211/57230]  
专题自动化研究所_模式识别国家重点实验室_视频内容安全团队
通讯作者胡卫明
作者单位中国科学院自动化研究所
推荐引用方式
GB/T 7714
阮晓峰,胡卫明,刘雨帆,等. 基于动态稀疏和特征学习增强的模型剪枝[J]. 中国科学:技术科学,2022,52(5):667-681.
APA 阮晓峰,胡卫明,刘雨帆,&李兵.(2022).基于动态稀疏和特征学习增强的模型剪枝.中国科学:技术科学,52(5),667-681.
MLA 阮晓峰,et al."基于动态稀疏和特征学习增强的模型剪枝".中国科学:技术科学 52.5(2022):667-681.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。