基于拓扑一致性对抗互学习的知识蒸馏
文献类型：期刊论文
| 作者 | 赖轩; 曲延云; 谢源 ; 裴玉龙
|
| 刊名 | 自动化学报
 |
| 出版日期 | 2023 |
| 卷号 | 49期号:1页码:102-110 |
| 关键词 | 互学习 生成对抗网络 特征优化 知识蒸馏 |
| ISSN号 | 0254-4156 |
| DOI | 10.16383/j.aas.c200665 |
| 英文摘要 | 针对基于互学习的知识蒸馏方法中存在模型只关注教师网络和学生网络的分布差异,而没有考虑其他的约束条件,只关注了结果导向的监督,而缺少过程导向监督的不足,提出了一种拓扑一致性指导的对抗互学习知识蒸馏方法 (Topology-guided adversarial deep mutual learning, TADML).该方法将教师网络和学生网络同时训练,网络之间相互指导学习,不仅采用网络输出的类分布之间的差异,还设计了网络中间特征的拓扑性差异度量.训练过程采用对抗训练,进一步提高教师网络和学生网络的判别性.在分类数据集CIFAR10、CIFAR100和Tiny-ImageNet及行人重识别数据集Market1501上的实验结果表明了TADML的有效性, TADML取得了同类模型压缩方法中最好的效果. |
| 源URL | [http://ir.ia.ac.cn/handle/173211/56212]  |
| 专题 | 自动化研究所_学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 赖轩,曲延云,谢源,等. 基于拓扑一致性对抗互学习的知识蒸馏[J]. 自动化学报,2023,49(1):102-110. |
| APA | 赖轩,曲延云,谢源,&裴玉龙.(2023).基于拓扑一致性对抗互学习的知识蒸馏.自动化学报,49(1),102-110. |
| MLA | 赖轩,et al."基于拓扑一致性对抗互学习的知识蒸馏".自动化学报 49.1(2023):102-110. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。