中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
提升对抗训练模型泛化性的微调方法研究

文献类型:学位论文

作者朱凯捷
答辩日期2024-05-09
文献子类硕士
关键词深度神经网络 对抗鲁棒性 泛化性 微调算法
英文摘要

追求准确、可靠和鲁棒的人工智能系统是深度学习社区的核心目标之一。然而,深度神经网络极易受到对抗样本的影响,这给实现鲁棒的人工智能系统带来了巨大挑战。对抗训练虽然是一种有效的防御对抗样本的方法,却带来了一个显著的权衡问题:对抗训练增强了模型的对抗鲁棒性,但降低了模型在分布内数据上的泛化性能,并提高了模型对分布外数据变化的敏感性。目前,对抗鲁棒性和泛化性之间的矛盾关系得到了学术界的广泛关注,并提出了深入的理论分析以及众多缓解该矛盾的方法,如改变训练数据权重或修改损失函数。然而,这些方法都基于对抗训练,往往会带来高昂的计算成本和复杂性。此外,这些方法虽然有效,但不容易结合在一起发挥集成优势,限制了它们的实际效用。

为了应对上述算法的高昂计算成本和复杂性,本文提出了基于模块鲁棒冗余性的鲁棒冗余微调算法。具体而言,本文首先为对抗训练模型的每个模块引入了鲁棒冗余性这一概念,旨在评估模型中的每个模块在最坏情况权重扰动下对模型鲁棒性的影响。接着,对微调该模块可能导致的鲁棒性损失给出了理论保证,并提出了松弛算法以高效求解每个模块的近似鲁棒冗余性。随后,利用常规的微调算法在干净样本上对鲁棒冗余模块进行微调以提升模型的泛化能力。最后,在经过对抗训练的权重和微调后的权重之间进行线性插值,得出最佳的微调模型权重,旨在保持模型鲁棒性的同时,最大限度地提升模型泛化性。

为了验证鲁棒冗余微调算法的有效性,本文在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上对经过对抗训练后的ResNet18、ResNet34 和 WideResNet34-10模型应用了该算法。实验结果表明,在所有数据集和所有网络架构上,鲁棒冗余微调算法可以将对抗训练模型的分布内泛化准确率和分布外泛化准确率显著提高平均约1.5%,同时保持甚至略微增强该模型的对抗鲁棒性。此外,该算法还能和已有的所有对抗训练算法结合,进一步地提升对抗训练模型的泛化性能。通过引入这一微调框架,本研究不仅提出了一种高效实用策略,以缓解对抗鲁棒性和泛化性之间的矛盾关系,从而提高人工智能系统在面对现实世界挑战时的安全性和可靠性,而且还为理解深度学习模型的鲁棒性和泛化之间的矛盾关系提供了一个新的理论视角。

语种中文
页码66
源URL[http://ir.ia.ac.cn/handle/173211/56562]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
朱凯捷. 提升对抗训练模型泛化性的微调方法研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。