基于特征增强的模型调优与自适应方法
文献类型:学位论文
作者 | 周圣超![]() |
答辩日期 | 2024-05-16 |
文献子类 | 硕士 |
关键词 | 图像识别 特征分布漂移 开放类别 特征增强 |
英文摘要 | 由于应用阶段的数据分布可能与训练阶段存在差异,一个训练好的图像识别模型在实际部署时常会面临多种问题。一种典型的问题为图像质量退化导致的特征分布漂移问题。当应用阶段的图像受到质量退化影响时,其特征分布会相对清晰图像特征产生漂移,使得模型无法对退化图像进行正确的识别,产生性能下降问题。另一种典型的问题为类别增量学习场景下的开放类别问题。模型在训练过程中所能识别的类别是确定的,然而在实际应用时,新的类别会不断产生,这需要模型能够不断学习如何识别新类别。然而若是简单地对模型进行微调,则会产生灾难性遗忘问题,即模型在旧类别上的识别性能会不断下降。 针对上述问题,虽然已有相关研究,但这些工作都存在一些不足。对图像质量退化导致的特征分布漂移问题,现有的研究工作大多集中于对退化图像进行质量增强再进行识别。然而,质量增强的目的为提升视觉质量而非识别性能,因此其对模型的性能提升有限,并且无法处理更复杂的复合退化情形。对类别增量学习场景下的开放类别问题,现有的工作在学习新类别时过分关注了如何更好地区分旧类别与新类别,而忽视了如何为未来类别的学习预留能力。因此,本文将分别对图像质量退化导致的特征分布漂移和类别增量学习场景下的开放类别问题,通过对图像特征进行增强,对模型特征空间进行微调或是提高其适应将来类别分布的能力,提升图像识别模型的性能。本文的主要内容和贡献点如下: (1) 针对图像质量退化导致的特征分布漂移问题,本文设计了一种图像特征矫正模块(Robust Feature Rectification, ROFER)。该模块可对图像受到的退化类型及其强度进行分类和回归,然后通过一个全卷积网络将图像的特征根据预测的退化类型矫正至清晰特征。该模块可同时处理多种退化,包括常见的模糊、噪声、对比度影响,并且能够轻松地插入到预训练的图像识别模型中,通过对模型的特征空间进行微调,提升其在退化图像上的识别性能。同时,通过引入束搜索策略以寻找退化的复合顺序,该模块可通过迭代的方式处理多种退化复合的情况。实验结果表明,ROFER能有效提升模型在受单一退化或复合退化影响的图像上的识别性能。 (2) 针对类别增量学习场景下的开放类别问题,本文首先分析了灾难性遗忘问题产生的原因之一为已见类别的过度坍缩,即模型会倾向于将一已见类别与其相邻区域映射至特征空间的同一位置。在该分析以及理论推导的基础之上,本文设计了一种特征增强方法(Preventing Over-Collapse, POC)。该方法通过学习一组仿射变换,使得该组仿射变换在作用到已见类别上时,会产生位于其相邻区域内的样本。在获得已见类别相邻区域内的样本后,模型的训练损失中将增加一项将已见类别与其相邻区域进行分类的损失,通过该方式,防止模型将已见类别与相邻区域映射至特征空间的同一位置,为未来类别的学习保留能力。同时,为了保证模型在已见类别上的泛化性,本文引入了一项对比损失,使得已见类别样本的特征与其相邻区域内样本的特征之间相互接近,进一步提升POC的有效性。实验结果表明,POC能和现有类别增量学习方法相结合,有效提升其性能。 |
语种 | 中文 |
页码 | 64 |
源URL | [http://ir.ia.ac.cn/handle/173211/56488] ![]() |
专题 | 毕业生_硕士学位论文 |
推荐引用方式 GB/T 7714 | 周圣超. 基于特征增强的模型调优与自适应方法[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。