基于卷积神经网络的图像检索特征学习方法研究
文献类型:学位论文
作者 | 徐健![]() |
答辩日期 | 2020-05-29 |
文献子类 | 博士 |
授予单位 | 中国科学院自动化研究所 |
授予地点 | 中国科学院自动化研究所 |
导师 | 王春恒 |
关键词 | 图像检索 语义检测器 对抗注意力机制 流形学习 侵权商标 |
学位名称 | 工学博士 |
学位专业 | 模式识别与智能系统 |
英文摘要 | 近年来,随着智能移动设备的普及和人工智能技术的飞速发展,图像数据的数量呈指数级爆炸式地增长。如何使用图像检索技术,基于查询图像在大规模的数据库中快速、精确地检索相关的图像,对海量的图像数据进行有效的管理、分析和使用,在大数据和人工智能时代具有重要的理论意义和应用价值,也是学术界与工业界共同关注的研究热点。 图像的特征表示作为图像检索任务中的关键环节,对于图像检索的性能起着至关重要的作用,所以图像检索中的特征学习方法值得我们进行深入的探索和研究。尤其是在无标注数据或仅有少量标注数据情况下,针对复杂背景的干扰、小目标检索、遮挡和局部相似图像检索等图像检索难题,如何基于图像检索特征学习方法提取具有鉴别性的图像特征表示,更加值得我们进行深入的研究和攻克。本论文的主要贡献和创新点归纳如下: 1. 提出了一种无监督的基于语义的特征聚合方法 卷积神经网络具有较强的语义表示能力,深层卷积层的特征图中某些通道会对特定的语义内容进行显著的响应。然而现有的特征学习方法大都忽略了这些局部语义信息,造成图像的全局特征表示中丢失了大量鉴别性的细节信息。所以基于卷积神经网络较强的语义表示能力,本文提出了一种无监督的基于语义的特征聚合方法,结合局部语义信息提取了具有鉴别性的特征表示,并且在一定程度上解决了复杂背景的干扰。本方法使用无监督的策略挑选对应特定局部语义内容的语义检测器,用于生成语义候选区域。基于语义候选区域进行特征图的加权聚合,突出了特征表示中鉴别性的局部语义信息,抑制了背景噪声的干扰,因此有效地提升了检索性能。本方法在5个标准的图像检索公开数据集上进行了实验,结果证明本方法具有良好的检索性能。值得注意的是,本方法属于无监督的方法,尤其适用于训练数据较难收集的情况。 2. 提出了一种端到端的基于对抗注意力机制的特征聚合方法 无监督的策略只能挖掘出有限的语义信息。在有少量的训练数据的情况下,基于卷积神经网络较强的语义学习能力,本文提出了一种端到端的基于对抗注意力机制的特征聚合方法。本方法能够有效地捕获针对性的局部语义信息并且突出主要的前景目标,所以在一定程度上解决了小目标检索的难题。在小目标检索任务中,目标仅仅占据图像中很小的一部分。本方法基于注意力机制学习得到语义检测器,捕获关键目标中可区分性较强的局部语义信息,提升了特征表示的针对性和鉴别性。另外,为了解决多个语义检测器中的模式重复问题,本方法还使用了对抗擦除的策略,捕获多种不同的局部语义信息,进一步提升了特征表示的检索性能。实验结果表明本文提出的端到端的基于对抗注意力机制的特征聚合方法能够有针对性地捕获前景目标中关键的语义信息,有效地提升了检索效果。 3. 提出了一种无监督的迭代流形嵌入层方法 特征表示在检索过程中需要基于距离进行相似性度量,其计算复杂度与特征表示的维度相关。所以在实际应用中通常需要对特征表示进行降维,但是降维也会导致特征表示中具有鉴别性的信息的丢失。基于流形学习使用测地线距离进行相似性度量,可以有效地保留局部语义信息,并且能够在一定程度上解决遮挡和局部相似图像检索的问题。所以本文提出了一种无监督的迭代流形嵌入层方法,可以作为全连接层接入卷积神经网络之中,对特征表示进行降维并且尽量保持鉴别性不丢失。本方法基于二阶近邻信息和欧氏距离对测地线距离进行了修正,更好地重建了流形空间,尽量保留了降维后的特征表示的鉴别性。另外,本方法基于岭回归算法简化和集成了原始特征表示到迭代流形嵌入层特征表示的映射,减小了测地线距离的估计误差和降维操作的计算复杂度,进一步提升了检索性能和效率。实验结果表明本文提出的迭代流形嵌入层方法有效地提升了特征表示的鉴别性和检索的效率。 4. 进行了图像检索相关应用的实例分析 基于以上提出的图像检索特征学习方法,结合实际应用场景,本文将上述方法应用到了侵权商标图像检索系统之中,在一定程度上解决了局部相似和语义相似的侵权商标图像的检索问题,并且通过特征降维有效地提升了检索效率。侵权商标图像检索系统实现了相似商标图像的检索,为商标申请人员和审查人员提供了便利,能够提高商标注册和审核过程的效率。 |
学科主题 | 人工智能 |
语种 | 中文 |
页码 | 124 |
源URL | [http://ir.ia.ac.cn/handle/173211/39024] ![]() |
专题 | 自动化研究所_复杂系统管理与控制国家重点实验室_影像分析与机器视觉团队 |
通讯作者 | 徐健 |
推荐引用方式 GB/T 7714 | 徐健. 基于卷积神经网络的图像检索特征学习方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2020. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。