中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
联合显著性检测技术及其应用研究

文献类型:学位论文

作者王煜
答辩日期2023-05-19
文献子类硕士
关键词联合显著性检测 特征空间调制 组内一致性 组间可分性 协同感知
英文摘要

联合显著性检测任务衍生于显著性检测任务,旨在挖掘出一组图像中公有的显著性区域。由于联合显著性检测可以实现对视频分析、图像恢复等视觉任务的预处理,该任务一直以来都是研究的热点之一。近年来,随着深度学习的快速发展,联合显著性检测模型的性能取得了持续的突破。现有的部分模型,基于像素级相关性的空间调制以及类别标签的辅助训练,虽然在一定程度上提升了模型的性能,但是也为模型引入了一定的问题。前者所生成的调制图激活区域有限,并不能使模型关注到目标区域的特征;后者引入类别信息,使模型基于类别特性来进行检测,导致了一定的过拟合问题。此外,协同感知任务由于能够解决自动驾驶领域中的遮挡以及远距离目标稀疏感知等固有问题,近年来受到了广泛关注。与联合显著性检测任务类似,协同感知任务同样需要对多组数据进行协同处理,以提升单视角下的感知性能。因而,我们尝试将所研究的联合显著性检测的思想技术运用在协同感知任务中,通过对协同信息进行筛选、调制,在降低通信数据规模的同时,保证模型的整体性能。本文针对联合显著性检测任务中的空间调制方法,模型中特征的层级交互问题以及相关技术思想在协同感知任务中的应用展开研究。论文工作主要包含以下三个部分:

(1)基于相似度激活图的联合显著性检测研究。特征的空间调制使模型聚焦于目标区域。现有的部分联合显著性检测模型,借鉴目标跟踪中的方法,利用像素级的相似度来获得空间调制图。基于特征可视化分析,研究发现这类调制图的作用有限。在类激活图相关研究的启发下,模型提出了相似度激活模块,利用梯度信息生成空间调制图,有效地提升了模型的性能。此外,研究尝试将边缘信息引入联合显著性检测任务中。实验结果表明,所提出的边缘融合模块能够有效地提升不同基础模型的性能。

(2)基于层级交互池化的联合显著性检测研究。特征的组内一致性与组间可分性是联合显著性检测任务的两个关键属性。研究针对联合显著性检测以图像组为处理单元的特性,设计了金字塔池化交互模块,基于重组卷积的方式,充分挖掘不同感受野下图像间特征的一致性。同时,模型中设计了四分支的网络训练结构,并配合提出了一致性确认模块。基于对比学习的方式,在不利用类别标签的前提下,该结构有效地实现了组间特征的区分。与利用类别等额外监督信息的方法相比,所提出的算法在现有的公开数据集上表现更好。

(3)联合显著性检测中特征选择、调制与融合技术于协同感知任务中的应用。协同感知基于信息交互,能够有效解决单一视角下的遮挡等问题。但是在研究过程中,通信带宽的约束一定程度限制了模型的性能。考虑到联合显著性检测任务与协同感知任务的相似性以及联合显著性检测领域研究相对较为成熟,实验尝试利用特征选择模块以及空间特征激活图技术,对车辆信息、空间特征进行调制。同时,基于阈值法实现特征筛选,以有效降低通信数据的规模。此外,实验中利用重组卷积的方式实现了不同源信息的交互与融合。分析结果表明,在引入较少参数量与计算量的情况下,所设计的模块有效提升了模型的性能并降低了对于通信带宽的要求。

 

语种中文
页码82
源URL[http://ir.ia.ac.cn/handle/173211/51909]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
王煜. 联合显著性检测技术及其应用研究[D]. 2023.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。