基于自注意力模态融合网络的跨模态行人再识别方法研究
文献类型：期刊论文
| 作者 | 杜鹏; 宋永红; 张鑫瑶 |
| 刊名 | 自动化学报
 |
| 出版日期 | 2022 |
| 卷号 | 48期号:6页码:1457-1468 |
| 关键词 | 跨模态行人再识别 自注意力 跨模态融合 CycleGAN |
| ISSN号 | 0254-4156 |
| DOI | 10.16383/j.aas.c190340 |
| 英文摘要 | 行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化.针对跨模态行人再识别中存在的模态变化问题,本文提出了一种自注意力模态融合网络.首先是利用CycleGAN生成跨模态图像.在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征,对于原始数据集中的图像利用SoftMax损失进行有监督的训练,对生成的跨模态图像利用LSR (Label smooth regularization)损失进行有监督的训练.之后,使用自注意力模块将原始图像和CycleGAN生成的图像进行区分,自动地对跨模态学习网络的特征在通道层面进行筛选.最后利用模态融合模块将两种筛选后的特征进行融合.通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升. |
| 源URL | [http://ir.ia.ac.cn/handle/173211/56336]  |
| 专题 | 自动化研究所_学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 杜鹏,宋永红,张鑫瑶. 基于自注意力模态融合网络的跨模态行人再识别方法研究[J]. 自动化学报,2022,48(6):1457-1468. |
| APA | 杜鹏,宋永红,&张鑫瑶.(2022).基于自注意力模态融合网络的跨模态行人再识别方法研究.自动化学报,48(6),1457-1468. |
| MLA | 杜鹏,et al."基于自注意力模态融合网络的跨模态行人再识别方法研究".自动化学报 48.6(2022):1457-1468. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。