遥感图像目标识别作为对地观测技术中研究热点之一，旨在对图像中感兴趣目标（如房屋、舰船、飞机、港口等）进行自动定位与分类。随着深度学习的发展，神经网络提取的深层特征有着更强的语义表征能力和判别性，使遥感图像目标识别性能获得了进一步的提升。然而，不同源遥感图像在时间分辨率、空间分辨率、光谱分辨率、目标特性等方面存在差异性。因此，单一图像源对复杂场景中的目标识别可能存在不确定性与不完整性，有可能产生识别误差。多源图像融合与联合决策，能够提高多源遥感图像的目标识别精度，能够有效地扩大遥感大数据的应用范围。在这种背景下，面向复杂场景的多源遥感图像目标识别具有重要的研究意义和应用价值。

   针对多源遥感图像目标识别难点和实际应用需求，本文采用“从单源多源”的研究路线、对以下三种典型的复杂场景开展研究工作：1）光学遥感图像中，目标在不同视角下呈现不同形态，类内距离甚至大于类间距离，不同视角的目标很难被准确识别。2）SAR图像中，纹理信息缺失、斑点噪声严重，影响了神经网络对图像低层特征、目标高层语义特征的学习。3）异源图像间成像机理不同，复杂场景下的多源图像间存在配准误差或局部形变，由此引起的语义偏差制约了基于多源图像融合的目标识别性能。

  为解决上述难点，本文研究基于深度学习的多源遥感图像目标识别方法，实现复杂场景下遥感图像典型目标“端到端”的高精度识别。本文具体研究内容如下：

  1．针对光学遥感图像中多视角目标识别难的问题，本文分别提出了对视角鲁棒的静态与动态目标识别方法。具体地，为提高多视角下的静态目标识别性能，本文提出了一种对视角鲁棒的视角敏感性卷积神经网络，在视角特征空间实现视角属性与类别属性的解耦，目标在视角敏感性特征空间的可分性得到大幅度改善；为提高多视角下的动态目标识别性能，本文提出了一种对视角鲁棒的、无需图像配准的动态目标识别框架，该框架利用感兴趣目标位置、目标的拓扑关系及旋转不变的点集匹配有效解决了动态目标在多时相、多视角图像中特征可分性低的难点。在多视角光学遥感数据集及通用多视角目标检测数据集中的实验验证了所提出的静态目标识别方法、动态目标识别方法的有效性。

  2. 针对SAR图像中纹理信息缺失、斑点噪声严重引起的特征学习难得问题，本文提出了一种基于多任务学习的目标识别方法。该方法引入边缘形状特征学习、语义纹理特征学习两个辅助任务更好地学习图像的底层特征，采用多任务特征融合模块与多尺度特征对齐模块将辅助任务与主任务的多模态特征进行融合，通过新的区域级监督学习、可微分的多任务损失权重学习克服了正负样本不均衡、多任务间学习不平衡的问题。所提出方法在两个公开SAR图像数据集中相较于基准方法取得了最优的识别性能。

  3. 针对多源遥感图像间语义偏差大、特征融合难的问题，本文提出了一种基于Transformer 网络的编码器与解码器结构的多源图像融合和目标识别和方法。编码器对多源图像进行特征提取，解码器对多源图像特征进行融合；通过任务驱动的特征提取与预测网络，图像级分类、像素级分类以及语义分割等多个遥感图像目标识别任务可以在同一框架下统一实现。在三个不同识别任务的公开数据集中的实验验证了所提出框架的有效性。