中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于信息融合的遥感图像语义分割方法研究

文献类型:学位论文

作者曹勇
答辩日期2024-05-19
文献子类博士
关键词遥感图像处理 语义分割 信息融合 深度学习
英文摘要

遥感图像语义分割旨在利用遥感数据对地面物体进行精确的像素级分类。该任务是遥感图像处理领域中一个长期的研究热点,在环境监测、城市规划、灾害响应和数字城市建设等领域发挥着重要作用。近年来,深度学习技术的引入极大地推动了遥感图像语义分割领域的发展。然而遥感图像相较于自然图像具有其独特性:(1)遥感图像包含更丰富的光谱信息,除了传统的红绿蓝波段外,通常还包含红外、近红外等波段;(2)遥感图像具有更广泛的上下文信息,其尺寸通常比自然图像大得多,往往需要裁剪成图像块后才可以进一步处理;(3)遥感图像涉及更复杂的地物类型,同物异谱、异物同谱现象广泛存在于遥感图像处理中,不同模型对不同地物类型有着不同的处理能力。上述特性对遥感图像的语义分割提出了更高的要求,然而现有的方法未能充分利用遥感数据中蕴含的丰富信息。针对以上问题,本研究创新性地将信息融合的思想与遥感图像语义分割任务相结合,分别从数据层面、特征层面和模型层面三个方面进行了深入研究,面向遥感图像语义分割问题提出了多种有效的信息融合方法。本论文的主要贡献包含以下几个方面:

1.提出了一种基于多光谱数据融合的遥感图像语义分割方法。该方法的核心思想是将多光谱遥感图像数据拆分为多个三波段数据,分别送入特征提取网络进行特征提取。然后通过一个精心设计的金字塔网络融合不同数据源的特征,从而充分利用并有效融合遥感图像数据中丰富的光谱信息。具体而言,针对包含红外或近红外波段的四通道高分辨率遥感图像,论文提出了一种双流融合模型。该模型通过对波段进行重新分组,然后将其分别送入两支不同的特征提取网络提取特征,同时提出了一种创新的阶段金字塔池化模块对不同数据源不同尺度的特征进行融合。这一方法不仅能够使用在大规模自然图像上预训练的模型参数,同时也充分利用了遥感图像中的光谱信息。在多个数据集上进行的实验证明了所提方法的有效性。

2.提出了一种基于全局上下文特征融合的遥感图像语义分割方法。该方法的核心思想是通过一个轻量化的全局特征提取网络,提取未经裁剪的整幅遥感图像的全局上下文信息,并将其融合到待分割的小块遥感图像中,从而克服了模型只能在当前图像块提取上下文的局限性,极大扩展了模型的上下文信息提取范围。具体而言,针对大尺寸遥感图像数据,论文提出了一种全局特征融合模型,通过一个专门设计的轻量化分组Transformer结构,实现了对全局上下文信息的提取。同时,使用一个局部特征提取网络提取待分割的小块图像的特征。最后,通过一个独特的交叉特征融合模块将大尺寸遥感图像中的全局语义信息自适应地融合到待分割的局部图像块中。该方法在遥感图像语义分割中实现了真正的全局上下文信息提取,广泛而充分的实验证明了该模型的有效性。

3.提出了一种基于多模型协同融合的遥感图像语义分割方法。该方法的核心思想是通过集成多个深度学习模型,利用不同模型在不同地物类别分割上的优势来提升整体的分割性能。具体而言,针对当前现有的大量基于深度学习的语义分割模型,以及不同模型在遥感图像语义分割中对不同地物类别分割能力的差异,论文提出了一个头部层级模型融合框架。该框架通过让不同模型共用特征提取网络,只在分割头部分进行集成,从而有效降低了集成模型的复杂度。同时,通过引入方差—协方差分解,设计了一个协作损失函数,使不同模型之间能够尽可能地学习到它们之间的差异性,从而提升集成模型的整体性能。多个数据集上的结果表明,该方法的具有显著的有效性和泛化性。

语种中文
页码112
源URL[http://ir.ia.ac.cn/handle/173211/57390]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
曹勇. 基于信息融合的遥感图像语义分割方法研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。