视觉场景分割是计算机视觉领域的一个重要任务，其内容是为图像中的每个像素分配特定的语义标签，包括为每个像素分配类别标签的语义分割、为可数类别像素分配类别和实例标签的实例分割、将语义分割和实例分割结合起来的全景分割。近年来，基于深度学习的视觉场景分割模型得到了快速发展。然而，这些模型需要大量人工精细标注的像素级标签进行训练，获取这些精细标注数据造成了时间和经济上的高昂成本。为了缓解数据标注压力，研究者们提出利用弱标签来训练模型。这些弱标签包括图像类别标签、点标签、线标签、边界框标签等，其标注成本远小于像素级标签，但它们缺乏精确的监督信息，直接利用它们监督分割模型往往无法获得令人满意的结果。本文设计了专门的模型以充分挖掘图像类别标签、点标签中的标注信息并生成高质量的像素级伪标签，用于训练视觉场景分割模型，从而弥合这些弱标签和人工精细标注结果的差距。本文的主要创新点包括：

1.提出了一种基于图像类别标签的弱监督语义分割方法。利用分类网络特征图中各像素对不同类别的响应结果，即类激活图可以生成像素级分割伪标签，但类激活图一般只在部分前景区域存在高响应结果，这会产生不完整的伪标签。一些方法利用不完整伪标签训练轮廓模型，基于检测的轮廓将响应结果从局部传播到全局，试图解决伪标签不完整的问题，但物体内部的噪声轮廓会阻碍传播过程，伪标签不完整的问题仍然存在。为此，我们设计了分割辅助的低噪声轮廓模型，它包含一个轮廓分支和一个分割分支，模型在训练期间会基于这两个分支生成在线伪标签，并利用在线伪标签监督两个分支，在线伪标签比基于类激活图的原始伪标签更加完整，可以抑制噪声轮廓，使响应结果得到充分传播，有利于生成完整的伪标签。

2.提出了一种轮廓辅助的点监督全景分割方法。点监督全景分割的核心是基于稀疏点标签估计准确的密集伪标签，用于训练全景分割模型。已有的工作通过将点连接成多边形或将未标注的像素分配给与其最近的点标签来生成伪标签，这些伪标签在轮廓区域不够准确。为此，本方法提出借助轮廓分支估计实例轮廓，并在轮廓辅助下利用点标签生成准确的伪标签。本方法首先基于实例轮廓和语义分割结果从点标签生成初始伪标签，然后使用基于实例轮廓生成的亲和度滤波器对初始伪标签进行优化，通过这种方式，在轮廓区域的初始伪标签得到了改进。

3.提出了一种基于纯数据驱动伪标签估计的点监督全景分割方法。先前的点监督全景分割方法主要基于手工规则估计伪标签，这些手工规则限制了伪标签的质量。为了得到更高质量的伪标签，本方法利用一个纯数据驱动的伪标签分支估计伪标签，该分支可以被点标签端到端地监督优化，基于学习的模型参数而不是手工规则估计伪标签。此外，本方法还训练了一个辅助语义分支，它通过共享参数将语义分割知识传递给伪标签分支，辅助后者的训练。

4.提出了一种基于用户点击的粗掩码指导的交互式图像分割方法，可以低成本地生成像素级分割标签，用于模型训练。已有的交互式图像分割方法一般将点击编码为高斯图后与图像一起输入模型的骨干网络。然而，高斯图中的点击信息在经过骨干网络时会被图片信息污染，不能有效地指导模型顶层的分割头；且对于每个修正点击，模型会更新高斯图，骨干网络需要基于新的高斯图重新计算一遍，效率较低。为了解决这两个问题，本方法通过粗掩码模块将用户点击转化为粗掩码，并把粗掩码直接输入模型的分割头，从而将点击信息准确地传递给了分割头，同时模型只需基于新的修正点击更新粗掩码和分割头的预测结果，骨干网络不需要多次重新计算。

总而言之，本文的研究重点在于利用弱标签获得高质量的像素级伪标签，从而训练高性能的视觉场景分割模型。首先，本文提出在低噪声物体轮廓辅助下利用图像类别标签估计语义分割伪标签。接着，本文提出在实例轮廓的辅助下利用点标签估计全景分割伪标签。其次，本文设计了纯数据驱动的伪标签分支，用于利用点标签估计高质量的全景分割伪标签。最后，本文设计了一个高效的交互式分割模型，允许用户通过交互点击的方式生成高质量伪标签。实验表明，本文提出的方法均取得了显著的性能提升，并在对应的数据集上取得了领先的性能优势。