中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
面向多种退化场景的图像超分辨率算法研究

文献类型:学位论文

作者李尚
答辩日期2023-05-21
文献子类博士
关键词图像超分辨率 多退化场景 特征融合 可逆流引导 退化估计
英文摘要

图像作为重要的信息载体,其质量会直接影响信息传递效果。在实际情况中,影响图像质量的因素主要来自图像采集、成像和传输过程。这些过程使原始高频细节丰富的高分辨率图像可能受到模糊、噪声、下采样、压缩等退化影响,成为视觉效果较差的低分辨率图像。图像超分辨率作为底层的数字图像处理任务,旨在从低分辨率图像中恢复出退化过程损失的高频信息,重建出对应的高分辨率图像。这对于改善图像的视觉效果和提升高级视觉任务(如识别、检测和分割等)的性能都具有重要的研究和应用价值。

根据低分辨率图像包含的退化方式是否已知,图像超分辨率主要分为退化方式已知(即非盲超分辨率)和退化方式未知(即盲超分辨率)两大场景。尽管基于深度学习的图像超分辨率算法研究已经取得了显著进展,但实际应用中仍存在很多挑战。非盲超分辨率场景下的关注点是超分辨率模型设计,需要解决模型计算成本与超分辨率效果之间的平衡性问题、图像退化与超分辨率过程的匹配性问题等。盲超分辨率场景下的重点问题则是退化估计,良好的退化估计效果可以缓解训练数据与测试数据的数据域差异,是保证超分辨率模型对不同退化方式具有鲁棒性的重要前提。因此,本文以低分辨图像包含的退化方式为切入点,根据退化方式从已知到未知,退化类型从单一到多样的顺序,对上述多种退化场景下的图像超分辨率问题进行研究。本文的主要内容和创新点归纳如下:

1. 基于双重特征融合的轻量化图像非盲超分辨率算法。该算法主要面向低分辨率图像的退化方式已知且特定的场景。大部分基于深度学习的图像非盲超分辨率算法倾向于不断增大网络的参数量和计算复杂度,以更好地学习低分辨率图像与高分辨率图像之间的非线性映射关系,但这导致模型内存占用大、推理过程耗能高,不适用于移动设备等实际应用任务。为了缓解该问题,本文提出基于双重特征融合的图像非盲超分辨率算法,利用分组卷积设计轻量化的基础网络结构,同时重点从“特征复用”的角度出发,提出双重特征融合策略,主要包括局部特征融合模块和全局特征融合模块。首先,局部特征融合模块利用特征平衡连接方式,对不同深度的特征按照通道维度进行自适应地局部融合。进一步地,全局特征融合模块利用空间注意力机制对局部融合后的特征再次进行迭代式地融合。实验表明,该算法可以提高特征利用率,更好地平衡模型的超分辨率效果和计算成本,在多个数据集上均有显著效果。

2. 基于可逆流模型的图像退化-非盲超分辨率算法}。该算法主要面向低分辨率图像的退化方式已知且非特定(可自行设计)的场景。在图像非盲超分辨率研究中,低分辨率图像的退化方式大多是预定义的,与超分辨率方法相互独立,但这可能导致二者匹配性较差,影响超分辨率效果的上限。针对该问题,本文自主设计了与图像超分辨率匹配性更高的退化方式,提出一种基于可逆流模型的图像退化-非盲超分辨率算法。该算法基于编码-解码网络建模图像退化过程及超分辨率过程,实现二者的联合优化,提高匹配程度。并且进一步提出基于流模型的可逆转换模块,实现对于“超分辨率最优”的退化特征与具有良好视觉质量的低分辨率图像之间的相互转换,从而缓解显式退化监督对于后续超分辨率效果的限制,在保证退化后的低分辨率图像具有良好视觉效果的同时,显著提高超分辨率重建的效果。

3. 基于在线退化估计的图像盲超分辨率算法。该算法主要面向低分辨率图像的退化方式未知且退化类型主要为“模糊”的场景。当前大部分图像盲超分辨率算法使用预定义退化方式合成的数据进行离线训练,忽略了合成训练数据与待测试图像的数据域差异。此外,离线训练后的模型参数固定,不能针对不同的退化方式(如不同形状的高斯模糊核)进行灵活调整。针对这些问题,本文提出一种基于在线退化估计的图像盲超分辨率算法。结合最大后验概率,该算法设计了内部学习支路和外部学习支路。内部学习支路可以无监督地在线估计低分辨率测试图像的退化方式,外部学习支路则可以根据估计出的退化方式利用外部高分辨率图像合成伪样本对,训练超分辨率模型。两支路交替优化,进而自适应地学习测试图像包含的退化方式,缩小训练图像与测试图像之间的数据域差异。大量实验表明,该算法能够对不同的模糊核进行较好的估计,针对不同低分辨率图像的退化方式训练特定的超分辨率模型,取得更加鲁棒的超分辨率效果。

4. 基于不确定性退化估计的图像盲超分辨率算法。该算法主要面向低分辨率图像的退化方式未知且退化类型多样(同时包含模糊、噪声、压缩等退化类型)的场景。在图像盲超分辨率研究中,大部分退化估计算法只能估计特定的退化方式,或者生成具有特定退化方式的低分辨率训练样本。但准确估计退化方式难度很大,估计偏差可能导致合成的训练样本和低分辨率测试图像之间存在数据域差异,在测试图像同时包含多种退化类型时,估计偏差可能进一步增大,进而对超分辨率模型的效果产生不利影响。针对该问题,本文结合不确定性学习,将退化估计建模为退化参数回归问题,提出一种基于不确定性学习的退化估计算法。该算法将退化参数估计为特定的分布,而非一个特定的数值。这使得真实的退化方式更有可能被包含在估计的退化空间中,缓解退化估计偏差,缩小测试图像与合成训练样本之间的数据域差异,进而提高超分辨率效果。此外,退化参数回归模型适用于多种退化类型的估计任务,可同时对模糊、噪声、压缩等退化类型的退化参数进行估计。该方法的有效性在合成数据和真实数据上均得到验证。

语种中文
页码132
源URL[http://ir.ia.ac.cn/handle/173211/51934]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
李尚. 面向多种退化场景的图像超分辨率算法研究[D]. 2023.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。