基于深度学习的无参考图像质量评价方法研究
文献类型:学位论文
作者 | 顾杰![]() |
答辩日期 | 2019-05 |
文献子类 | 博士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院自动化研究所 |
导师 | 潘春洪 ; 孟高峰 |
关键词 | 图像质量评价 视觉感知质量 无参考图像质量评价方法 深度学习 向量回归 目标导向池化 视觉注意力 可学习池化 强化递归排序 |
学位专业 | 模式识别与智能系统 |
英文摘要 | 数字图像在其采集、压缩及传输等过程中通常会遭受不同程度的失真降质。图像质量评价旨在度量失真对图像视觉感知质量的影响。高效准确的图像质量评价在诸多实际应用中均发挥着关键作用,是保证用户视觉感知体验的重要基础。近年来,客观图像质量评价方法因其可实现自动高效的质量预测获得了研究人员的广泛关注。其中,无参考客观方法能够在参考图像信息不可用的情况下直接对失真图像进行质量评价。由于在大多数实际应用场景中参考图像无法采集或获取代价较大,因此开发有效的无参考图像质量评价方法具有十分重要的研究意义和应用价值。 1. 提出了一种基于向量回归(vector regression)与目标导向池化(object oriented pooling)的无参考图像质量评价方法。该方法探究了质量评价中因个体差异而存在的不确定性,并据此设计了一组“置信”分数以隐式地度量图像质量隶属于相应评分区间的概率。向量回归框架的核心思想是用“置信”分数向量表征图像视觉质量。与现有方法直接学习从图像到平均意见分数的一元映射不同,基于向量回归的图像质量评价模型学习从图像到“置信”分数向量的多元映射。另外,目标导向池化的核心思想是在池化阶段引入语义信息。该方法赋予图像中类物体区域(object-like region)更大的权重,使得池化操作更符合视觉特性从而进一步提升模型质量评价性能。多个数据库上的大量实验结果证实了所提方法对失真图像质量评价的有效性。 2. 提出了一种基于可学习注意力池化(learnable attention-based pooling)的无参考图像质量评价方法。该方法将可学习池化引入到无参考图像质量评价中,其核心是以数据驱动的方式学得既有效又符合视觉注意力的池化方法。具体地,通过内置可学习注意力模块提出了注意力池化网络。该网络由两个分支构成,分别用于学习评价图像局部质量和分配池化阶段注意力权重。为辅助模型更好地训练,在训练阶段进一步为注意力池化网络的两个分支引入相关约束。对于受视觉关注的图像区域,该约束将对局部质量分数与全局质量分数相背离的情形进行惩罚。在实验层面,大量实验结果充分证实了所提无参考评价方法优异的性能,另外所学池化方法的有效性和可解释性也得到了验证。 3. 提出了一种无需主观评分训练的“意见无关”(opinion-unaware)无参考图像质量评价方法。该方法将深度强化学习和序列排序学习引入到图像质量评价中。核心思想是将无参考图像质量评价问题形式化为一个递归序列排序问题,并采用强化学习方法训练模型。具体地,该方法使用图像序列作为训练样本,学习如何对序列中图像按其视觉质量进行排序。在训练阶段,递归排序过程可建模为马尔可夫决策过程。相应地图像质量评价模型能用基于策略的强化学习方法进行灵活有效地逐步训练。实验结果表明所提方法能够准确预测失真图像的视觉质量,其性能不仅胜过当前效果最好的“意见无关”无参考评价方法,甚至优于许多新近提出的需用主观质量分数进行监督训练的无参考方法。 |
语种 | 中文 |
页码 | 118 |
源URL | [http://ir.ia.ac.cn/handle/173211/23857] ![]() |
专题 | 自动化研究所_模式识别国家重点实验室_遥感图像处理团队 |
推荐引用方式 GB/T 7714 | 顾杰. 基于深度学习的无参考图像质量评价方法研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2019. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。