视觉美感质量评估是计算机视觉领域中非常具有挑战性的问题之一。从技术上讲，视觉美感质量评估是一项计算机视觉认知任务，涉及到多个学科，具有重要的理论意义和实际价值。视觉美感质量评估的最终目标是希望计算机能够 像人类一样对图像的美感质量进行感知、分析和决策，在图像检索、图像合成、图像处理、机器情感智能等很多领域也有着广泛的应用前景。在过去的十几年里，美感质量评估研究得到了快速的发展。但另一方面，由于图像的美感质量是一个偏主观的视觉属性，至今仍然是一个具有较大挑战性和开放性的研究热点。 
本文主要研究图像美学质量的评估方法。针对目前主流的图像美学质量评估方法中存在的图像级别美学标签的数据利用效率低、尚未有效地利用无标签的图像数据、缺乏合理的正则化策略等问题，我们结合机器学习、计算机视觉领域的最新进展，提出新的、有效的方法。基于实验结果，我们也得到了很多有实际意义和参考价值的知识。照顾到实际应用的需求，本文还将涉及食物图像、人脸图像这样两个特定领域的美学质量评估问题。 
具体的，本文主要的研究工作和贡献如下: 
1. 提出一种基于注意力机制的图像美学评估方法。 由于图像级别美学标签的信息量不足、利用率低，目前主流的方法需要借助相关的图像属性(如，物体语义，场景语义，图像颜色属性等)来辅助完成美感质量的评估。但是，这些属性依赖于专家设计，不够灵活，而且标注成本和试错代价都不低。为了在不使用额外图像属性的情况下提高图像级别美学标签的利用率，我们提出一种基于注意力机制的方法:在训练阶段，方法将以一种端到端的、数据驱动的形式，自适应地给每个图像块赋予不同训练的权重，以此提高美学标签的利用率，进而得到更好的评估模型。从 AVA 数据集的评估正确率上看，使用我们方法所得到的卷积网络模型，在无需额外图像属性的情况下，能够取得比现有的评估方法都要高的美学评估正确率。 
2. 提出一种基于自监督学习的图像美学评估算法。 针对图像美学标签的获取成本高、含有主观因素等问题，一个合理的、有价值的思路是:利用无标签的图像数据来学习具有美学感知能力的表征。目前还没有这方面的研究工作。基于图像编辑操作与图像美学属性的关联，我们提出一个新型的、无需人工标签的、面向图像美学质量评估的自监督学习方法。此外，我们还首次在图像美学评估任务上对现有的经典的自监督学习方法进行性能评估。在 AVA、AADB 和 CUHKPQ 三个数据集上，我们方法能够取得比其他的自监督学习方法更好的效果，甚至优于使用 ImageNet 或者 Places 数据集的标签的表征方法。实验结果验证了在图像美学评估中利用无标签图像数据进行表征学习的有效性。 
3. 建立一个大规模的食物图像美学评估数据集，并针对视觉美感质量评估 中的过置信度问题提出了一个有效的正则化策略。 食物图像是一类常见的图像类别，对人具有独特的吸引力，因此食物图像美学质量评估具有相当实际意义和应用价值。目前尚缺少这方面的研究。为了填补这个空白，我们建立一个较大规 模的食物图像美学评估数据集(GPD):包含 24000 张图像(涵盖了大量常见 的食物类别)和其对应的二分类美学标签。此外，针对图像美学评估中常见的过 置信度问题，我们提出了一个简单而有效的正则化策略。通过大量的实验测试(包括在未知数据集上的泛化性测试，与 AVA 数据集的对比测试等)，我们验证了 GPD 数据集的美学标签和所提正则化方法的有效性。该研究将有助于后续研究者深入研究和开发与食物图像美学评估相关的应用。 
4. 提出一个基于排序学习的人脸关键点定位质量无基准评估算法。 人脸关键点定位是计算机视觉中一个经典的基本任务。考虑到一些基于人脸关键点定位结果的应用场景(如，人脸化妆、人脸卡通画)，我们需要设计一个无需人工标注基准即可完成定位质量评估的模型。目前还有没有相关任务的论文可供参 考。我们的方法基于一个人脸关键点的先验知识:即，使用人脸关键点归一化后的人脸图像具有较强的稳定性。基于这个先验知识，我们通过构造一系列定位质量可控的关键点结果，利用排序学习来从这些序列数据中抽取有效信息来训练一个关键点定位质量模型。在四个公开人脸关键点评估数据集上，以 ESR 定位算法为例，我们的评估方法能够良好地完成关键点无基准评价。基于我们的评估算法模型，我们能够以很小的代价取得较大的定位质量提升。