心理问题已经成为影响现代人生产效率和生活质量的重要问题。及时发现并疏导员工的心理问题成为企业提高生产效率、减少生产隐患的重要手段。但是由于主客观因素的影响，心理问题调查手段依然成本高昂且效率低下。表情识别作为人类情感分析的重要途径，可以无侵入、准确地对员工的心理状况进行分析和监测，是一种更为先进的心理学调查方式。但是，大部分表情识别系统只适用于固定光照、固定角度的环境。当处在人脸姿态、光照、尺度、遮挡和身份信息不可控的自然场景中，现有的人脸表情识别算法会出现识别率降低的问题。如何实现在自然场景中高效、稳定的人脸表情识别算法成为了一个重要的研究课题。
注意力机制模仿人类大脑处理外界信息的方式，通过专注于输入内容的一个子集从而利用有限的计算资源从大量信息中快速筛选出高价值信息，被广泛地应用在图像分类、语义分割和图像理解等计算机视觉任务中，并取得了显著的成果。注意力机制的特点使得它成为提升表情识别算法准确率的重要方式之一。
本课题组与国内知名心理学应用技术公司合作，利用表情与心理之间的联系，将表情识别应用在针对员工的非侵入、自动化的心理状态检测中。本文主要针对基于注意力机制的人脸表情识别关键问题展开研究，主要的工作和创新点总结如下：
(1)提出了一种基于固定注意点的表情识别方法
    本文提出了一种使用传统图像处理技术得到人脸特征点，然后利用特征点作为注意焦点引导深度学习网络进行表情识别的技术。用于表情识别的图片通常清晰完整，很适合利用传统图像处理方法进行快速、稳定的人脸检测和特征点标记。接着利用特征点生成热力图并提取特征点周围的纹理特征作为特征图，然后将热力图和特征图融合成特征热力图。最后使用神经网络进行多信息融合的表情分类。通过结合传统方法和深度学习方法，能有效消除光照和尺度变化对表情识别的影响，提升算法的稳定性和准确性。在我们采集的数据集上，我们的方法的准确率比商业软件的准确率提升了10个百分点，达到了69%。
(2)提出了一种基于全局注意力的表情识别方法
    基于固定注意点的表情识别技术依赖于事先设定的特征点，而这些特征点是研究者根据经验提出来的，对于表情识别不一定最优。此外，只能利用关键点周围的图像信息，无法利用全部图像信息。因此本文提出了全局注意力模型，利用参考表情生成模块生成待测表情的参考表情，接着通过对比待测表情和参考表情的特征获得差分特征，最后利用差分特征进行表情识别。通过这个方法，有效地去除了面部轮廓、头发、眼镜等外物的干扰，提升了算法的精度。在公开的自然场景人脸表情数据集AffectNet和RAF-DB上，我们提出的算法的准确率超越了大部分研究者，分别达到55.0%和83.5%。
(3)提出了一种基于自适应注意力的表情识别方法
    基于全局注意力的表情识别技术利用WGAN生成参考表情。但是WGAN只能拟合训练集的数据分布规律，当待测样本与训练集中的样本差别过大时，会导致参考表情生成效果变差，影响表情识别精度。为提高表情识别算法的泛化能力，我们提出“降维网络”的网络模型，这个网络模型主要在通用的分类网络上前置降维模块，对输入图片进行降维操作。通过降维操作迫使神经网络舍弃一部分特征，而保留有价值的特征。而分类网络产生的分类误差将通过梯度反传影响降维模块，指导降维模块准确获取与表情相关的特征。该模块既能减少特征图的大小来减少计算量，提升计算速度，又能隐式地对每一个像素的重要程度赋予权重，在去除无效特征的同时尽可能保留图片中的有用信息。该降维模块通用性较强，可以前置于任何通用的分类网络。即使分类网络规模较大，也能够有效地减少网络的泛化误差，提升分类准确率。在AffectNet数据集上，我们提出的降维网络得到了最优的准确率，超越了第二名1.2个百分点。