基于深度学习的多光谱人脸表情识别方法研究
文献类型:学位论文
作者 | 王影影1,2 |
答辩日期 | 2018-05-25 |
授予单位 | 中国科学院研究生院 |
授予地点 | 北京 |
导师 | 王欣刚 |
关键词 | 深度学习 多光谱人脸表情识别 人头检测 网络加速 多光谱人脸表情数据库 卷积神经网络 |
英文摘要 | 人脸表情识别就是让计算机识别人脸的各种表情,进而分析表情所代表的情绪、意图等,从而实现更加智能化的人机交互。该技术可以应用于安全驾驶、公共监控、机器人制造以及医学辅助诊断等领域,具有重要的研究意义。然而受光照变化的影响,使用单一的可见光图像无法实现全天候的人脸表情识别,针对该问题,本文研究基于多光谱图像的人脸表情识别,主要采用计算机视觉及深度学习技术,实现全天候的人脸表情监控。本文的主要工作和创新性成果包括: (1)建立了大规模的多光谱人脸表情数据库。设计并搭建多光谱人脸表情图像采集系统,采集明亮、昏暗、可见三种光照强度下的人脸表情图像。每种光照等级下均包含自然、愤怒、高兴、悲伤、惊讶、厌恶和恐惧七种表情,类别之间数量分别均衡。最终建立了共包含64460对可见光和近红外图像的大规模多光谱人脸表情数据库。与现有公开的数据库相比,该数据库数据量大、人脸表情更加自然、光照变化以及头部姿态更加丰富、对算法设计要求高,为基于多光谱图像的人脸表情识别算法的研究和验证提供了数据基础。 (2)提出了基于多尺度卷积神经网络特征融合的人头检测算法。为了避免复杂背景的干扰,提取到更加细致的人脸表情特征,需要从整张图像中提取出人头区域。本文基于全卷积神经网络设计人头检测算法,并且融合多尺度的特征进行人头检测,通过实验验证了本算法对人头检测的有效性。 (3)提出了基于多光谱图像的人脸表情识别框架。首先通过人头检测算法提取出近红外图像中的人头区域作为表情识别的输入图像,并将该图像作为输入通过生成对抗网络生成可用于表情识别的可见光图像;然后根据人头检测结果提取出可见光图像中的人头区域,并判断可见光图像采集时的光照等级,根据判断结果选择是否将真实的可见光图像用于表情识别;最后将两种或者三种类型的图像分别输入卷积神经网络模型中,在网络的决策层使用加权求和的方式得到最终的识别结果,在自建的多光谱人脸表情数据库上验证了该方法的有效性。 (4)提出了基于低秩分解与卷积层合并的深度卷积神经网络加速算法。通过对卷积层的低秩分解降低卷积操作的计算复杂度,然后将符合约束条件的两个相邻的卷积层合并为一个卷积层,进一步降低卷积运算的复杂度,最后将该加速算法应用于表情识别网络,证明了加速算法的有效性。 |
源URL | [http://ir.ia.ac.cn/handle/173211/20991] |
专题 | 毕业生_硕士学位论文 |
作者单位 | 1.中国科学院大学 2.自动化研究所精密感知与控制研究中心 |
推荐引用方式 GB/T 7714 | 王影影. 基于深度学习的多光谱人脸表情识别方法研究[D]. 北京. 中国科学院研究生院. 2018. |
入库方式: OAI收割
来源:自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。