基于深度学习的高精度三维人脸重建算法研究
文献类型:学位论文
作者 | 陈典浩![]() |
答辩日期 | 2021-05-28 |
文献子类 | 硕士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院大学自动化研究所 |
导师 | 彭思龙 |
关键词 | 三维人脸重建 三维人脸形变模型 图像修补 块匹配 卷积神经网络 |
学位名称 | 工程硕士 |
学位专业 | 计算机技术 |
英文摘要 | 单目三维人脸重建旨在通过单张二维人脸图像重建出其所对应的三维人脸。相比于二维人脸图像,三维人脸含有更加丰富的结构信息,能够更加真实、完整地表示现实世界中存在的人脸。在三维的世界中,三维人脸更具表现力。三维人脸重建是三维人脸分析与应用的前提,快速的、高精度的单目三维人脸重建算法能够加速三维人脸在科学研究和生活娱乐中的应用。 单目三维人脸重建问题是一个重要且具有挑战性的问题。其难点在于:(1)数学意义上,单目三维人脸重建问题是一个病态问题,在不加额外约束的情况下,无法从单张二维人脸重建出三维人脸;(2)应用层面上,单目三维人脸重建算法对于复杂光照、人脸遮挡等无约束人脸图像难以具有鲁棒性;(3)感官层面上,现已有的算法难以获得高精度的三维人脸重建结果。 高精度三维人脸生成是三维人脸重建的主要应用场景。通过三维人脸重建算法可以避开利用三维采集设备来获得三维人脸。由三维人脸重建算法重建出的三维人脸已经被广泛应用于人脸识别、娱乐、医疗、法医和刑侦等领域中。 本文从单目三维人脸重建的经典算法出发,着重分析了传统单目三维人脸重建算法存在的不足,并提出相应的解决方案,以实现快速的、高精度的单目三维人脸重建。本文的主要内容和创新点如下: (1)提出了一种多特征联合的由粗到细的优化策略。该策略主要为了解决传统基于合成分析法的线性3DMM三维人脸重建算法模型参数难以收敛的问题。在该算法中,模型参数众多,并且所有的模型参数都有全局影响性,因此在参数优化过程中难以收敛到较优的参数值。本文提出了多特征联合的由粗到细的优化策略,来帮助模型收敛到较优的参数解。通过添加额外的人脸关键点约束,从只包含相机位姿的少量参数开始优化,逐渐加入更多的参数参与优化过程,直至进行全局优化。由粗到细的优化策略降低了模型参数的优化难度,使得模型参数能够收敛到一个较优的解。 (2)提出了一种基于深度学习的线性3DMM单目三维人脸重建算法。该算法主要为了解决传统基于迭代的三维人脸重建算法参数优化过程十分复杂费时的问题。该方法搭建多任务学习的编码器解码器网络,通过一次预测便能够重建出三维人脸,将单张图像的三维人脸重建时间缩短了近900倍。在模型的训练过程中,为了解决三维监督缺失和监督信息失真的问题,采用两阶段的半监督训练方案。实验表明,该三维人脸重建算法对光照、人脸姿态、表情和人物的变化都具有较强的鲁棒性。 (3)提出了一种两阶段由粗到细的高精度三维人脸重建框架。该两阶段的三维人脸重建框架主要为了达到高精度三维人脸重建的目的。该方法期望能够保留输入人脸图像中的高频纹理部分,并通过深度网络修补出缺失部分的纹理,并且修补出的纹理也应该具有高频的纹理细节。因此在第一阶段依靠线性3DMM进行三维人脸的粗重建,在第二阶段进行纹理修补,以获得高精度的纹理图。在纹理修补网络中,考虑人脸纹理的先验信息,即人脸的相对对称性和局部像素的连续性,在特征层上进行基于块匹配的特征修补算法,进行语义层级的纹理修补,利用深度网络实现纹理的融合。实验结果表明,该算法对光照、人脸姿态、表情和人物的变化都具有较强的鲁棒性,并且能够重建出具有丰富纹理细节的三维人脸。 |
语种 | 中文 |
页码 | 112 |
源URL | [http://ir.ia.ac.cn/handle/173211/44927] ![]() |
专题 | 自动化研究所_智能制造技术与系统研究中心_多维数据分析团队 |
推荐引用方式 GB/T 7714 | 陈典浩. 基于深度学习的高精度三维人脸重建算法研究[D]. 中国科学院大学自动化研究所. 中国科学院大学. 2021. |
入库方式: OAI收割
来源:自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。