中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
姿势可控的 2D/3D 数字人人体生成

文献类型:学位论文

作者童雪清
答辩日期2023-05
文献子类硕士
关键词2D 人体图像生成,3D 虚拟数字人生成,人体姿势可控,生成对抗网络
英文摘要

虚拟数字人生成有着极大的应用价值,有望革新电影、游戏和虚拟现实等多

个产业。在实际应用中,控制生成的虚拟数字人的姿势是一项自然而然的需求。

这种需求推动了两个重要的研究子领域的发展,分别是二维空间上的姿势引导

人体图像生成和三维空间上的姿势可控虚拟数字人生成。本文采用生成对抗网

络(GAN)方法,围绕这两个研究子领域进行研究。

二维空间上,姿势引导的人体图像生成是图像生成的重要子领域。在低分

辨率场景下(256 × 256),现有的姿势引导的人体图像生成方法已经取得重要进

展。目前需要把更多注意力放在高分辨率场景上,比如分辨率 512 × 512。然而,

该领域现有数据集和现有方法都有局限性。对此,本文提出了一个全新数据集

PersonHD,一个大规模的高分辨率的具有复杂人体姿势的人体图像数据集,并

建立了可用于评估现有方法的实验基准。针对高分辨率场景,本文提出了一个

全新的高分辨率人体图像生成框架,包括语义信息引导的人体部件级数据增强、

条件上采样模块、单样本的个性化驱动技巧。实验结果表明,本框架可以生成不

错的高分辨率人体图像。

三维空间上,姿势可控的 3D 数字人生成领域是 3D 生成领域的重要子领域。

生成穿着复杂服装和具有复杂姿态的 3D 虚拟人目前仍是具有极大挑战性的难

题。本文提出了一种方法 PC-GET,用于生成姿势可控的 3D 纹理网格形式的虚

拟数字人。本方法的关键点在于如何使用给定人体姿态形状信息来引导虚拟数

字人的纹理网格生成过程。本文探索了两种方式去使用参数化人体模型的姿势

形状信息,分别是基于人体模型进行神经纹理光栅化得到正交三平面特征和提

取人体模型对应点云特征。第一种方式,本文利用粗糙人体模型将生成的神经纹

理光栅化到三个正交特征平面上,得到光栅化正交三平面特征,从而显示引导了

数字人生成。第二种方式,本文使用粗糙的参数化人体模型对应的点云作为输

入,经过点云处理网络提取隐式特征来引导数字人生成。最后,本文对方法进行

实验评测,实验结果显示本文的方法 PC-GET 能够生成姿态可控的数字人 3D 纹

理网格表示。方法 PC-GET 生成的 3D 数字人纹理网格表示可以直接被 3D 渲染

引擎使用,迅速部署于新的光照场景,因而具有极大的实际应用价值。

本文的研究结果为姿势可控的 2D/3D 数字人人体生成做出了贡献,该成果

可用于虚拟现实、游戏和电影等各个领域。

学科主题计算机科学技术
语种中文
页码80
源URL[http://ir.ia.ac.cn/handle/173211/52081]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
童雪清. 姿势可控的 2D/3D 数字人人体生成[D]. 2023.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。