姿势可控的 2D/3D 数字人人体生成
文献类型:学位论文
作者 | 童雪清 |
答辩日期 | 2023-05 |
文献子类 | 硕士 |
关键词 | 2D 人体图像生成,3D 虚拟数字人生成,人体姿势可控,生成对抗网络 |
英文摘要 | 虚拟数字人生成有着极大的应用价值,有望革新电影、游戏和虚拟现实等多 个产业。在实际应用中,控制生成的虚拟数字人的姿势是一项自然而然的需求。 这种需求推动了两个重要的研究子领域的发展,分别是二维空间上的姿势引导 人体图像生成和三维空间上的姿势可控虚拟数字人生成。本文采用生成对抗网 络(GAN)方法,围绕这两个研究子领域进行研究。 二维空间上,姿势引导的人体图像生成是图像生成的重要子领域。在低分 辨率场景下(256 × 256),现有的姿势引导的人体图像生成方法已经取得重要进 展。目前需要把更多注意力放在高分辨率场景上,比如分辨率 512 × 512。然而, 该领域现有数据集和现有方法都有局限性。对此,本文提出了一个全新数据集 PersonHD,一个大规模的高分辨率的具有复杂人体姿势的人体图像数据集,并 建立了可用于评估现有方法的实验基准。针对高分辨率场景,本文提出了一个 全新的高分辨率人体图像生成框架,包括语义信息引导的人体部件级数据增强、 条件上采样模块、单样本的个性化驱动技巧。实验结果表明,本框架可以生成不 错的高分辨率人体图像。 三维空间上,姿势可控的 3D 数字人生成领域是 3D 生成领域的重要子领域。 生成穿着复杂服装和具有复杂姿态的 3D 虚拟人目前仍是具有极大挑战性的难 题。本文提出了一种方法 PC-GET,用于生成姿势可控的 3D 纹理网格形式的虚 拟数字人。本方法的关键点在于如何使用给定人体姿态形状信息来引导虚拟数 字人的纹理网格生成过程。本文探索了两种方式去使用参数化人体模型的姿势 形状信息,分别是基于人体模型进行神经纹理光栅化得到正交三平面特征和提 取人体模型对应点云特征。第一种方式,本文利用粗糙人体模型将生成的神经纹 理光栅化到三个正交特征平面上,得到光栅化正交三平面特征,从而显示引导了 数字人生成。第二种方式,本文使用粗糙的参数化人体模型对应的点云作为输 入,经过点云处理网络提取隐式特征来引导数字人生成。最后,本文对方法进行 实验评测,实验结果显示本文的方法 PC-GET 能够生成姿态可控的数字人 3D 纹 理网格表示。方法 PC-GET 生成的 3D 数字人纹理网格表示可以直接被 3D 渲染 引擎使用,迅速部署于新的光照场景,因而具有极大的实际应用价值。 本文的研究结果为姿势可控的 2D/3D 数字人人体生成做出了贡献,该成果 可用于虚拟现实、游戏和电影等各个领域。 |
学科主题 | 计算机科学技术 |
语种 | 中文 |
页码 | 80 |
源URL | [http://ir.ia.ac.cn/handle/173211/52081] |
专题 | 毕业生_硕士学位论文 |
推荐引用方式 GB/T 7714 | 童雪清. 姿势可控的 2D/3D 数字人人体生成[D]. 2023. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。