基于扩散模型的3D点云生成方法
文献类型:学位论文
作者 | 余挺![]() |
答辩日期 | 2024-05-15 |
文献子类 | 硕士 |
关键词 | 3D 生成 扩散模型 连续归一化流 点云处理 |
英文摘要 | 随着科技和图形学的不断进步,3D 资产生成技术在游戏、影视和虚拟现实等领域展现出了广泛的应用潜力。其中,3D 点云的生成任务对于一系列下游任务以及相关领域的研究和应用有着重要价值和意义。传统的 3D 点云数据获取方法通常涉及昂贵的设备、复杂和繁琐的数据采集。近年来,基于机器学习的 3D内容生成技术迅速发展,其中 3D 点云的生成方法也取得了一些尝试和进展。但这类方法也面临着一些问题,包括对大量训练数据的需求、长时间的训练周期、高计算资源的要求,以及生成结果质量的不稳定性和缺乏多样性等挑战。如何更好的捕获点云的几何与形状信息,并利用获得的几何与形状信息指导生成模型的生成过程,从而得到高质量的 3D 点云成为一个有待解决的问题。 本研究致力于优化基于现有 3D 点云数据集的训练和生成方法,通过改进变分自编码器 (Variational Autoencoder:VAE) 生成框架的各个组件来提高对 3D 点云形状高斯隐空间的拟合,同时通过扩散模型的前向扩散过程获得每个扩散步 骤的点云高斯分布,然而在逆向扩散过程中基于更准确的点云形状隐变量来指导去噪步骤,拟合点云高斯分布,从而使模型能够生成更精准的形状点云。 具体而言,本文的研究创新点主要包括以下几个方面: 1,首先,本文采用了基于点-体素卷积神经网络的双分支点云形状几何信息提取器作为本文 VAE 框架的编码器模块,充分发挥了点云和体素各自的优势,并巧妙融合了局部特征和全局特征的提取方式。相较于传统基于 PointNet 的编码方法,在点云重建精度上展现出更为出色的性能。 2,其次,为了进一步提升对点云形状隐变量的高斯空间拟合,本文引入了连续归一化流模块(Continuous Normalizing Flow: CNF)作为点云形状隐空间的学习器。具体来说,本文使用编码器编码的点云形状隐变量作为训练 CNF 模块的输入,优化后的 CNF 模块能够将从标准正态分布中随机采样的值通过逆向映射转换为能够代表点云形状的隐变量,从而更准确地拟合点云形状的高斯隐空间,指导生成阶段的反向扩散过程中的去噪步骤。 3,最后,本文将基于点-体素双分支的点云编码器模块和连续归一化流形状先验学习器模块融入到去噪扩散概率模型 (Denoising Diffusion Probabilistic Model:DDPM) 中,构建了一个扩散式点云生成框架,该框架包括训练阶段和生成阶段。该框架在点云生成任务中表现出良好的性能,能够生成高质量的形状点云。 总之,基于本文提出的方法框架,通过在现有大量数据集上的生成实验、对比实验和消融实验证明了该方法的有效性、准确性和稳定性,该系统可以针对不同形状生成高质量的点云数据。 |
语种 | 中文 |
页码 | 78 |
源URL | [http://ir.ia.ac.cn/handle/173211/56733] ![]() |
专题 | 中国科学院自动化研究所 |
推荐引用方式 GB/T 7714 | 余挺. 基于扩散模型的3D点云生成方法[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。