中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于深度学习的点云法向估计和多视图重建技术研究

文献类型:学位论文

作者李克强
答辩日期2023-05-22
文献子类硕士
ISSN号
关键词深度学习 法向估计 多尺度图卷积 多视图三维重建 神经隐式表达
出版者
英文摘要

三维重建是三维计算机视觉和计算机图形学领域中的基本问题,广泛应用于虚拟现实、 数字人、 自动驾驶、柔性制造等领域。传统的三维重建流程一般是对多视图进行特征检测和匹配,利用运动恢复结构方法估计相机位姿。并利用多视角立体视觉得到三维稠密点云,然后为点云估计法向进行曲面重建,最终恢复并输出网格模型。近年来随着深度学习领域的发展,三维重建结合深度学习技术涌现了大量的研究与应用。本文重点面向点云法向估计与多视图三维重建这两个三维重建的关键技术展开研究:表面重建通常依赖点云法向量作为理解物体和场景的几何和语义的基本特征,因此研究一种准确的点云法向估计方法对三维重建至关重要;此外对于多视图三维重建问题,传统方法通常流程繁琐,过程耗时较长,直接从多视角图片重建出三维网格模型是当前的研究热点。

本文围绕着以上两个主要方面展开研究,主要的研究工作如下:


(1)对于无序点云的法向估计问题,本文提出了一种基于多尺度图卷积表达的点云法向估计方法。不同于大多数基
于深度学习的方法采用从输入数据提取出的特征直接回归法向量这一思路,本文提出的方法通过网络学习权重来自适应地选择邻域点,通过加权最小二乘算法拟合曲面,从而计算点的法向。在具体做法中,本文考虑到点的法向是曲面的局部性质,并且明显受局部邻域几何关系影响,之前的方法直接采用局部曲面片进行法向估计,通常忽略同一局部曲面片点之间的内在关系。基于这个出发点,本文重点关注点云的局部特征,设计了一种端到端的点云法向估计框架,能够有效的利用局部曲面片中点之间的局部信息进行法向估计,从
而实现准确且鲁棒的法向估计结果, 在基准数据集PCPNet上平均角度误差为10.26,超过基线方法DeepFit,误差下降13.05\%。


(2)对于多视图三维重建问题,本文提出一种神经隐式函数曲面重建方法,对于输入场景的多视角图片,学习颜色场和神经符号距离函数场,分别表示场景的外观和几何,从而实现从2D图片到3D模型的高保真重建。应用体渲染技术,可以直接通过颜色重建损失,对学习的神经符号距离函数场和颜色场进行监督。通过插值得到符号距离函数为0的采样点,运用多视图几何一致性约束, 能够显著改善曲面重建的质量。在此基础上,本文采用容易获得的单目几何先验去约束训练过程,可以提高神经隐式表征的三维重建质量。在不同的数据集上的广泛实验表明,本文提出的几何引导方法能够重建高质量的表面,并且在质量上优于现有的大部分算法, 在基准数据集DTU上总体平均距离为0.66$mm$,超过基线方法NeuS和MonoSDF,误差分别下降0.18$mm$和0.07$mm$。

学科主题模式识别
WOS记录号WOS:无
语种中文
页码92
DOI标识
URL标识查看原文
CSCD记录号CSCD:无
源URL[http://ir.ia.ac.cn/handle/173211/51869]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
李克强. 基于深度学习的点云法向估计和多视图重建技术研究[D]. 2023.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。