基于RGB-D图像的室内场景三维重建算法研究是计算机视觉领域的一项重要任务，其主要目的是通过二维彩色图像与深度信息，估计相机姿态，得到三维场景模型。这项研究在移动机器人自主导航、数字文化遗产保护等领域都有着广泛的应用，而且是虚拟现实（Virtual Reality，VR）与增强现实（Augmented Reality，AR）的关键技术之一。
如何基于消费级RGB-D相机得到准确、完整的室内场景三维模型，是三维重建研究中比较有挑战性的问题。本文针对该问题展开了系统性的研究，提出了多种基于RGB-D图像进行室内场景三维重建的方法。
本文的主要工作和贡献如下：
1、针对深度图像噪声大以及相机位姿估计中的累积误差问题，提出了基于自适应局部-全局配准的室内大场景高精度三维重建方法。首先，分析深度数据中噪声的分布特点，提出自适应双边滤波算法，让值域高斯核函数的方差随着深度信息自动调节，实现图像中远景区域的保边去噪；然后，基于视觉内容对图像序列进行自动分段，段内做局部配准，段间进行闭环检测和全局优化，有效降低相机位姿估计的累积误差，实现大场景三维重建；最后，提出兴趣区域模型，并结合噪声特点进行加权体数据融合，实现模型几何细节的保持。实验结果表明，本方法提高了基于消费级RGB-D相机进行三维重建的系统鲁棒性和重建精度，在基准数据集Augmented ICL-NUIM上的相机平均定位精度和模型平均精度分别比文献中主流方法的实验结果提高了24.2%和15.9%。
2、为了提高在室内弱纹理区域视觉定位的可靠性并提高重建效率，提出了基于CPU平台的快速、鲁棒的室内场景三维重建方法。首先，提出特征点跟踪与边缘信息跟踪相结合的视觉定位算法，使用深度信息辅助边缘的检测与匹配，有效实现快速、鲁棒的视觉定位；然后提出基于相机运动状态与视觉相似度检测的相机视角选择算法，去除场景扫描中回环与相机运动缓慢造成的冗余数据，并采用多分辨率八叉树结构存储数据，实现高效的体数据融合。实验结果表明，本方法在CPU（Intel Core i7-4790）上的相机跟踪速度约45Hz、体数据融合速度可达81Hz，在基准数据集TUM RGB-D和Augmented ICL-NUIM上的相机平均定位精度比文献中主流方法的实验结果提高了约26.8\%，在弱纹理场景的建模效果好于其他方法，而且耗时最少。
3、为了进一步解决深度图像分辨率低和存在数据缺失的问题，提出了一种基于深度学习框架的深度图像超分辨率与补全方法，用以提高三维重建的质量。首先，训练DlapSRN网络从低分辨率深度图像学习高分辨率深度图像，并基于梯度敏感性检测剔除深度图像中的外点，实现深度图像超分辨率；然后，利用两个VGG-16架构的深度网络从深度图像对应的高分辨率彩色图像中学习表面法向与遮挡边界，并对彩色图像做模糊度度量；最后，利用表面法向、遮挡边界以及模糊度信息对深度图像进行联合优化，有效实现深度图像的数据补全。实验结果表明，在含有合成噪声的Middlebury数据集上用本方法增强过的深度图像平均精度高于文献中常见深度图像增强方法约15.9%，在ICL-NUIM数据集上用本方法增强过的深度图像进行三维重建，比用低分辨率深度图像的定位精度提高约74.1%，并实现了模型质量提升。