面向室内外城市场景的三维建模是三维计算机视觉的一项重要内容。其中，稠密点云通常可以通过激光雷达扫描或视觉重建获得。但由于设备精度、光照、遮挡等因素的影响，所获得的稠密点云往往包含一些外点、噪声和缺失。此外，点云是一种较为冗余的表达方式且点之间缺乏几何拓扑关系，不利于可视化渲染和编辑等。鉴于以上问题，本文重点研究室内外城市场景的三维结构化建模，通过将各类高层语义信息嵌入到具有明确几何意义的三维重建流程中，实现从密集点云到稠密网格再到三维矢量模型的逐层抽象和提升。主要工作如下：
（1）大规模点云并行网格化建模。传统的点云网格化算法通常利用点云的几何或可视性信息定义优化函数并全局求解得到稠密网格模型。然而，方法的全局求解使其难以扩展到大规模场景。基于此，本文提出一种有效的“分割-局部重建-融合”策略以从算法侧解决大规模点云重建的资源瓶颈问题。该方法有两个技术创新点：第一，提出一种迭代的自适应分块策略将场景划分为多个子块, 子块边界互相重叠且有更优的重建稳定性；第二，提出一种有效的基于面片中心度的补洞策略以最终获得尽可能完整的表面模型。在多个大规模场景数据集上的实验证明了方法的有效性。
（2）城市建筑 LOD2（Level of Detail 2）级矢量化建模。城市建筑物通常具有较强的几何特征和规整性，使用稠密面片表达不仅高度冗余且缺乏对目标的结构化信息表达。基于此，本文从稠密的纹理网格出发，通过场景语义分割及多源图的屋顶轮廓提取与优化等设计了一套全自动化的城市建筑 LOD2 级矢量化建模系统。该系统突破了传统方法对场景曼哈顿假设的限制，充分利用了二维图像特征和三维模型的几何结构特点，可以高效高质量地并行化重建城市级建筑场景。
（3）室内场景 LOD2 级矢量化建模。与室外建筑物相比，室内场景的结构更加复杂且包含更多的杂乱障碍，使得室内矢量化建模具备更大的挑战性。为此，本文构建了一套全自动的室内 LOD2 级矢量化建模系统。该系统的核心思想是将一个三维建模问题转化为多个二维问题。每一个子问题均被规整为一个可以被全局优化的数学问题。子问题解的并便可得到最终的室内矢量化模型。该方法不仅以处理小型的家居场景，也可以处理具有不同复杂度和特征的诸如地下车库、商超等大型场景。
（4）结合 2D 语义和 3D 几何的室内平面图重建。上述的技术方案主要在预处理阶段使用图像的高层语义分割 3D 数据，后续流程只使用点云的几何信息。该策略难以鲁棒地应对点云的严重缺失或噪声。基于此，本文将从图像中推断的平面实例信息融合到以几何优化为主的建模流程中，增强了对小平面或稀疏点平面的关注度。实验表明，2D 语义和 3D 几何的深度融合可以增强建模系统对各类场景处理的鲁棒性。