基于图像的场景重建
文献类型：学位论文
| 作者 | 史利民
|
| 学位类别 | 工学博士 |
| 答辩日期 | 2010-11-23 |
| 授予单位 | 中国科学院研究生院 |
| 授予地点 | 中国科学院自动化研究所 |
| 导师 | 胡占义 |
| 关键词 | 三维重建 立体匹配 表面重建 无缝纹理映射 语义交互 3D reconstruction stereo matching surface reconstruction seamless texture mapping Semantic interaction |
| 其他题名 | Scene Reconstruction from Images |
| 学位专业 | 模式识别与智能系统 |
| 中文摘要 | 基于多视图像的三维重建一直以来都是计算机视觉领域的研究热点，在诸如测量、虚拟现实、电影娱乐以及文化遗产保护等领域都有广泛的应用。 在三维重建技术中，通过拍摄物体的多幅图像，最终恢复出物体和摄像机在实际场景中的位置关系 ，并且还原出物体真实的三维形状。三维重建涉及到特征点提取、图像匹配、多视图几何理论、数值分析方法、 计算机图形学等多个领域的 理论和技术难题。其中每一环节都直接影响到最终重建的效果。 本文围绕三维重建系统的构架，在立体匹配、多视立体重建、网格表面生成以及纹理映射等方面进行了系统的研究。主要内容有： 1. 提出了一种包含遮挡处理的立体匹配算法。首先利用自适应加权窗口匹配算法获得比较可信的匹配代价估计， 然后构造更加合理的能量代价函数并利用Graph cuts优化求解。通过Middlebury上数据测试，本文算法结果在很多指标上和Middlebury上排名在前三位的基于 Graph cuts的匹配算法结果不相上下，且多数指标排在一、二位。 2. 提出了一种基于空间几何信息改进的PMVS算法。首先通过局部法向校正，使重建点云的位置和法向保持了较好的一致性。另外利用 基于曲率的多分辨率扩散策略，在保证得到较好的重建细节的同时，有效地节省了运算时间和空间。 3. 改进了Patrick Labatut提出的基于重建点云的网格表面重建算法。Patrick Labatut 等通过使用Graph Cuts极小化一能量函数来进行大场景的表面重建，得到了比较好的重建结果。我们通过引入计算几何中的极点等概念，修改了原 算法的能量函数，一方面提高了算法的运行效率，同时算法鲁棒性和重建效果都得到了一定提高。 4. 给出一个由PMVS点云生成三角网格模型并利用图像为模型制作无缝纹理的算法方案。该算法方案首先利用Poisson表面重建算法生成物体 的三角网格模型，然后通过MRF优化为模型中每个三角片选择纹理，最后通过求解一个建立在三角网格表面的Poisson方程对模型纹理进行 无缝处理。该算法一方面保证了模型局部纹理的细节特征，另一方面有效地去除了由于光照不同带来的纹理拼接痕迹，使纹理在整体上连 续一致、过渡自然。 5. 针对三维重建算法的纹理依赖性，使其难以对弱纹理场景得到好的重建结果的问题，提出了一种利用语义指导的三维重建的思路。 在利用目前三维重建算法得到的结果基础上，用户通过自然语言交互方式，输入对待重建场景的特定高层语义，进一步改善重建结果。 初步实验结果表明，通过适当构造知识库和输入一些语义知识，可以在很大程度上提高重建效果。 |
| 英文摘要 | Scene reconstruction from multiple images is one of the central problems in computer vision, and finds its applications in a variety of different fields, such as object modeling and recognition, photorealistic rendering, robot navigation, virtual reality, 3D metrology, heritage documentation, and entertainment．3D reconstruction involves different steps, including feature extraction, matching, triangulation and texture mapping etc, each step plays an important role, and directly affects the final reconstruction accuracy and efficiency. Although 3D scene reconstruction has an abundance of literature, a robust reconstruction system is still not at reach currently due to a variety of different issues, such as non-linear illumination changes, several image distortion due to wide view angle changes, scene complexity to cite a few. Hence how to tackle these difficult issues is an urgent task of computer vision community. This thesis is focused on some key issues on 3D reconstruction system, including stereo matching, multi-view stereo reconstruction, mesh generation and texture mapping. Our main contributions include: 1. A robust stereo matching algorithm is proposed. Firstly we use adaptive support-weight correlation approach to get a reliable correlation volume. Then a new energy model is constructed based on this volume. Finally, through minimizing this energy using Graph cuts, the matching problem is solved. Experimental results on the Middlebury data set show that our proposed algorithm has the similar good performance with the top rank Graph Cuts based algorithms listed on the Middlebury homepage. 2. Since the position and normal of reconstructed patches are optimized as a whole in the original PMVS, it will inevitably produce geometry inconsistencies, hence a decrease of the reconstruction accuracy. In addition, PMVS has an inherent large space and time complexity, its space and time loads become unaffordable with high resolution images in practice. To improve the original PMVS, we propose a patch adjusting trick through the scene geometric information to robustify the patch's normal estimation, and a multi-resolution expanding tactic to well balance the computational cost and the reconstruction accuracy. The experiments demonstrate the effectiveness and practicability of our improved algorithm. 3. An algorithm is proposed to reconstruct scene surfaces from multiple calibrated images. It uses at first the 3D Delaunay triangulation of the 3D point ... |
| 语种 | 中文 |
| 其他标识符 | 200718014628059 |
| 源URL | [http://ir.ia.ac.cn/handle/173211/6304]  |
| 专题 | 毕业生_博士学位论文 |
| 推荐引用方式 GB/T 7714 | 史利民. 基于图像的场景重建[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2010. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。