中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于光场成像的三维目标重建关键技术研究

文献类型:学位论文

作者马帅
答辩日期2022-05
文献子类博士
授予单位中国科学院大学
授予地点中国科学院光电技术研究所
关键词光场成像 深度估计 目标检测 三维重建
学位名称工学博士
英文摘要

三维目标重建技术旨在给定深度与纹理信息的情况下重建出目标的三维形貌,并有效地推动三维建模、三维测量、现实世界虚拟化等领域的研究与发展。光场成像是一种新颖的三维成像技术,能同时记录光线的方向与强度信息以实现深度估计,也能获取场景的颜色纹理信息用于目标检测,被认为是最具潜力的三维目标重建技术之一。因此,基于光场成像的三维目标重建技术具有重要的科学研究意义与实际应用价值。深度估计是光场成像三维目标重建的基础。然而,基于光场成像的深度估计算法精度容易受到遮挡的影响,导致三维重建质量降低。此外,目标检测也是三维目标重建的关键因素之一。尽管光场成像能提供丰富的结构特征来改善目标检测结果在弱纹理或遮挡场景中的精度,但是基于光场成像的目标检测方法依然面临光场的结构特征难以提取以及提取到的特征难以融合等问题。针对光场成像三维目标重建的两个关键性技术所面临的问题,本文开展以下几个方面的研究:首先,针对深度估计受遮挡影响的问题,本文对光场的遮挡原理进行深入研究后发现光场角度域图像在遮挡情况下的特性,并明晰了在角度域图中来自被遮挡点的像素仍然保持颜色一致性以及角度域图的中心像素仅对被遮挡点进行成像。基于上述这两点遮挡规律,本文提出一种侧框加权角相干的深度估计方法来处理遮挡,并通过理论分析发现该方法能处理所有单一遮挡物的遮挡与大部分多遮挡物的遮挡。该方法将角度域图像分成多个边框子集,并利用加权策略融合这些子集对应的代价体积,以此提升深度估计精度且处理遮挡。在公开的合成数据集上,其视差图较国际前沿算法在坏像素率(BadPix(0.07))指标上降低1.93%,在均方根误差(MSE)指标上降低27.12%。其次,针对目标检测中光场结构特征的提取与融合问题,本文对光场成像的目标检测原理进行深入分析后发现对重聚焦切片中物体的聚焦清晰度进行度量将有助于提取目标特征。在此基础之上,本文将该规律拓展到深度学习的方法中,并提出注意力机制向导的精化与融合网络来解决光场结构特征的提取与融合问题。该网络利用空间注意力机制关注重聚焦切片中清晰对焦的目标特征,并利用残差机制精化重聚焦切片间的相似特征用于提取结构特征。此外,该网络运用通道注意力机制关注具有目标特征的重聚焦切片,并使用循环神经网络对这些提取到的目标特征进行融合。在三个基准测试集上,本文提出的方法超越20个国际前沿方法,目标检测精度排名第一,并与目前表现最优的方法相比在配准增强指标上提升0.22%,在结构度量指标上提升1.61%,在F-measure指标上提升2.95%,在加权F-measure指标上提升2.96%,在平均绝对误差(MAE)指标上降低15.83%。最后,针对基于光场成像的三维目标重建问题,本文对微透镜阵列光场相机的三维成像原理进行了理论分析,建立了微透镜阵列光场相机的视差与绝对深度之间的数值转换关系,并通过搭建实验系统验证了该转换关系的有效性,实现了准确的深度测量。基于此,本文提出基于光场成像的三维目标重建方案。该方案结合绝对深度图,目标检测掩膜以及微透镜阵列光场相机的标定内参数实现三维目标重建,为微透镜阵列光场相机的三维目标重建开辟了新的道路,具有潜在的实际应用价值。实验结果表明该方案能重建出几乎与实际物体一样的三维形貌,尤其是在遮挡处能获取清晰且尖锐的三维重建边缘。那么,基于光场成像的三维目标重建技术能应用于文物保护、工件建模、虚拟人构建等领域。

语种中文
源URL[http://ir.ioe.ac.cn/handle/181551/10335]  
专题光电技术研究所_光电技术研究所博硕士论文
推荐引用方式
GB/T 7714
马帅. 基于光场成像的三维目标重建关键技术研究[D]. 中国科学院光电技术研究所. 中国科学院大学. 2022.

入库方式: OAI收割

来源:光电技术研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。