基于语义SLAM的增强现实虚实融合关键技术研究
文献类型:学位论文
作者 | 张琪![]() |
答辩日期 | 2020-05-22 |
文献子类 | 硕士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院自动化所 |
导师 | 蒋永实 |
关键词 | 增强现实 语义SLAM 虚实融合 动态环境 语义地图 |
学位专业 | 计算机应用技术 |
英文摘要 | 增强现实是一种将虚拟信息通过虚实融合技术叠加到真实场景恰当位置,以 此提升用户与真实环境之间的交互体验的技术,它广泛应用于科普教育、军事仿 真、文化旅游、医养健康、装备维保等众多领域。虚实融合技术是增强现实领域 的关键技术之一,决定了虚拟信息在真实环境中的虚实遮挡效果,直接影响着用 户的真实感体验。当前基于环境理解的虚实融合技术在动态环境下存在相机位 姿估计的准确度低、缺乏对环境的语义理解的问题,导致增强现实系统真实感 不强。本文结合深度神经网络和视觉 SLAM 框架构建了语义 SLAM 系统,对于 动态场景下位姿估计优化方法和物体级语义地图的构建和表示方法进行了探究, 一定程度上解决了虚实融合问题,改善了增强现实系统的物理遮挡效果,提升了 用户体验的真实感。本文的主要工作和贡献如下: 1. 针对动态场景下基于特征的视觉 SLAM 系统相机位姿估计精度低的问题, 本文提出了双阶段的动态外点滤除算法。此算法结合基于语义类别的自适 应阈值生成方法和基于极线约束的动态一致性检测方法,能够对于不同类 别的物体自适应生成不同的判定条件,检测处于运动状态的物体并移除其 轮廓内的特征点。此算法在 TUM RGB-D 数据集上进行了验证,在动态场 景下相机位姿轨迹估计精度相比 ORB-SLAM2 有数量级式的提升,提升幅 度在大部分指标上优于业界先进系统,高度动态场景下的绝对轨迹误差降 低比例在 82.15% 至 97.88% 之间,表明此方法能够有效提升基于特征的视觉 SLAM 系统在动态场景下的相机位姿估计精度和鲁棒性。 2. 针对现有建图方法缺乏对环境高层语义理解导致虚实融合真实感不强的问 题,本文提出了基于语义 SLAM 的物体级三维语义点云地图的构建和表示 方法,通过基于物体运动状态的跟踪策略,对环境中的物体分别建模、跟 踪,并进行语义关联,建立物体级语义地图。此外,还提出了针对大尺度 室外场景的基于局部特征的预置语义库地图的构建和表示方法,提升了增 强现实系统在室内场景和室外场景下对环境的感知能力,进而帮助虚实融 合,提高了用户体验的真实感和系统的鲁棒性。 3. 结合上述研究的方法,本文设计并实现了一个增强现实原型系统。通过该系统,用户能够与真实环境进行交互,识别用户点击的物体,在真实场景 中注册虚拟信息,虚拟信息会根据真实场景中物体的空间位置关系而产生 遮挡,并适应场景的动态变化。此系统在虚实融合阶段进行了优化,拥有 较好的物理遮挡效果,提升了用户体验的真实感,证实了本文所研究方法 在增强现实领域的实用价值。 |
语种 | 中文 |
页码 | 96 |
源URL | [http://ir.ia.ac.cn/handle/173211/39164] ![]() |
专题 | 毕业生_硕士学位论文 |
推荐引用方式 GB/T 7714 | 张琪. 基于语义SLAM的增强现实虚实融合关键技术研究[D]. 中国科学院自动化所. 中国科学院大学. 2020. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。