移动平台上融合多传感器的三维跟踪算法研究
文献类型：学位论文
| 作者 | 李傲 |
| 学位类别 | 工程硕士 |
| 答辩日期 | 2015-05-27 |
| 授予单位 | 中国科学院大学 |
| 授予地点 | 中国科学院自动化研究所 |
| 导师 | 吴毅红 |
| 关键词 | 三维跟踪 视觉同步定位与地图创建 视觉与惯性传感器融合测程 增强现实 传感器融合 移动平台 3D tracking SLAM VIO augmented reality sensor fusion mobile platform |
| 其他题名 | Studies on 3D Tracking by Multiple Sensor Fusion on Mobile Platforms |
| 学位专业 | 计算机技术 |
| 中文摘要 | 三维跟踪,即获取设备的三维空间位置以及姿态,是增强现实 (Augmented Reality),视觉同步定位与地图创建 (Simultaneous Localization and Mapping, SLAM),视觉与惯性传感器融合测程 (Visual Inertial Odometry, VIO) 等领域 的核心问题。随着移动设备的发展,计算机视觉技术在移动平台上被越来越广 泛地运用。和个人计算机不同,移动平台的不足在于计算能力有限,而优势在 于配备了多种传感器。本文探索了在有限的计算资源下,利用视觉传感器与惯 性传感器相融合以在移动平台进行三维跟踪的方法。主要贡献如下: (1) 提出了一种基于多传感器信息的移动平台上的实用的尺度估计方法。 该方法首先利用移动平台上的摄像头和惯性传感器,在不借助任何外部测量设 备的情况下,通过令设备进行近似周期运动的方式,对重建场景的尺度因子进 行初步估计;之后,利用扩展卡尔曼滤波器在三维跟踪过程中对尺度因子进行 在线估计。实验表明该方法初步估计阶段得到的估计结果比现有的移动平台上 的相关方法更加准确,而精确估计阶段进一步提高了估计精度,为移动平台上 融合惯性传感器信息的三维跟踪系统提供了一种较为实用的尺度估计方法,解 决了一般情况下尺度因子需要通过一定先验或者实地测量才可得到的问题。 (2) 提出了一种融合传感器信息的移动平台上的鲁棒的摄像机定位方法。 该方法利用平面场景的特点和移动平台上的传感器信息,首先通过视觉定位和 惯性传感器信息获取平面场景在世界坐标系中的姿态。在三维跟踪过程中,基 于平面场景姿态和传感器信息,通过将视频帧进行正视图校正并与平面场景的 模板图像进行匹配的方式引入重定位模块。实验表明,该方法的三维跟踪模块 在保证跟踪效率的前提下,可进行精确的三维跟踪,而重定位模块可保证在摄 像机大幅偏离正视角的情况下,仍具有良好的重定位效果,提升了移动平台上 三维跟踪的鲁棒性。 (3) 构建了一套基于多状态约束的卡尔曼滤波器 (Multi-State Constraint Kalman Filter,MSCKF) 算法的 VIO 系统。MSCKF 算法将一系列的惯性传 感器位姿添加到状态向量中,可以更加有效地利用空间特征点的观测信息,并 且使用了具有正确能观性的线性系统,获得了目前基于滤波器的 VIO 领域中 最好的结果。所构建的系统由离线标定模块,状态预测模块,状态增广模块,状态更新模块,图像处理模块和数据管理模块等组成。离线标定模块用于标定 惯性传感器误差特性。在线运行时,得到新的惯性传感器信息后,使用状态预 测模块对状态和协方差进行预测,当获得新的图像帧时,使用图像处理模块对 图像帧进行特征点检测和描述子匹配,最后利用状态更新模块进行更新。在整 个过程中,使用数据管理模块进行数据关联等操作。在模拟数据和公开数据集 上的实验表明,集成上述模块的基于 MSCKF 算法的 VIO 系统在长距离的测 程工作中,可以达到实时的效果,并具有较高的精度。 |
| 英文摘要 | 3D tracking, which means to obtain the pose of the device, is the core tech- nology for many applications, such as augmented reality, Simultaneous Localiza- tion and Mapping(SLAM) and Visual Inertial Odometry(VIO). With the rapid development of mobile devices, computer vision technology has been widely used on mobile platforms. On contrary to personal computers, the mobile devices are computational capability limited but multiple sensors equipped,like camera and Inertial Measurement Unit(IMU). This thesis explores how to use limited computational resource and sensor fusion to make 3D tracking more robust and efficient. The main contributions are: (1) A new practical scale estimation method on the mobile device is pro- posed. The proposed method uses only the camera and IMU on a mobile device to obtain the initial scale of a reconstructed 3D model by a cylic motion of the device. Then an Extended Kalman Filter(EKF) is designed to improve the initial value while 3D tracking. Experiments show that the proposed method can achive higher precision than existing method on mobile platforms and the EKF further improves the scale estimation, thus the proposed method can solve the problem that the scale factor must be obtained by prior information or measurements. It can be used as a convenient way to estimate scale on mobile platforms. (2) A new robust method which fuses sensor infomation to do 3D tracking on a mobile platform is proposed. For planar scenes, the proposed method uses the sensor and visual localization to obtain the attitude of the scene. Then,the camera image can be warpped to front view and the warped image can be matched directly with the template image of the plane while 3D tracking. A relocalization module is introduced which uses the warpping method to do relo- calization. Experiments on a mobile device show that without losing efficiency, the proposed method can obtain robust tracking results, and the introduced re- localization module can improve the relocalization process by which the pose of the camera can be robustly recovered even on steep angles. (3) A VIO system based on the Multi-State Constraint Kalman Filter(MSCKF) is built. MSCKF is an EKF algorithm that maintains in its state vector a sliding window of pose, which can utilize the measurements of one feature more effi- ciently.Furthermore, MSCKF applies a linear system with correct observability and achives the State-of-Art precision in the area of filter-based VIO. The built sys... |
| 语种 | 中文 |
| 其他标识符 | 2012E8014661092 |
| 源URL | [http://ir.ia.ac.cn/handle/173211/7777]  |
| 专题 | 毕业生_硕士学位论文 |
| 推荐引用方式 GB/T 7714 | 李傲. 移动平台上融合多传感器的三维跟踪算法研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2015. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。