自监督机器人操作任务视觉表征学习方法研究
文献类型:学位论文
作者 | 马文轩![]() |
答辩日期 | 2024-05 |
文献子类 | 硕士 |
关键词 | 自监督学习 机器人操作任务学习 视觉表征学习 具身视觉感知 |
英文摘要 | 随着计算机视觉、机器学习和云计算等领域的迅速发展,新一代信息技术逐渐与机器人领域相互融合。机器人视觉特征的表征学习旨在从大量的视觉数据中提取和操作任务相关的视觉特征。良好的操作任务特征表示能够减轻对后续机器人策略学习的依赖性。因此,机器人操作任务的视觉表征学习有着重要的理论研究意义和实际应用价值。本文研究基于自监督学习的机器人操作任务视觉表征学习方法,利用数据本身蕴含的结构和统计特性,从多视角物体表征对比学习和视频逐帧表示学习两个方面开展研究和实验验证。论文的主要工作如下: 一、针对复杂堆叠场景中目标物体存在遮挡和观测角度差异导致目标分割结果不理想的问题,提出一种多视角一致的自监督目标分割方法。该方法基于帧间相对位姿估计和跨帧物体关联策略,建立像素级和物体级的对应关系。通过多视角观测以自监督的方式优化初始目标分割网络,使得同一物体在多视角观测下具有一致的分割结果和相似的特征表示,而不同物体的特征表示相互远离。实验结果表明多视角一致的自监督目标分割方法能够有效提升初始目标分割网络在复杂机器人操作场景中的性能。 二、针对视频表征学习中固定时间间隔的样本构造方法难以学习不同操作动作的细节的问题,提出一种基于周期预测的自监督视频逐帧表示学习方法。该方法结合时序对比学习和周期预测任务,从机器人操作任务的示教视频中学习同时具备语义连续性和细粒度区分性的视频逐帧表示。最后通过强化学习方式学习机器人具体的操作策略。实验结果表明所提自监督视频逐帧表示学习方法可以有效提高机器人操作任务学习的效率与成功率,具有较好的泛化性和实用性。 三、自监督视觉表征学习机器人平台实验验证,将所提多视角一致的目标分割方法和基于周期预测的视频逐帧表示学习方法应用于真实机器人操作场景,并在四种典型机器人操作任务上进行了实验验证。实验结果表明,自监督学习能够利用视频数据本身的结构信息,在合理设计的自监督辅助任务下,无需人工标签可有效地学习操作任务的视觉特征表示,有望应用于真实机器人应用场景。 |
语种 | 中文 |
页码 | 84 |
源URL | [http://ir.ia.ac.cn/handle/173211/57201] ![]() |
专题 | 毕业生_硕士学位论文 |
推荐引用方式 GB/T 7714 | 马文轩. 自监督机器人操作任务视觉表征学习方法研究[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。