中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
室内环境下基于视觉的移动机器人抓取研究

文献类型:学位论文

作者任广力
答辩日期2024-05-14
文献子类博士
关键词移动机器人抓取 视觉SLAM 小样本物体检测 抓取检测 卷积神经网络
英文摘要

  移动机器人智能抓取是多样化服务的重要保障,它不仅需要实时自主的定位能力使其到达作业区域,还需检测作业区域内的目标物体,并确定最佳抓取结果,以引导机械臂的运动。高效的抓取离不开自主定位、物体检测与抓取检测的协同配合,本文面向室内环境下基于视觉的移动机器人抓取,围绕这三个方面深入开展研究,提升机器人室内环境下的作业水平。论文的主要内容如下:

  首先,介绍了室内环境下基于视觉的移动机器人抓取研究背景和研究意义,从视觉SLAM、小样本物体检测、机器人抓取检测三方面进行了现状综述,并对论文内容和结构进行了介绍。

  其次,提出了一种基于点、线和共面线交点的单目视觉同时定位与建图方法PLJ-SLAM,通过为相机位姿估计提供更多的特征约束,提升移动机器人在复杂室内环境下的定位性能。一方面,根据图像上交点到线段的距离挖掘潜在共面线2D交点,进而基于三视图几何约束,综合3D线对应和2D交点对应,获得候选的共面线交点,经共面性验证后构建3D共面线交点特征。另一方面,构造了统一的优化函数,通过最小化点、线和共面线交点特征的整体重投影误差,提高BA优化的准确性,其中,考虑到共面线交点的不确定性,引入了动态更新的共面置信度以调整相应交点的协方差矩阵,强化高置信度共面线交点在BA优化中的贡献。在数据集和实际场景中的实验结果表明了所提方法的有效性。

  第三,考虑到实际环境中机器人需要检测的物体并不总有大规模的标注数据支持检测网络的训练,提出了一种基于双域特征融合和组块级注意力的小样本物体检测卷积神经网络DFFPA首先在原始基类域通路上添加一个平行的初级域通路,构建双通路骨干网络,通过丰富类别无关特征的方式,提升对新类的适应性。为了自适应地融合双通路中的同尺寸特征对,联合通道注意力和特征门单元设计了双域特征融合模块,以生成更具辨别力的特征。进一步,参考人类对物体的差异化组件式感知,引入了组块级注意力,通过捕捉特征图中的关键组块实现特征精修,强化特征表征能力。同时,还采用加权分类损失辅助网络训练,以在新类样本微调时保持基类训练效果。所提方法在数据集和实际场景下进行了验证。

  第四,针对编码器-解码器回归抓取检测网络的上采样过程中因反卷积结果不均匀叠加导致棋盘格伪影的问题,提出了基于孪生反卷积和多维注意力的抓取检测卷积神经网络TDMAG-Net。该网络在标准反卷积原始分支基础上,添加了平行的孪生分支以构建孪生反卷积。孪生分支通过基于相同权重卷积核的反卷积操作生成重叠度矩阵,以此对原始分支的输出特征图进行平滑,消除棋盘格伪影。通过级联孪生反卷积,网络逐步将输出特征图恢复至与输入相同的尺寸,实现了稳定的像素级抓取预测。同时,为了向解码器提供更具辨别力的特征,构建了由残差多头自注意力、交叉-幅度注意力、原始补偿和通道注意力组成的多维注意力颈单元,对编码器输出特征进行精修。此外,还通过整合不同感受野特征提高编码器的特征提取能力。所提方法在CornellJacquard数据集上抓取检测的图像级准确率分别达到98.87%92.55%,表明方法的有效性,实际抓取实验进一步验证了其性能。

  第五,设计了移动机器人抓取系统软件架构,包括视觉定位层、物体检测层、抓取检测层和机器人控制层,在ROS基础上实现了上述视觉SLAM、小样本物体检测和抓取检测方法的集成。同时,考虑到目标物体可能运动的情形,使用无迹卡尔曼滤波对物体状态进行预测以便更好地抓取。其有效性通过室内环境下的移动机器人抓取实验进行了验证。

  最后,对本文工作进行了总结,并指出了需要进一步开展的研究工作。

语种中文
页码134
源URL[http://ir.ia.ac.cn/handle/173211/56647]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
任广力. 室内环境下基于视觉的移动机器人抓取研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。