中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
灵巧手机器人的类人物体交接学习研究

文献类型:学位论文

作者段昊男
答辩日期2024-05-19
文献子类博士
关键词机器人学习 人机交互 物体交接 灵巧手机器人
英文摘要

物体交接作为实现人机交互及人机协作的关键环节,涉及到感知、预测、行动、学习和调整等多维能力的综合运用。使智能机器人在人机物体交接中达到与人类相媲美的自然流畅程度,是其持续发展和广泛应用的一项重大挑战。当前研究已经基于平行二指夹爪实现了主动流畅的物体交接,取得了显著成就。另一方面,仿人灵巧手作为一类模拟人类手部特性的复杂机械结构,能够执行类人的抓取动作,实现多样的抓取姿态,在多个领域展现出广阔的应用前景。利用仿人灵巧手进行人机物体交接不仅可以自然地处理形状尺寸各异的物体,还可进行后续的姿态调整和功能性操作,为智能机器人在家庭服务、柔性制造、深空探测等领域的类人化应用奠定了坚实的基础。

与结构简易的平行二指夹爪相比,仿人灵巧手因其较高的自由度在现实物体交接任务中面临更多挑战。复杂的机械设计增加了其在非结构化环境中与人或物体碰撞的风险,限制了其在人机交互场景中的应用。纵观现有研究,基于灵巧手的人机物体交接面临的主要挑战包括:1)对形状尺寸各异物体的抓取泛化能力不足且抓取配置单一;2)对人类运动的响应能力欠佳;3)对差异化任务场景的适应和感知能力不理想。本研究利用深度学习技术,通过三个阶段的系统设计,实现了灵巧手机器人从静态物体交接到动态物体交接,再到双向物体交接的转变,有效提升了灵巧手机器人在人机物体交接任务中的性能。论文的主要研究成果和创新贡献概述如下:

1. 针对灵巧手机器人在执行物体交接任务时对于形状尺寸各异物体抓取泛化能力不足及抓取配置单一的问题,提出灵巧手机器人的多样物体交接方法框架。该框架采用两种不同精度的相机采集视觉信息,并据此提取物体的高精度点云。为优化灵巧手抓取性能,构建了一种基于物体单视角点云的仿人灵巧手抓取生成方法,旨在解决物体姿态多样性和点云数据稀疏性的问题,并生成包含五种不同抓取模态的高质量抓取配置候选集。为训练该网络,设计了一套高效的抓取标注方法,并基于此在仿真环境中合成了一个大规模抓取数据集。通过一系列的实验,包括仿真抓取、真实机器人交接、系统消融分析、抓取方法性能对比以及用户研究,验证了抓取网络的泛化能力、方法框架的合理性以及交接系统的适应性。本研究成功改善了高自由度灵巧手在物体交接中抓取规划的复杂性,使机器人具备了静态物体交接的能力,并为后续研究的拓展奠定了基础。

2. 针对灵巧手机器人在执行物体交接任务时对人类运动响应能力欠佳的问题,提出灵巧手机器人的响应式物体交接方法框架。该框架仅以高帧率的RGB-D相机作为独立的视觉感知设备,并将交接流程划分为跟随、抓取和响应三个关键模块。在此框架中,机器人通过跟随人手的动作启动交接流程,并在检测到人手的微小运动后触发抓取模块。同时,响应模块在抓取过程中持续运行,监测人手的状态以决定是否中断当前交接并恢复至跟随阶段。为从低精度点云中预测高质量的抓取配置,本研究重构了仿人灵巧手抓取网络。进一步地,为增强交接系统的响应性、柔顺性和安全性,引入基于轨迹插值的碰撞检测功能,并结合抓取置信度、可达性和抓取模态的分布,构建了一个多因素融合的抓取选择策略。本研究通过真实机器人上的多项实验,验证了该方法框架的有效性。实验包括:对多样未知物体进行动态交接测试、抓取选择策略的参数消融分析、方法框架和抓取网络的对比,以及用户研究。实验结果表明,该方法框架在保留对多样物体抓取泛化能力的基础上,通过集成响应机制实现了系统的闭环运行,显著提高了系统对人类运动动态变化的适应性。

3. 针对灵巧手机器人在执行物体交接任务时对差异化任务场景的适应和感知能力不理想的问题,提出灵巧手机器人的人机双向物体交接方法框架,旨在通过融合语言信息强化机器人在多样化环境中的交接能力。该框架采用大语言模型从人类交互指令中推理和分析物体交接过程中的关键先验信息。为赋予机器人作为传递者的技能,设计了一种适用于仿人灵巧手处理杂乱场景的抓取生成方法。此外,引入了对开放类别物体的检测模块,使机器人能够对人类指定的目标执行精确抓取。同时,本研究还实现了机器人对特定类别的物体执行功能性抓取的能力,从而将物体的操作属性融入交接过程。在真实机器人上的实验表明,该框架使机器人具备扮演双重角色的能力,并根据人类多样化的指令有效提高了在差异化交接场景中的交接性能。实验结果也揭示了大语言模型在人机物体交接任务中的应用潜力。

本论文系统地探讨了灵巧手机器人的类人物体交接学习问题,旨在为灵巧手机器人在人机交互任务中的自主操作提供理论基础和技术路线,进而支持其在人类生产生活等领域实现更广泛的应用。通过三个阶段的研究,本论文不仅加深了对灵巧手机器人交接行为的理解,同时也提升了其在实际人机协作场景中的应用潜力,为智能机器人技术的创新发展和应用实践提供了新的思路和方法。

语种中文
页码128
源URL[http://ir.ia.ac.cn/handle/173211/56641]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
段昊男. 灵巧手机器人的类人物体交接学习研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。