机器人灵巧抓取是机器人操作领域最基础、最具有代表性的任务之一，在工
业、服务业、国防和航天领域有着巨大的应用潜力。面对这些非结构化的场景，
机器人如何从中准确、高效地抓取物体是一个非常有挑战性的问题，对机器人的
视觉感知、行为决策和底层控制三个方面提出了很高的要求，非常值得深入研
究。
杂乱场景下机器人灵巧抓取所面临的主要难点有（1）物体的多样性，（2）
场景物体的堆叠和遮挡，（3）高维的机器人抓取规划空间等，给机器人的高效、
准确抓取带来了巨大的挑战。受人类抓取行为的启发，本文重点围绕杂乱场景下
的多任务抓取学习以及仿人五指手灵巧抓取学习两个方面开展研究。为了提高
机器人在杂乱场景下的抓取能力，本文基于多任务学习框架对物体实例、抓取
配置以及碰撞进行联合优化，以实现单视角观测下针对特定物体的无碰撞抓取。
围绕仿人五指手灵巧抓取，本文将五指手抓取方式划分为多种模态，训练深度网
络进行杂乱场景下的精细化抓取配置预测，同时进行物体的功能性抓取区域的
语义分割学习。
论文的主要工作及创新点归纳如下：

1. 杂乱场景下二指平行爪抓取多任务学习。针对机器人抓取过程中缺乏对
场景语义理解的问题，本文提出一种联合实例分割和碰撞检测的二指平行爪抓
取多任务学习框架，对物体语义、机器人抓取位姿以及夹爪与物体可能存在的碰
撞进行联合优化，以获取物体级、无碰撞的二指平行爪抓取配置。实验表明该方
法能够准确、高效地获取大量可执行的机器人抓取配置，并实现针对特定物体的
抓取，在真实场景下的机器人抓取实验中取得了超过76% 的抓取成功率。
2. 杂乱场景下仿人五指手多模式灵巧抓取学习。二指平行爪结构简单、自由
度低，虽然具有一定的抓取物体能力，但在灵巧性方面和人手相距甚远。本文基
于仿人五指手开展机器人的灵巧抓取研究，针对杂乱场景下五指手抓取研究缺
乏相关基准的问题，构建了杂乱场景下仿人五指手抓取合成数据集，并提出一种
基于抓取模态的仿人五指手抓取配置学习方法，能够直接从单视角点云中准确、
高效地生成高质量的灵巧抓取配置，在真实场景下的机器人抓取实验中针对未知物体取得了超过78%的清扫率。
3. 杂乱场景下仿人五指手精细化功能抓取学习。为了进一步发挥五指手的
仿人灵巧抓取的能力，本文开展了杂乱场景下仿人五指手精细化功能抓取的研
究。首先，本文通过构建功能性抓取区域语义分割网络识别物体的功能性抓取区
域，然后基于物体和五指手之间的接触距离对手腕抓取姿态和手指关节角度进
行优化，实现仿人五指手的精细化抓取。实验表明，该方法能够生成更加精细化
且具有一定功能性的仿人五指手抓取配置，在真实场景下的机器人抓取实验中
取得了超过70% 的抓取成功率和80% 的清扫率。