基于增量学习的机器人开放式目标分拣关键技术研究
文献类型:学位论文
作者 | 邓杰仁![]() |
答辩日期 | 2024-05-16 |
文献子类 | 博士 |
关键词 | 机器人分拣 增量式目标分类 增量式目标检测 增量式具身自举 增量式目标分拣 |
英文摘要 | 随着我国2035创新型战略的深入推进,智能机器人成为未来发展的方向。其中,多种类目标物体的分拣是智能机器人研究的重要内容之一。在无人超市,无人仓库以及无人物流等涉及机器人分拣应用的场景中,分拣的目标往往是开放式的,即分拣的目标的物体种类会不断地变化与更新。现有的大部分机器人分拣系统构建在传统模式识别或深度学习的基础上,遵守封闭世界假设,缺乏应对不断更新的物体的能力。本研究针对开放式目标分拣这个问题,基于增量学习并围绕增量式目标分类、增量式目标检测、增量式具身自举以及机器人增量式目标分拣展开研究,旨在为机器人开放式目标分拣提供理论指导和技术支撑。本文的主要工作如下: 1、针对增量式目标分类中出现的灾难性遗忘以及语义混淆问题,提出了一种基于联合加参微调以及双重记忆回放的增量式目标分类方法。增量式目标分类的目的是学会区分不断到来的新物体或类别,而不忘记已学物体或类别。基于预训练基础模型,联合加参微调方法结合提示词微调与适应器微调,以实现模型更好的稳定性与可塑性平衡,缓解灾难性问题。在联合加参微调的模型结构基础上,分别在高层语义和底层语义引入内存高效的范例原型回放以及组合式记忆回放,提供内存高效的跨阶段监督,以进一步缓解灾难性遗忘以及语义混淆。实验结果表明,所提出的方法能够仅用少量的记忆内存有效地改善灾难性遗忘以及语义混淆带来的负面影响,提高增量式目标分类的准确性。 2、针对增量式目标检测中定位与分类任务耦合放大遗忘的问题,提出了一种基于多模态联合加参微调以及零干扰重参化适应的增量式目标检测方法。增量式目标检测需要在学会区分不断到来的新物体或类别的基础上,对目标物体进行定位。视觉语言预训练的基础目标检测模型具有类别无关的特征。多模态联合加参微调在视觉语言预训练目标检测模型的基础上,将类别相关的知识与类别无关的知识进行解耦,以防止类别与定位互相耦合放大目标检测受到的遗忘。在此基础上,提出零干扰重参化适应以约束多模态联合加参微调方法,以进一步防止遗忘并保留模型的零样本泛化能力。实验结果表明,所提出的方法能够有效的防止目标检测模型在下游任务以及预训练任务的遗忘,保证已学类别目标检测的精度以及对未学类别的泛化性。 3、针对现有增量式具身自举方法对错误标注鲁棒性不强的问题,提出了一种基于自适应错误标注抑制以及自监督冗余标注增强的增量式具身自举方法。增量式具身自举的目的是让机器人在作业环境中主动收集样本、自动标注并自主学习,从而减少对于人工标注的依赖。为了增强增量式具身自举对于错误标注的鲁棒性,提出了自适应错误标注抑制。自适应错误标注抑制包括分支输出抑制以及范例原型约束,分别利用了显性正确原型记忆以及隐性正确参数记忆对新的样本进行相合性约束,以抑制错误标注对于模型学习的负面影响。自监督冗余标注增强在自适应错误标注抑制提供的鲁棒性基础上,通过具身化的多视角点云匹配、多视角分类投票以及跨视角冗余标注,引入更多的正确样本,以提升增量式具身自举的所能带来的增益。 4、为了更好地实现开放式目标分拣,提出了一套新颖的识别与抓取解耦的增量式分拣算法框架,基于已提出方法研发了机器人增量式智能分拣系统,并基于该系统对四个主要工作的方法进行验证。为了避免物体识别与物体抓取耦合放大可能出现的遗忘,采用了识别与抓取解耦的增量式目标分拣框架,将增量式目标分拣分为了增量式目标检测与类别无关抓取位姿估计。目标物体增量式识别的过程在增量式目标检测中完成,而类别无关抓取位姿估计负责实现通用的抓取位姿预测。在此框架基础上,提出了中心筛选的抓取位姿估计方法以增强物体抓取的稳定性,同时提出了抓取与检测的多视角融合以实现完整分拣。结合提出的增量式目标检测方法、增量式具身自举方法以及增量式分拣框架,实现了一套可自举的机器人增量式分拣系统。基于实际的机器人系统的实验结果表明,本文所提出的方法能够更精准地帮助机器人完成分拣任务,且能够在环境中进行自举而无需过多人工标注,从而验证了所提出的增量式目标检测方法、增量式具身自举方法以及增量式目标分拣框架对于开放式目标分拣场景的有效性。 |
语种 | 中文 |
页码 | 136 |
源URL | [http://ir.ia.ac.cn/handle/173211/57374] ![]() |
专题 | 毕业生_博士学位论文 |
推荐引用方式 GB/T 7714 | 邓杰仁. 基于增量学习的机器人开放式目标分拣关键技术研究[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。