中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
面向水下环境的时序视觉检测方法研究

文献类型:学位论文

作者陈星宇
答辩日期2020-05-25
文献子类博士
授予单位中国科学院大学
授予地点在线
导师喻俊志 ; 吴正兴
关键词水下机器视觉 目标检测 图像质量恢复 目标跟踪 深度学习 环境感知 水下机器人
学位名称工学博士
学位专业控制理论与控制工程
英文摘要

随着人类开发海洋资源的规模日益扩大,工业、军事与科考等方面的水下作业需求日益增加。由于水下作业难度大、危险系数高,水下机器人应运而生,辅助人类执行水下目标搜索、观测与捕捞等任务。大多数水下作业不仅需要机器人在运动能力方面代替(或部分代替)人类,同时需要其感知周围的环境,自主分析场景中的语义信息。虽然机器人的制造、控制等共性基础技术已日益成熟,但水下机器人的环境感知水平仍有待提高。本文聚焦面向水下机器人的时序目标检测方法。目标检测是一种针对感兴趣目标区域的分类与定位任务。与静态图像相比,机器人视觉的时序关联性较强,而传统的目标检测方法难以捕捉这种时序信息,因此如何利用时序信息提高目标检测的性能是机器人视觉感知的关键问题。由于水对光学信号的吸收与散射,水下图像/视频通常出现视觉退化现象从而造成信息损失,具体表现为颜色失真、对比度下降与雾化问题。这种视觉现象在不同的水环境中有复杂多变的退化性质,为图像处理带来了极大困难。尽管视觉质量恢复技术已得到广泛研究,但却少有研究讨论恢复方法对不同水环境的适应能力、对机器人感知的作用等问题。因此,面向水下机器人的实时、准确、自适应目标感知方法需要进一步研究。本文的主要成果与贡献归纳如下:
1. 针对水下视觉质量恢复方法实时性与环境适应能力不足的问题,提出了基于对抗-评价学习的视觉质量恢复方法。设计了一种多分支判别器来指导生成器同时实现图像内容保存与水下噪声抑制,利用对抗学习与暗通道相似性损失促进生成器产生更真实的图像。为便于评价学习,设计了水下属性指数作为评价分支的学习依据。大量实验验证了所提方法的有效性、实时性与自适应性。
2. 针对现有时序检测方法序列建模能力不强与实时性不足的问题,提出了一种时序单阶段检测器(TSSD)。利用卷积LSTM传播视觉金字塔特征,设计了包含底层单元和高层单元的时序分析模块来提高学习效率。同时,设计了一种注意力卷积LSTM,其中时序注意力机制用于背景抑制与尺度抑制。此外,设计了关联损失与多阶段训练方法来加强学习过程中的时序一致性。在此基础上,提出了基于注意力特征的在线管道分析(OTA)方法实现了多目标跟踪。在公开数据集上的实验结果表明所提框架具有较优的推理速度与检测跟踪性能。单阶段的TSSD在ImageNet VID数据集上达到了65.4% mAP;OTA跟踪模块的推理速度达到了270 FPS。
3. 针对单阶段检测与时序检测的模式局限性,提出了一种包含先验参考框改良、特征采样改良与可变形检测模块的先验偏移检测模式。在此基础上,设计了一种双重改良网络(DRNet)实现了基于两步回归与目标特征精准采样的高性能静态目标检测。针对时序检测任务,设计了时序改良网络(TRNet)与时序双重改良网络(TDRNet),实现了改良信息的时序传播。同时,设计了一种弱改良策略以利用历史改良信息时序地匹配目标运动。实验结果表明所提方法在保持较高推理速度的同时可显著提升检测精度。基于MS COCO与ImageNet VID数据集,单阶段的DRNet达到了42.4% AP与69.4% mAP;TDRNet实现了更优的速度与精度的权衡,最高推理速度达到了70 FPS。
4. 针对静态评估体系难以描述检测器时序性能的问题,本文从机器人的角度出发,认为时序检测的召回连续性和定位稳定性与检测精度同样重要,并提出了一种无参考评价系统来评估检测器的时序性能。在此基础上,提出了在线管道改良方法,提高了检测器的时序性能。面向单目标跟踪任务,提出了小交并比抑制方法,并设计了基于检测的单目标跟踪框架,有效扩展了目标检测方法的应用范围。实验结果验证了所提方法的有效性与在机器人感知任务中的灵活性。
5. 针对视觉质量恢复与目标检测的关系不明确及数据分布对目标检测的影响不清晰的问题,探究了不同质量的数据分布与检测学习的关系,揭示了视觉质量恢复对真实场景目标检测的影响:1)针对分布内的检测,数据分布质量对卷积表达和检测精度的影响可忽略不计;2)针对跨分布的检测,低质量数据分布可带来较高的分布间泛化能力;3)在混合分布的训练中,低质量分布难以得到有效学习;4)视觉质量恢复会降低召回效率,对分布内的检测精度不利;5)视觉质量恢复有效减小了训练阶段与真实场景的数据分布差异,有利于面向野外环境的在线目标检测。最后,设计了面向抓取任务的水下目标感知系统。以基于视觉导航与软体机械臂的水下机器人为验证平台,在真实海洋环境中开展了水下目标感知与抓取实验,实验结果验证了所提水下目标感知系统的有效性。

语种中文
页码166
源URL[http://ir.ia.ac.cn/handle/173211/39056]  
专题自动化研究所_复杂系统管理与控制国家重点实验室_先进机器人控制团队
推荐引用方式
GB/T 7714
陈星宇. 面向水下环境的时序视觉检测方法研究[D]. 在线. 中国科学院大学. 2020.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。