基于深度学习的手势识别及空间人机交互应用研究
文献类型：学位论文
| 作者 | 高庆
|
| 答辩日期 | 2019-11-20 |
| 授予单位 | 中国科学院沈阳自动化研究所 |
| 授予地点 | 沈阳 |
| 导师 | 李杨民 ; 刘金国 |
| 关键词 | 人机交互 空间机器人 手势识别 深度学习 |
| 学位名称 | 博士 |
| 学位专业 | 机械电子工程 |
| 其他题名 | Research on Hand Gesture Recognition Based on Deep Learning and Space Human-robot Interaction Application |
| 英文摘要 | 本文阐述了手势识别及空间人机交互技术的研究背景和重要意义，在相关理论学习和研究的基础上，对目前主流的手势识别技术和人机交互技术进行了深入研究和学习，提出了针对航天领域的宇航员手部检测、手势识别及空间人机交互等方法。结合深度学习和多模态融合的理论知识，进行了如下研究工作：针对基于深度学习的手部检测方面，将手部检测定位与人体骨架跟踪相结合，提出了一种用于双手检测和跟踪的方法，解决了在多种手势操作下对宇航员左、右手的高效识别和区分问题；针对基于表现特征的手势识别，提出了一种多流的深度神经网络结构，融合了手势的颜色、深度及肌电特征信息，实现了对多种手势更精确的识别和分类；针对基于姿态估计的手势识别方面，采用将手势检测与手势姿态估计方法相结合的方法，可实现更加精确、快速的手部姿态估计效果，再通过提取的骨架特征与颜色特征相融合的方式对手势进行识别，可实现更加准确的手势识别效果；此外，初步搭建了一套基于宇航员助手机器人的空间人机交互平台，并设计了一套空间人机交互手势，可实现宇航员通过手势控制机器人操作。本文的具体工作包括以下四个方面的研究内容：（1）基于深度学习的双手检测方法研究。考虑到人类在观察他人的手部时除了根据手部本身的特征之外还会结合人体的结构特征的特点，模拟人类观察检测手部的方式，将根据手部特征的手部检测定位和根据人体结构特征的手部检测定位相结合的方法来对人体的手部进行检测和定位。设计了一种并联双流的网络结构，并联的两个子网络分别采用改进的SSD网络和人体姿态估计方法提取手部本身的特征和人体结构的特征，再采用一定的融合方式将检测结果进行融合，得到最终的人的手部检测和定位结果。据我们所知，这是第一次采用该方法进行双手的检测和定位技术。（2）基于表现特征的手势识别方法研究。手势的表现特征指手势通过图像能显现出的特征，如手势表现出的颜色、形状、尺寸等特征。本文提出了一种新的手势识别方法，它采用多流深度融合结构。通过融合不同的手势表现特征信息，来实现手势识别率提高的效果。其中，对手势的彩色图像和深度图像进行融合，并结合手势检测方法，实现了对多种交互手势的识别。另外，提出了数据一致性方法，将不同空间结构的肌电信号和图像数据进行融合，实现了对不同手势的识别，并将此方法应用于机械手抓取的交互控制中，实现了通过手势对机械手的控制。（3）基于姿态估计的手势识别方法研究。对手势姿态的估计能够获得手势更精细的特征，有助于手势的识别。本文提出了一种基于姿态估计的手势识别方法，采用手势检测的方法来提高手势姿态估计的速度，并结合手势的姿态特征和表现特征，并采用3DCNN+ConvLSTM的方法对动态手势特征进行提取，可实现手势识别准确率的提高。（4）面向宇航员手势的空间机器人交互控制方法研究。针对空间机器人交互控制系统需求，设计了一款用于空间站舱内的宇航员助手机器人。并针对实现对该机器人的控制设计了一套基于手势的人机交互系统平台。针对该平台，对交互手势集进行设计，并对宇航员手势、宇航员助手机器人、视觉传感器坐标系的建立以及机器人运动的动力学和运动学进行研究。此外，对于手势人机交互系统的稳定性，设计了一种基于有限状态机的动态映射方法。从多个方面实现了从宇航员手势操作到机器人运动控制的转化过程。以上四个方面的研究，为面向空间机器人的手势识别和人机交互提供了一定的理论基础和技术支持。 |
| 语种 | 中文 |
| 产权排序 | 1 |
| 页码 | 128页 |
| 源URL | [http://ir.sia.cn/handle/173321/25939]  |
| 专题 | 沈阳自动化研究所_空间自动化技术研究室 |
| 推荐引用方式 GB/T 7714 | 高庆. 基于深度学习的手势识别及空间人机交互应用研究[D]. 沈阳. 中国科学院沈阳自动化研究所. 2019. |
入库方式： OAI收割
来源：沈阳自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。