单视角三维人体姿态估计研究
文献类型:学位论文
作者 | 陈泽睿![]() |
答辩日期 | 2021-05 |
文献子类 | 硕士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院自动化研究所 |
导师 | 王亮 |
关键词 | 单视角三维人体姿态估计 对抗攻击 神经网络结构搜索 |
学位专业 | 模式识别与智能系统 |
英文摘要 | 随着智能视频分析和人体行为理解技术的发展,三维人体姿态估计任务在计算机视觉领域受到了广泛的关注。作为一项新兴的研究内容,三维人体姿态分析有多种现实应用需求,例如体感游戏中的人物行为控制,以及影视作品中高难度的武打效果等。由于RGB相机是目前最普及的传感器,因此如何从图像中恢复三维人体姿态对于分析人在真实世界中的行为具有重要的意义。相比基于多视角图像的三维人体姿态估计方法,从单视角图像中恢复三维人体姿态具有运行速度快、部署方便、场景适应性强等优势。虽然相关研究已经取得了一些进展,但如何更便捷且鲁棒地恢复人体在三维空间中的姿态仍然面临着诸多的挑战。首先,人体的同一个三维姿态往往对应着多个二维投影,这使得从单视角图像中恢复三维人体姿态变得十分困难。另外,在非严格受控环境下人体的动作和姿态具有高度的多变性也是三维人体姿态估计模型设计中不可回避的难点问题。以卷积神经网络的相关进展为基础,本文针对上述挑战,对单视角三维人体姿态估计任务展开研究。本文取得的研究成果主要包含以下两项: 为了评估现有三维人体姿态估计模型的鲁棒性,本文探索了在对抗样本攻击下三维人体姿态估计模型的性能变化。为了解决这一问题,本文构建了四种类型的三维人体姿态估计模型,其中大多数现有的方法都能够被划分为其中的一类。同时,本文首先提出了针对三维人体姿态估计任务的对抗攻击方式和攻击过程中使用的目标函数。在此基础上,本文通过一系列实验全面地评价了各类型三维人体姿态估计模型的鲁棒性,并为设计更鲁棒的三维人体姿态估计模型提供了有价值的参考依据。 之前的大多数单视角三维人体姿态估计方法均使用单一的神经网络结构去预测人体所有关节的三维坐标。考虑到人体不同部位的形状、运动模式、运动自由度等都是不同的,因此这种方法往往并不能取得最理想的结果。本文首先提出使用神经网络结构搜索的方法为人体的不同部位搜索合适的神经网络结构,并利用这些神经网络结构对人体不同的部位进行更精确的估计。为此,本文在可微分神经网络结构搜索的算法框架内引入了融合计算单元。该计算单元能够自动地将人体的所有部位划分为若干组并分别采用不同的神经网络结构生成人体不同部位的三维热力图,从而能够取得更精确的估计结果。本文所提出的方法在Human3.6M和MuPoTS-3D数据集上验证了有效性并取得了有竞争力的效果。 |
语种 | 中文 |
页码 | 86 |
源URL | [http://ir.ia.ac.cn/handle/173211/44440] ![]() |
专题 | 自动化研究所_智能感知与计算研究中心 |
通讯作者 | 陈泽睿 |
推荐引用方式 GB/T 7714 | 陈泽睿. 单视角三维人体姿态估计研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2021. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。