基于信息传递的人体姿态估计方法研究
文献类型:学位论文
作者 | 周鲁 |
答辩日期 | 2021-05-29 |
文献子类 | 博士 |
授予单位 | 中国科学院自动化研究所 |
授予地点 | 中国科学院自动化研究所 |
导师 | 卢汉清 ; 王金桥 |
关键词 | 人体姿态估计 信息传递 姿态语法 空间变换 遮挡感知 |
学位名称 | 工学博士 |
学位专业 | 模式识别与智能系统 |
英文摘要 | 随着成像和存储技术的发展,图像和视频资源正呈现爆炸式的增长。如何从海量数据中提取出有用的结构化信息,对于理解图像和视频至关重要。人是图像视频等数据的核心要素,也是视觉内容的主要目标和表达主体。在复杂的应用场景下实现对人的结构化分析有助于完成行为判别、场景理解等高层任务,因而受到了广泛关注。其中,人体姿态估计旨在给定图像的条件下估计人体关键点的位置,是理解人体语义和分析人体结构的有效手段之一,在行为识别、虚拟现实、智慧医疗、治安防控等多个领域有着广泛的应用。因此,人体姿态估计具有十分重要的学术价值和实用意义,也成了近几年计算机视觉领域的热门课题。近年来,基于深度学习的人体姿态估计方法取得了巨大的成功,有效地提升了人体姿态估计的性能。然而人体姿态估计远没有达到理想中的效果。首先,人体图像存在尺度变化问题。其次,人体是一个非刚体结构,不同的关键点具有不同的运动自由度,从而造成人体姿态的复杂多样。此外,混杂的背景、密集人群中出现的拥挤和遮挡对人体姿态估计也造成了巨大的挑战。因此,本文以深度神经网络为基础,通过不同层级的信息传递算法和合理的网络结构设计来解决人体姿态估计中出现的诸多难题,提升了人体姿态估计的效果。本文主要的工作和贡献有: • 基于双向信息传递和空间通道注意力的人体姿态估计。针对人体姿态估计网络无法充分利用语义和空间细节信息以及特征中存在大量冗余和噪声的缺陷,提出了一种基于双向信息传递和空间通道注意力的人体姿态估计方法。首先,通过引入多尺度双向信息传递机制来促进多个尺度特征间的信息传递,高低尺度特征间的信息交互丰富了各尺度特征的语义和细节信息,而多尺度特征的融合则进一步提升了网络的尺度鲁棒性。其次,针对特征冗余和噪声干扰,本方法引入了语义增强通道注意力机制和尖锐空间注意力机制,旨在不同维度上对特征噪声进行抑制,从而获得更干净的特征表示。在公开数据集的实验结果表明,本方法有效地提升了模型的精度,在多个数据集上取得了同期领先的性能表现。 • 基于空间变换网络的人体姿态估计。针对人体姿态估计网络出现的热度图假阳性预测问题,提出了一种基于空间变换网络的人体姿态估计方法。首先,引入了空间变换网络来促进不同关键点热度图间的信息传递。其次,为了增强空间变换网络的变换能力,引入了肢干引导机制来为信息传递过程提供显式的方向指引。同时利用对抗学习来增强人体肢干预测的质量,从而提供更精确的方向引导信息,提升空间变换网络的性能。此外,为了消除空变换现象,空间变换网络采用加权均方误差损失来削弱背景损失权重,同时引入了卷积随机游走抑制预测噪声。在公开数据集的实验结果表明,本方法有效地减少了热度图中的假阳性预测,相较于基准模型取得了显著的性能提升。 |
语种 | 中文 |
页码 | 138 |
源URL | [http://ir.ia.ac.cn/handle/173211/44916] ![]() |
专题 | 自动化研究所_模式识别国家重点实验室_图像与视频分析团队 |
推荐引用方式 GB/T 7714 | 周鲁. 基于信息传递的人体姿态估计方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2021. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。