基于单次推理的多人姿态估计关键技术研究
文献类型:学位论文
作者 | 王海鑫![]() |
答辩日期 | 2024-05-13 |
文献子类 | 博士 |
关键词 | 人体姿态估计 计算机视觉 多人 单次推理 关键点分组 半监督学习 全卷积网络 |
英文摘要 | 人体姿态估计任务是计算机视觉领域的基础问题之一,旨在精准地从二维图像中识别并定位出人体各关键点位置。在多人场景下,人体姿态估计任务不仅需要定位关键点位置,还需要将检测到的关键点分配到不同的人体实例中。 早期的多人姿态估计方法往往采用多次前向推理的方式,即首先采用目标检测技术来定位人体实例,继而对每个检测出的人体单独裁剪并输入到单人姿态估计模型中,逐一定位其关键点。然而,这种分步、重复裁剪的方式不仅计算成本高昂,而且易引发误差累积,难以满足现代应用对模型实时性的要求。为了解决这一挑战,基于单次推理的多人体姿态估计方法近年来相继被提出。基于单次推理的多人体姿态估计方法旨在通过一次的前向推理直接计算出图像中所有人的姿态,摒弃了重复的单人姿态估计过程,提升了系统的响应速度和运行稳定性。尽管基于单次推理的方法在简化流程和提高效率上有明显优势,但在实际应用中仍面临诸多问题。包括:如何在人群密集、遮挡严重的场景下提升关键点检测和分组的鲁棒性,如何使模型对人体尺度变化鲁棒。因此,优化基于单次推理的多人姿态估计方法,使其在复杂场景中依旧能保持高准确度和鲁棒性,是一项兼具实际价值和科研难度的重要课题。 本文研究了基于单次推理的多人姿态估计技术,剖析了现有方法的优点与不足,探索了有效的特征表示方法和人体关键点回归策略,以克服多人环境中由于拥挤场景、复杂分布、尺度变化等引起的姿态估计不准,鲁棒性不足等难题。同时,本文也从计算效率角度出发,分析了现阶段端到端方法的不足,提出了高效的单阶段多人姿态估计方法。此外,本文还提出一种基于单次推理范式的半监督多人姿态估计方法,利用未标注数据中的多目标信息提升多人姿态估计模型的鲁棒性。 本文的主要工作和创新点归纳如下: 1)本文分析了关联嵌入方法在拥挤场景下因身份嵌入线性不可分而导致的关键点误分组问题。为解决此问题,本文提出了耦合嵌入方法,该方法通过在损失函数中增加额外的正则化项约束,将人体尺度信息融入到身份嵌入向量中,使身份嵌入能够学习到稀疏的分布,降低了拥挤场景下的关键点分组的误差。实验显示,耦合嵌入方法在不同遮挡程度和人体实例数量下,其关键点分组的鲁棒性都优于关联嵌入方法。此外,耦合嵌入在具有代表性的公开数据集上取得了当时所有自底向上方法中最先进的性能。 2)本文针对基于单次推理的多人姿态估计方法设计了一种的新的半监督学习框架,利用未标记数据中的关键点信息和实例信息来提升模型鲁棒性,以应对数据复杂分布带来的挑战。该框架通过关键点聚类算法生成包含实例信息的伪标签。这一方法适用于自底向上和单阶段方法,有效地在标注数量有限的条件下提高了基于单次推理的模型的鲁棒性。 实验显示,在不同的标注比例下,该框架在公开数据集上都能够提升基线方法的精度。相比于已有的基于多次推理范式的半监督框架,该方法可以直接提取原始未标注数据中的多目标信息而不需要额外的人体检测框信息。 3)本文提出了一种基于全卷积网络的端到端多人姿态估计方法,在计算复杂度上优于现有的基于Transformer的端到端方法。该方法采用了一种非对齐的中心-偏移表示方式,通过用语义上更为稳定的中心点来替代传统几何中心,增强了人体检测的稳定性与准确性。同时,该方法还设计了肢体感知自适应回归策略,提升了模型学习上下文信息的能力,优化了其在拥挤场景中的关键点定位的鲁棒性。实验显示,与基于Transformer结构的端到端方法相比,该方法最大能将训练内存消耗降到前者的11\%,并取得了更快的推理速度和更高的精度。此外,该方法在公开数据集上取得了超越当时其他单阶段和自底向上方法的精度。 4)本文针对单阶段多人姿态估计方法中人体尺度变化带来的挑战,提出了一种尺度变化压缩策略,以构建对尺度变换不敏感的特征空间,增强模型对尺度变化的鲁棒性。同时,构建了一个粗到细的预测框架,以弥补尺度压缩带来的回归精度损失。此外,为应对复杂上下文带来的挑战,本文还设计了骨骼信息引导的自适应激活层,借助上下文中的肢体信息来调整卷积计算的感受野,从而提升模型提取上下文特征的能力。相对于已有的单阶段方法,本文所提出方法在公开数据集上取得了当时最优的精度,缩小了单阶段方法与现有自顶向下方法在精度上的差距。 |
学科主题 | 模式识别 |
语种 | 中文 |
页码 | 124 |
源URL | [http://ir.ia.ac.cn/handle/173211/56620] ![]() |
专题 | 毕业生_博士学位论文 |
推荐引用方式 GB/T 7714 | 王海鑫. 基于单次推理的多人姿态估计关键技术研究[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。