作为计算机视觉和计算机图形学中的研究热点，三维人体与手物交互重建旨在通过提取二维图像中的有效信息，重建虚拟的三维人体、人手和物体。随着算法技术的发展和硬件算力的提升，元宇宙、数字人等概念开始进入人们的日常生活中。三维人体与手物交互重建作为核心技术，在教育、体育、医疗、交通、娱乐等众多领域拥有广阔的应用前景。由于人体通常会与周围环境进行交互，而手部是人体与外界物体接触最频繁的部位，手物交互重建能够使计算机理解人类的行为，感知交互物体的客观存在，在虚拟现实、机器人控制和人机交互等领域有巨大的发展潜能。

由于手机、相机等设备在日常生活中的普及，本文围绕基于单目RGB图像的三维人体和手物交互重建展开。然而，由于缺乏深度信息，直接从单张图像中恢复三维结构是有歧义的。此外，人体与手部的姿态复杂多样，手物交互之间也存在相互遮挡，给现有算法带来了挑战。为了提升重建性能，本文按照从独立到交互的思路，围绕基于参数化网格约束的三维人体和手物交互重建展开研究。首先，借助人体参数化模型网格引入结构先验，构建个性化图进行三维人体的姿态和形状估计。其次，在手物交互重建中，由于现有的方法没有充分利用接触信息导致重建结果不够理想，对接触进行建模并估计手部参数化网格与交互物体的接触状态，以此作为手物交互的重要信息。最后，对估计的接触信息进行结构化编码，从而辅助模板未知的手持物体实现逼真合理的隐式重建。

本文的研究工作和创新点归纳如下：

1、基于个性化图约束的三维人体网格重建。

在基于单目图像的三维人体网格重建任务中，针对恢复的人体网格与图像无法对齐的问题，本文提出了一种基于参数化模型构建个性化图的三维人体网格重建方法。现有基于卷积神经网络的方法在训练和推理过程中将提取的特征重组，丢失了人体的空间结构信息；基于图神经网络的方法有效地利用了人体模型的类图性质，但是通常利用相同的人体模板模型为不同的样本构建图，忽略了个体的几何感知。因此，本文将两类方法相结合，提出了一种名为个性化图生成的端到端方法，利用中间预测的粗糙人体网格构建个体几何感知图，引入结构约束信息。首先，本方法使用初始的卷积模块为每个样本回归粗糙的人体参数化网格。然后，借助预测的三维网格从二维的特征图中提取局部特征，并将这些几何感知的特征与粗糙的人体模型相结合以构建图结构。此外，根据初始网格自适应地生成面向人体的图邻接矩阵，从而考虑人体网格顶点之间的全身关系，进一步增强对身体几何形状的感知。最后，本方法引入图注意力机制，使模型更多地关注人体边缘和四肢等容易重建错误的部位，从而得到更加准确的重建结果。在四个人体重建数据集上的定量实验及更多的定性比较表明，所提出的方法在室内和户外等现实场景中的身体遮挡、光照变换、视觉歧义等复杂情况下较先前方法有显著的提升。

2、基于多级网格图约束的三维手物接触状态估计。

在基于单目图像的三维手物接触状态估计任务中，针对接触预测依赖物体三维几何模板的问题，本文基于手部参数化模型网格对接触进行显式建模并设计了物体几何模板未知的手物接触状态估计方法。现有的方法通常根据手部与物体网格的距离判断两者的接触状态，从而无法处理几何模板未知的陌生物体，应用场景受到极大的限制。然而，三维接触信息同时存在于手部和物体之间，在交互物体模板未知的情况下，手部参数化网格表面同样包含接触信息。因此，本文提出利用单目图像包含的视觉信息以及手部网格提供的结构约束，直接预测每个手部顶点与交互物体发生接触的概率。本文设计了多级网格图，基于手部参数化网格分别构造了区域级和顶点级的网格图，从而提供多尺度的结构约束。为了预测准确的接触概率，本文提出了一种从粗到细的学习框架，利用多级图变换器联合学习区域和顶点级的接触状态。实验结果表明，所提出的方法在多个手物交互数据集中取得了优异的结果，并且对来自手部或物体的遮挡非常鲁棒，为接触感知的手物交互重建打下了坚实的基础。

3、显式接触约束和隐式表征结合的三维手物交互重建。

在基于单目图像的三维手物交互重建任务中，针对手物交互处的重建结果不理想的问题，本文提出了一种基于手部参数化网格构建的结构化接触编码，用以辅助手持物体的隐式重建。现有的方法通常使用隐式函数重建几何模板未知的手持物体，由于没有利用接触信息，或者仅使用了吸引和排斥等接触损失函数约束手物交互，导致交互重建的效果较差。因此，本文将显式的手物接触预测与隐式的物体表征相结合，以此促进手物交互的重建。具体的，首先使用现有的方法进行手部网格重建，将估计的接触信息锚定到相应的手部网格顶点上作为结构化接触编码。然后，由于隐式函数在整个三维空间中是连续的，采用稀疏卷积将离散的接触状态从手部参数化网格表面扩散到附近物体所处的三维空间，并利用三线性插值实现在任意位置处查询接触特征以构建物体的隐式神经表示，有效地指导物体的隐式重建。接下来，利用估计的接触概率构造接触感知的交互损失函数，实现了更加灵活准确的接触约束。实验结果表明，所提出的方法在取得优异指标的同时，可以大幅改善手物接触部分的重建，得到视觉上更加合理的手物交互重建结果。