中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
面向智慧医疗的人体参数化建模技术

文献类型:学位论文

作者周仝希
答辩日期2024-05
文献子类硕士
关键词人体参数化建模 多模态融合 逆运动学 智慧医疗
英文摘要

随着互联网、大数据、云计算、虚拟现实、人工智能等前沿科技的快速发展,信息技术深入赋能传统产业。智慧医疗作为人工智能与医学领域的融合产物,在医学影像、辅助诊断、药物研发、健康管理和疾病预测等方向具有广阔的发展前景。人体参数化建模技术是计算机视觉领域的热点研究课题,在医疗场景中,可以根据人体体外图像,重建医生或患者的数字人模型,以实现健康监测、医学教学、定位导航及手术监控等流程的智慧化。

然而,医疗场景的环境通常十分复杂,存在着诸如人体被覆盖或遮挡、光照条件较弱等特点,为从图像中估计人体的姿态与形状信息带来了挑战。而当前主流的参数化建模算法主要以单模态RGB图像为输入,构建基于自然场景图像特点的编码及解码网络,重建仅包含人体皮肤的参数化模型,难以直接应用于智慧医疗场景。因此,本文旨在探索如何设计有效的人体参数化建模网络,以对患者和医生进行姿态及形状估计,在理论和实践层面对面向智慧医疗场景的数据集采集与标注、网络结构设计与实验、以及算法部署与应用进行研究。论文的主要工作和创新点归纳如下:

首先,构建了面向智慧医疗场景的人体参数化建模数据集。为解决医疗数据集匮乏的问题,采用了公开数据集和自主采集数据等方式,构造了适用于三种不同医疗流程的数据集:面向患者的健康监测数据集、面向患者的定位导航数据集以及面向医生的手术室监控数据集。根据输入模态将数据集划分为RGB数据集和RGB-D数据集,并设计了深度学习与优化相结合的自动标注算法,提高了数据标注的效率和准确性,为网络训练提供了数据支持。

其次,提出了面向智慧医疗场景的人体参数化建模深度学习网络。在编码器部分,设计了基于软注意力机制的多模态融合结构,使网络能够自适应分配RGB模态和深度模态的特征权重,并根据图像的遮挡和光照特点有效融合RGB-D特征,提升了网络在极端条件的鲁棒性。在解码器部分,设计了基于解析逆运动学的姿态解码结构,将姿态参数的求解划分为人体3D关键点检测和逆运动学解算两阶段算法,提高了姿态参数估计的准确性。在线性蒙皮层部分,将SMPL皮肤模型蒙皮层重新建模为皮肤-骨骼-动脉模型蒙皮层,使得输入姿态参数和形状参数能够同时重建人体外部皮肤模型和内部骨骼、动脉结构模型,以获得更直观且详细的人体信息。

最后,设计了面向智慧医疗场景的人体参数化建模算法部署流程。将模型部署于基于深度相机的视觉系统中,并应用于全自动超声扫查机器人视觉系统和智慧医院监控系统。在全自动超声扫查机器人视觉系统中,利用参数化模型实现了对不同体型姿态患者器官的自动化定位,减轻了医生的负担。在智慧医院监控系统中,利用参数化模型实现了对病房中患者及手术室中医生动作的实时监控,提升了医院管理的效率。

实验结果表明,与其他主流算法对比,本文提出的算法在公开数据集上取得了有竞争力的效果,并对遮挡、覆盖、光照弱等极端条件有较高的鲁棒性。

语种中文
页码62
源URL[http://ir.ia.ac.cn/handle/173211/57619]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
周仝希. 面向智慧医疗的人体参数化建模技术[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。