基于深度学习的内窥镜图像去烟研究
文献类型:学位论文
作者 | 于喆![]() |
答辩日期 | 2024-05-20 |
文献子类 | 硕士 |
关键词 | 内窥镜图像 图像去烟 深度学习 |
英文摘要 | 微创外科手术已成为外科手术领域的新趋势,相比于传统开放性手术,微创外科手术具有创伤小、疼痛小、恢复快等优势。在微创外科手术中,内窥镜通常用于提供手术视野,同时,广泛应用高频电刀、电凝钩等电外科设备方便了微创手术,并提高了手术效率。然而,在手术过程中医生使用电外科设备进行切割、止血等操作时会产生手术烟雾。产生的烟雾导致医生的视野被遮挡,影响医生的操作,延长手术时间,增加手术的风险。因此,去除微创手术中产生的烟雾对于提升手术的效率和安全性十分重要。现阶段临床上主要使用物理排烟装置去除手术中的烟雾,但是更换物理装置会增加医生的操作负担、延长手术时间,使用高效的内窥镜图像去烟算法可以替代现有的物理除烟装置,减轻医生的负担,增加手术的安全性。目前,内窥镜图像的去烟任务仍面临诸多挑战,如:在无烟图像上进行非必要的去烟、无法从真实的内窥镜手术中收集同一场景下相对应的有烟图像和无烟图像、内窥镜图像去烟算法实际去烟效果有限等。因此,本文针对内窥镜图像去烟任务存在的挑战,围绕有/无烟内窥镜图像分类、有/无烟内窥镜图像数据集构建、内窥镜图像去烟等问题展开研究。本文的主要研究内容和贡献如下: (1)针对在无烟图像上进行非必要的去烟可能导致无烟图像失真的问题,本文提出了一种基于特征提取和融合的有/无烟内窥镜图像分类方法FFSVM,在去烟算法使用之前对图像是否有烟进行判断。根据烟雾生成的先验知识以及烟雾图像的特点,该方法从图像中提取三类特征:HSI颜色特征、边缘特征、暗通道特征。此外,将三类特征根据不同的权重进行组合,使用SVM进行有烟和无烟内窥镜图像的分类。最后,实验验证了该方法在有/无烟内窥镜图像分类任务中良好效果,该方法在测试集上达到了98.67%的分类准确率。 (2)针对无法从真实的内窥镜手术中收集同一场景下相对应的有烟图像和无烟图像的问题,本文使用三维图形渲染引擎Blender生成模拟烟雾图像,与内窥镜手术中真实无烟图像合成对应的有烟图像。生成模拟烟雾图像时采用不同的烟雾生成方式,同时使用随机参数生成多样化的模拟烟雾图像,通过合成无烟图像对应的有烟图像的方式构建了包含同一场景下对应的有/无烟内窥镜图像的数据集,为有监督的深度学习去烟算法的训练和测试提供了数据支持。另外,对合成有烟图像与真实有烟图像之间的相似性进行了验证。 (3)针对现有的内窥镜图像去烟算法去烟效果有限、鲁棒性差的问题,本文提出了一种内窥镜图像去烟算法TUDE-Net,该算法将U-Net和Swin Transformer结合在一起,并引入到内窥镜图像去烟任务中,达到了良好的去烟效果。该算法采用U-Net的上采样、下采样结构,从不同尺度的特征图中学习有烟内窥镜图像多层次的特征;对Swin Transformer模块加以修改,使其更适应内窥镜图像去烟任务,使用修改后的Swin Transformer模块替代CNN模块,同时学习特征的全局和局部信息;在跳跃连接部分引入SKFM融合模块,将多尺度的特征图系统地融合;使用L1损失与MS-SSIM损失相结合的损失函数,同时学习图像的物理特征和视觉感知特征。提出的去烟算法在合成和真实内窥镜图像上有良好的去烟效果,在合成测试集上达到了36.64的PSNR值和0.980的SSIM值,在真实测试集上达到了0.374的FADE值和16.96的BRISQUE值。另外,本文进行了对比实验和消融实验,验证了算法的去烟效果以及各模块的作用,实验结果表明TUDE-Net在合成和真实有烟内窥镜图像上的去烟效果超过现有的其他六种去烟算法。 |
语种 | 中文 |
页码 | 78 |
源URL | [http://ir.ia.ac.cn/handle/173211/57544] ![]() |
专题 | 毕业生_硕士学位论文 |
推荐引用方式 GB/T 7714 | 于喆. 基于深度学习的内窥镜图像去烟研究[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。