白内障显微手术作为最常见的眼科手术之一，是白内障最主要的治疗方法。 如何提高白内障手术的成功率及患者预后是一项重要的临床研究课题。随着人 口老龄化加剧，白内障患病人数逐年增加，手术医师短缺的问题日益严峻。针对 上述问题，一种有效的解决途径是研发具有自主导航能力的白内障显微手术机 器人。为了实现更智能的机器人辅助手术功能，需要机器人对复杂的手术操作流 程拥有感知理解能力。机器人在手术过程中会产生丰富的多模态数据，影像数据 作为其中最容易获取、成本最低的数据模态，实现基于影像的手术操作识别能够 大幅降低研发成本。本文在国家自然基金重点项目“白内障显微手术机器人影像 处理与自主导航关键问题研究”（U20A20196）等项目的支持下，针对赋予白内 障显微手术机器人视觉智能感知这一目标，结合手术医生实施白内障手术的具 体需求，围绕基于显微影像的白内障手术操作阶段识别、手术器械识别、器械— 阶段二元组识别展开研究。论文的主要内容和创新点如下：

(1) 针对基于影像的白内障手术操作阶段识别任务，提出了一种两阶段的时空因果 Transformer网络。该方法使用不同类型的 Transformer 来分解手术操作的空间和时间维度。首先，空间Transformer使用迁移学习将预训练的视觉Transformer作为空间特征提取器来建模同一时间索引下的空间Token嵌入。与传统的卷积神经网络相比，它能够对图像的全局空间关系进行建模。其次，时序Transformer通过聚合不同时间索引帧的空间Token嵌入，能够学习操作阶段的时序上下文信息。最后，还设计了一种对偶金字塔结构来捕获多尺度的时序上下文信息，缓解操作阶段持续时间变化剧烈的问题。该网络的参数是高效利用的，在两个不同粒度的手术数据集上分别实现了优异的操作阶段识别性能。

(2) 针对基于影像的白内障手术器械识别任务，提出了一种端到端的循环图卷积网络。该方法将空间相关性推理和时序推理相结合。首先，本文构建了手术器械先验图来引入器械共现知识，通过图推理对器械之间的潜在空间相关性进行建模。其次，利用循环神经网络从时间连续的空间特征中捕获时序上下文。最后，结合器械相关语义和时序上下文对器械视觉特征进行校正和聚合。实验结果表明，该方法能有效结合两种推理，缓解器械形变遮挡问题，提高器械识别精度。

(3) 针对基于影像的白内障手术器械—阶段二元组识别任务，提出了一种端到端的快慢路径蒸馏网络。该方法是一种新颖的硬参数共享多任务结构，利用不同时间分辨率的双流网络对器械和操作阶段的时空特征进行分解。首先，通过共享快慢路径编码器为两个任务提供浅层共享特征，使用任务特定层学 习每个任务特定的高级语义特征。其次，为了缓解特征共享冲突，设计了任务特定蒸馏知识迁移模块。通过浅层快慢路径学习深层不同任务分支的高级语义知识，增强快慢路径编码器对不同类型特征的建模能力。最后，利用动态权重平均方法进行多个损失权重的动态调整。实验结果表明，该模型能够在短期时序依赖下实现对白内障手术操作阶段的精确识别。