抑郁症是一种精神疾病，给个人、家庭和社会都带来严重的负担。早期诊断和治疗可以缓解抑郁症，但是精神科医生在全球范围都十分稀缺。针对这一问题，自动抑郁检测系统是一种有效的解决方案。交互场景是通过一系列激励任务或访谈来考察被试的反应以探索抑郁线索，医生通过交互任务或访谈手段可以诱发出患者的抑郁表现，从而达到诊断的目的。评估个体抑郁程度的交互范式（访谈）呈现出多样性和非统一性，被试的外在表现依赖于相应的交互范式并影响抑郁程度地评估。所以，在抑郁评估模型中考虑交互范式的关联程度可以更好分析被试的抑郁程度。伴随着深度学习技术的发展，现有的抑郁检测系统已经取得了不错的性能。但是在面对交互场景，多模态场景等复杂条件下，未能充分发掘交互场景下的交互信息。针对上述挑战，本文聚焦在交互场景下的多模态抑郁程度评估与可解释性研究，主要创新成果如下
  本文具体围绕访谈问题开展深入研究，首先基于模态有效性分析进行融合语音呈现、视觉行为、文本表达等多个模态信息，设计多种机器学习算法模型评估被试抑郁程度，包括极度梯度提升树、支持向量回归算法、长短期记忆网络和注意力机制、多模态 Transformer 模型，涵盖了不同思想和结构的传统机器学习算法和深度学习算法，排除了不同的模型结构对预测结果的影响。并且多模态信息融合能够利用不同模态之间的互补作用有效提高情感识别性能以及系统鲁棒性。
  再通过机器学习解释框架 SHAP 对上述机器学习模型进行解释，得到不同特征的关联程度，由于 SHAP 值的可加性，将每个访谈问题的 SHAP 值进行求和，探索了访谈问题与被试外在表现和抑郁程度在高层语义空间的映射关系。最后分析模型解释的结果，得到关联性强的访谈问题，将问题的关联程度作为权重，将特征进行加权后再次输入到机器学习模型中进行实验，进一步提升了抑郁程度评估模型的性能。
  本文的研究，不仅探索了访谈问题与被试外在表现和抑郁程度之间的关联性，这不仅可以辅助设计更加准确的抑郁评估模型，有效提高交互场景下多模态抑郁水平评估的准确性。还分析和总结了访谈问题关联性的程度和原因，这有助于指导临床诊断和治疗，以及帮助心理学研究设计抑郁量表等，甚至帮助研究人员深入了解抑郁症的机制。