随着信息感知技术的迅猛发展，各行业领域累积了大量的日志、文本、图像、音乐、视频等多媒体数据。跨媒体既表现为复杂媒体对象混合并存，又表现为各类媒体对象形成复杂的关联关系和组织结构。如何将非结构化的多模态数据转化为结构化的知识，是极具挑战的问题。同时，将知识信息融入到推理过程中可以增强推理算法的可靠性、可解释性与可用性。因此，开展领域跨媒体知识表达与推理应用研究具有重要的理论意义与应用价值。

    领域跨媒体数据具有多模态、跨媒体异构的特点，为其表达与推理研究带来挑战。传统的数据表示方法难以建模数据中实体、关系、事理、常识等知识要素，因此无法实现知识的深度理解。领域知识图谱对大规模数据之间的关系有很强的表达能力。使用领域知识图谱既能进行高效的信息检索，又能进行推理、挖掘隐含知识，开展药物推荐、智能导医等相关应用研究。本研究围绕如何设计有效的方法来表示和推理领域跨媒体数据展开，在医学健康领域，就表达与推理两个层次展开研究。领域跨媒体知识表达是推理的基础。在表达方面，针对多模态异构性与高阶事理结构对数据中的知识进行建模。在推理方面，研究如何将学到的知识融入到推理应用中，提高推理应用的可靠性、可解释性与可用性。

    论文的主要工作与创新点归纳如下：

    一、研究多模态领域知识图谱表示学习方法。医学知识图谱的表示学习是疾病诊断、医疗问答等智能医疗应用的基础。医学知识图谱中的实体可以携带非结构化的多模态内容，例如图像和文本。同时，知识图谱中实体邻居节点的数目差异较大，实体和关系的类型也十分丰富。为了刻画多模态知识图谱中丰富的信息，本文引入生成对抗网络，有效利用实体的多模态信息，并缓解知识图谱中的模态缺失问题。本文设计了多关系特征聚合网络，缓解了图稀疏性问题，有效利用知识图谱复杂结构信息。多关系特征聚合网络通过层次注意力机制有选择地聚合邻居节点信息，刻画了医疗知识图谱中复杂的结构信息与丰富的语义信息，获取知识图谱的丰富语义特征。

    二、研究高阶事件图谱的建模。传统知识图谱中仅包含实体之间的静态事实联系，这不足以使模型学习到丰富全面的实体表示。而知识不仅包含静态事实和属性，而且需要关注与实体关联的动态事件。知识图谱中的三元组仅涉及两个实体，而事件能够同时捕获多个实体之间的关系。为了刻画高阶事件之间的时序关系，进一步增强知识图谱的表达能力，本文引入了门控图神经网络，充分刻画事件图谱中事件之间多跳依赖关系。本文定义了一个医学事件预测任务来验证事件表示的有效性。同时，本文使用跨模态患者个人信息，进一步提升个性化事件预测能力。

    三、研究知识联合的可靠药物推荐方法。药物推荐系统旨在根据一组症状推荐一组特定的药物。为了在稀疏数据上推荐药物，提升推理的可靠性，本文提出一种多任务学习方法，通过共享知识图谱表示任务与药物推荐任务的隐含知识，指导任务专用模型建模药物与症状之间的关联。本文构建了药物属性图，在分子结构、药物类别等层面挖掘药物之间内部的相似性，进一步提升推荐效果。通过对医学知识图谱与药物属性图的建模，获得症状与药物的丰富表示，缓解了药物推荐中遇到的数据稀疏问题。在多任务框架下，迭代训练知识图谱嵌入模型和药物推荐模型，使得两个任务性能都得到了提升。

    四、研究知识感知的可解释性医疗问答方法。可解释性和准确性是医疗问答的两个主要关注点。现有的方法集中在准确性上，不能为检索到的回答提供合理解释。为了在提高准确性的基础上，提升回答的可解释性，本文提出了基于多模态知识感知注意力机制的医疗问答方法，融合领域知识，挖掘问答对之间基于医学知识图谱语义路径的潜在交互信息，提高回答检索的准确性。同时提出了一种层次注意力机制，计算候选路径的重要程度，模拟专业回答者推理过程，为检索到的回答提供可解释性，提高了回答的可信度。

    五、研究知识增强的自然语言回复生成方法。自然语言生成已成为对话系统中的一项基本任务。基于循环神经网络的自然语言回复生成方法编码对话上下文，并将其解码为回复。这样的方法易生成单一的回复。本文提出了互注意力模块，通过计算上下文间的注意力矩阵，建模对话上下文的重要性差异，为生成上下文相关的有意义的回复提供基础。同时，本文提出了知识感知条件自编码器，同时对显式语意（上下文中的单词）与隐式常识（会话历史相关的外部知识）进行建模，生成丰富、不重复的回复。