随着全球信息交流的加速与多媒体技术的快速发展，互联网上的多源信息日益增多。相比单源信息，多源信息可以提供更加丰富的内容。例如，图文并茂的场景能够比纯文本带来更直观的冲击力，同类主题不同语言的新闻报道可以提供多角度的信息。因此，多模态、多语言信息能够形成信息互补和信息增强，从而有利于生成更为精准的摘要。然而，现有的自动摘要研究通常聚焦于单语言文本，忽略了多模态和多语言信息之间的关联性，从而造成一定程度的信息丢失，进而导致现有方法无法在多源信息场景下获得高质量的摘要。基于此，本文聚焦多源信息融合的自动摘要方法研究，力图整合多模态、多语言信息以提升摘要质量。

论文的主要贡献和创新归纳如下：

1、提出了一种兼顾模态内重要性和模态间相关性的图文式摘要评价方法

针对已有的文摘质量自动评估方法无法对多模态自动摘要中图文并茂场景下摘要进行质量评估的问题，论文提出了一种兼顾模态内重要性和模态间相关性的图文式摘要评价方法，该方法将评价问题划分为文本重要性、图片重要性和图文相关性三个方面，并通过线性回归的方式将这三方面的度量分数进行加权从而得到最终的摘要整体度量得分。实验表明，与现有的自动摘要评价方法相比，论文提出的评价方法与人工评价之间的相关度更高，能够更好地用于评价图文式摘要。

2、提出了一种融合多模态注意力机制的图文式摘要生成方法

针对目前自动摘要方法只能有效利用文本信息生成单一模态摘要的问题，论文提出了一种融合多模态注意力机制的图文式摘要生成方法。该方法将图片与文本的语义信息同时编码，能够更好地捕捉图片和文本的对齐关系，从而利用不同模态的语义表征增强关键信息，生成更精准的图文式摘要。实验表明，在自动构建的数据集上，论文所提出的图文式摘要生成方法在自动评价指标和人工评价方面均优于已有的文本摘要方法。该方法具有良好的通用性，既适用于图片和文本没有显式对齐关系的情况，也能迁移至其它的应用场景和任务。

3、提出了一种生成式的端到端多语言自动摘要方法

针对管道式多语言自动摘要中误差传播问题，论文提出了一种生成式的端到端多语言自动摘要方法。该方法通过融合跨语言自动摘要中的“翻译”模式和单语言自动摘要中的“复制”模式，实现了在零资源情况下训练数据的构建与多语言混合输入的语义融合。实验表明，相比于传统的管道式多语言自动摘要方法，该方法能够显著提升摘要质量。