融合篇章信息的神经机器翻译方法研究
文献类型:学位论文
作者 | 亢晓勉![]() |
答辩日期 | 2021-01 |
文献子类 | 博士 |
授予单位 | 中国科学院大学 |
授予地点 | 中国科学院自动化研究所 |
导师 | 宗成庆 |
关键词 | 神经机器翻译 篇章现象 篇章结构 上下文选择 |
学位专业 | 模式识别与智能系统 |
英文摘要 | 近年来,端到端的神经机器翻译方法展现出超越统计机器翻译的性能优势,成为目前机器翻译的主流范式,大量的相关研究工作与应用成果也随之涌现。然而,神经机器翻译系统通常以句子为翻译单位,在面对以文档为输入的场景时无法建模和利用文档内上下文句子之间的依赖关系,导致所生成的译文因脱离篇章语境而出现错翻、衔接性较差等问题。因此,研究如何在神经机器翻译模型中融合篇章信息,对于提升篇章译文的质量和促进机器翻译的应用具有重要的意义。尽管研究者们探索了多种篇章级神经机器翻译方法以融合跨句上下文信息,但目前的模型对上下文信息的利用方式还较为粗浅,存在着建模缺乏针对性、信息类型单一、信息缺失或冗余等问题,这严重制约了篇章级神经机器翻译的发展与应用。所以,探索更为高效和精准的上下文利用方式,对于提升篇章级神经机器翻译的模型性能至关重要。本文主要围绕神经机器翻译模型中篇章信息的建模和融合方法展开研究,旨在改善现有的上下文利用方式的不足,使模型能够更好地借助上下文信息实现译文质量的提升。论文的主要工作和创新点归纳如下: 1、提出了一种增强词汇一致性的神经机器翻译方法 篇章现象的翻译直接影响译文的流畅性。本文的统计表明,词汇不一致问题是中英篇章现象翻译中最严重的错误类型。然而目前的篇章级神经机器翻译方法并未在上下文建模方式中考虑词汇一致性翻译的特点,导致其翻译过程缺乏相应约束。针对此问题,本文提出了一种增强词汇一致性的神经机器翻译方法。该方法能够结合词汇一致性翻译的特点进行针对性建模和上下文信息融合。模型依据词汇一致性翻译时源端重复单词的指示作用,对文档中的重复词与非重复词区别利用,从而生成全局的约束上下文向量,用以对翻译的编码器和解码器输出施加一致性约束。本文构造了中英词汇一致性翻译的评价测试集。实验结果和分析表明,与现有模型相比,所提方法在提升译文质量的同时,显著缓解了翻译中的词汇不一致问题。 2、提出了两种融合篇章结构信息的神经机器翻译方法 目前的篇章级神经机器翻译方法仅使用上下文句子中的词汇信息,而未对篇章修辞结构信息的利用进行充分探索。本文提出了两种融合篇章结构信息的神经机器翻译方法,分别从增强源端单词编码能力和提升模型篇章分析能力的角度出发,探讨篇章结构信息对改善神经机器翻译性能的作用。其中,融合篇章结构位置编码的方法,通过对篇章修辞结构树中的多种绝对位置信息和相对位置信息进行表示,在单词编码中引入篇章结构信息。该方法模型简单,但测试时需借助篇章分析器进行预处理。与之相比,本文提出的另一种基于篇章结构多任务学习的方法则避免了测试时对篇章分析器的依赖。该方法直接在模型内部引入篇章依存结构解析模块,在翻译时通过该模块解析得到篇章单元的向量表示,再将其与机器翻译的编码器和解码器相融合。多任务学习的训练方式使模型兼具篇章分析与翻译的能力。实验分析表明,所提的两种方法均能有效地融合篇章结构信息以提升译文质量。 3、提出了一种面向篇章翻译的动态上下文选择方法 考虑到常见的篇章级神经机器翻译方法中上下文句子的范围固定所造成的信息缺失或冗余的问题,本文提出了一种面向篇章翻译的动态上下文选择方法。该方法能够依据当前源语言句子的翻译需求动态地选择范围和数目可变的有用上下文句子。具体地,该方法引入一个与翻译模型相独立的上下文打分模型,对候选上下文句子进行打分,并按照选择策略依分数选择上下文句子输入翻译模型。打分模型和翻译模型的训练采用端到端的强化学习策略。实验结果和分析表明,所提的方法能够聚焦并选择真正对翻译有用的上下文句子,从而减少上下文信息的缺失和冗余,在多个基准模型上的译文质量均得到了显著提升。 综上所述,本文主要针对目前篇章级神经机器翻译方法中上下文信息利用方式的不足,分别从上下文信息的针对性建模、所利用信息的类型、所融合的信息量三个方面出发,提出了一系列融合篇章信息的神经机器翻译方法。实验表明,本文所提的方法能够有效利用上下文信息以提升译文质量,相关研究成果有力地推动了篇章级神经机器翻译系统的研究与应用。 |
学科主题 | 计算机科学技术 ; 人工智能 |
语种 | 中文 |
页码 | 120 |
源URL | [http://ir.ia.ac.cn/handle/173211/45018] ![]() |
专题 | 模式识别国家重点实验室_自然语言处理 |
推荐引用方式 GB/T 7714 | 亢晓勉. 融合篇章信息的神经机器翻译方法研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2021. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。