基于变分信息瓶颈的半监督神经机器翻译
文献类型：期刊论文
| 作者 | 于志强; 余正涛; 黄于欣; 郭军军; 高盛祥 |
| 刊名 | 自动化学报
 |
| 出版日期 | 2022 |
| 卷号 | 48期号:7页码:1678-1689 |
| 关键词 | 神经机器翻译 跨层注意力机制 回译 变分信息瓶颈 |
| ISSN号 | 0254-4156 |
| DOI | 10.16383/j.aas.c190477 |
| 英文摘要 | 变分方法是机器翻译领域的有效方法,其性能较依赖于数据量规模.然而在低资源环境下,平行语料资源匮乏,不能满足变分方法对数据量的需求,因此导致基于变分的模型翻译效果并不理想.针对该问题,本文提出基于变分信息瓶颈的半监督神经机器翻译方法,所提方法的具体思路为:首先在小规模平行语料的基础上,通过引入跨层注意力机制充分利用神经网络各层特征信息,训练得到基础翻译模型;随后,利用基础翻译模型,使用回译方法从单语语料生成含噪声的大规模伪平行语料,对两种平行语料进行合并形成组合语料,使其在规模上能够满足变分方法对数据量的需求;最后,为了减少组合语料中的噪声,利用变分信息瓶颈方法在源与目标之间添加中间表征,通过训练使该表征具有放行重要信息、阻止非重要信息流过的能力,从而达到去除噪声的效果.多个数据集上的实验结果表明,本文所提方法能够显著地提高译文质量,是一种适用于低资源场景的半监督神经机器翻译方法. |
| 源URL | [http://ir.ia.ac.cn/handle/173211/56317]  |
| 专题 | 自动化研究所_学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 于志强,余正涛,黄于欣,等. 基于变分信息瓶颈的半监督神经机器翻译[J]. 自动化学报,2022,48(7):1678-1689. |
| APA | 于志强,余正涛,黄于欣,郭军军,&高盛祥.(2022).基于变分信息瓶颈的半监督神经机器翻译.自动化学报,48(7),1678-1689. |
| MLA | 于志强,et al."基于变分信息瓶颈的半监督神经机器翻译".自动化学报 48.7(2022):1678-1689. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。