基于简单循环单元的深层神经网络机器翻译模型
文献类型：期刊论文
| 作者 | 张文; 冯洋; 刘群 |
| 刊名 | 中文信息学报
 |
| 出版日期 | 2018 |
| 卷号 | 32.0期号:010页码:36 |
| 关键词 | 门控循环单元 梯度消失 残差连接 简单循环单元 |
| ISSN号 | 1003-0077 |
| 英文摘要 | 基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元（gated recurrent unit,GRU）的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元（simple recurrent unit,SRU）代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接（residual connections）的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。 |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/26152]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 张文,冯洋,刘群. 基于简单循环单元的深层神经网络机器翻译模型[J]. 中文信息学报,2018,32.0(010):36. |
| APA | 张文,冯洋,&刘群.(2018).基于简单循环单元的深层神经网络机器翻译模型.中文信息学报,32.0(010),36. |
| MLA | 张文,et al."基于简单循环单元的深层神经网络机器翻译模型".中文信息学报 32.0.010(2018):36. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。