中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
面向汉维机器翻译的BERT嵌入研究

文献类型:期刊论文

作者陈玺1,2,3; 杨雅婷1,2,3; 董瑞1,2,3
刊名计算机工程
出版日期2021
卷号47期号:12页码:112-117
关键词汉维翻译 神经机器翻译 预训练语言模型 BERT模型 两段式微调策略
ISSN号1000-3428
英文摘要

针对训练汉维机器翻译模型时汉语-维吾尔语平行语料数据稀疏的问题,将汉语预训练语言BERT模型嵌入到汉维神经机器翻译模型中,以提高汉维机器翻译质量。对比不同汉语BERT预训练模型编码信息的嵌入效果,讨论BERT不同隐藏层编码信息对汉维神经机器翻译效果的影响,并提出一种两段式微调BERT策略,通过对比实验总结出将BERT模型应用在汉维神经机器翻译中的最佳方法。在汉维公开数据集上的实验结果显示,通过该方法可使机器双语互译评估值(BLEU)提升1.64,有效提高汉维机器翻译系统的性能。

CSCD记录号CSCD:7114503
源URL[http://ir.xjipc.cas.cn/handle/365002/8151]  
专题新疆理化技术研究所_多语种信息技术研究室
作者单位1.新疆民族语音语言信息处理实验室
2.中国科学院大学
3.中国科学院新疆理化技术研究所
推荐引用方式
GB/T 7714
陈玺1,2,3,杨雅婷1,2,3,董瑞1,2,3. 面向汉维机器翻译的BERT嵌入研究[J]. 计算机工程,2021,47(12):112-117.
APA 陈玺1,2,3,杨雅婷1,2,3,&董瑞1,2,3.(2021).面向汉维机器翻译的BERT嵌入研究.计算机工程,47(12),112-117.
MLA 陈玺1,2,3,et al."面向汉维机器翻译的BERT嵌入研究".计算机工程 47.12(2021):112-117.

入库方式: OAI收割

来源:新疆理化技术研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。