基于语种相似性挖掘的神经机器翻译语料库扩充方法
文献类型:期刊论文
作者 | 李灿1,2,3; 杨雅婷1,2,3![]() ![]() |
刊名 | 计算机应用
![]() |
出版日期 | 2021 |
卷号 | 41期号:11页码:3145-3150 |
关键词 | 相似语种 语料扩充 机器翻译 字节对编码 音节切分 基于音节切分的字节对编码 “开始-中部-结束”序列标注方法 |
ISSN号 | 1001-9081 |
英文摘要 | 针对低资源语言机器翻译任务上一直存在的标注数据资源匮乏问题,提出了基于语种相似性挖掘的神经机器翻译语料库扩充方法。首先,将维吾尔语和哈萨克语作为相似语言对并将其语料进行混合;然后,对混合后的语料分别进行字节对编码(BPE)处理、音节切分处理以及基于音节切分的BPE处理,从而深度挖掘哈语和维语的相似性;最后,引入"开始-中部-结束(BME)"序列标注方法对语料中已切分完成的音节进行标注,以消除音节输入所带来的一些歧义。在CWMT2015维汉平行语料和哈汉平行语料上的实验结果表明,所提方法相较于不进行特殊语料处理以及BPE语料处理训练所得普通模型在维吾尔语-汉语翻译上的双语评估替补(BLEU)值分别提升了9.66、4.55,在哈萨克语-汉语翻译上的BLEU值分别提升了9.44、4.36。所提方案实现了维语和哈语到汉语的跨语言神经机器翻译,提升了维吾尔语-汉语和哈萨克语-汉语机器翻译的翻译质量,可应用于维语和哈语的语料处理。 |
CSCD记录号 | CSCD:7110526 |
源URL | [http://ir.xjipc.cas.cn/handle/365002/8134] ![]() |
专题 | 新疆理化技术研究所_多语种信息技术研究室 |
通讯作者 | 马玉鹏1,2,3 |
作者单位 | 1.新疆民族语音语言信息处理实验室(中国科学院新疆理化技术研究所) 2.中国科学院大学 3.中国科学院新疆理化技术研究所 |
推荐引用方式 GB/T 7714 | 李灿1,2,3,杨雅婷1,2,3,马玉鹏1,2,3,等. 基于语种相似性挖掘的神经机器翻译语料库扩充方法[J]. 计算机应用,2021,41(11):3145-3150. |
APA | 李灿1,2,3,杨雅婷1,2,3,马玉鹏1,2,3,&董瑞1,2,3.(2021).基于语种相似性挖掘的神经机器翻译语料库扩充方法.计算机应用,41(11),3145-3150. |
MLA | 李灿1,2,3,et al."基于语种相似性挖掘的神经机器翻译语料库扩充方法".计算机应用 41.11(2021):3145-3150. |
入库方式: OAI收割
来源:新疆理化技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。