基于跨模态实体信息融合的神经机器翻译方法
文献类型:期刊论文
作者 | 黄鑫1,2![]() ![]() ![]() |
刊名 | 自动化学报
![]() |
出版日期 | 2023 |
卷号 | 49期号:6页码:1343-1353 |
关键词 | 实体重构 跨模态学习 多任务学习 多模态机器翻译 |
英文摘要 | 现有多模态机器翻译 (Multi-modal machine translation, MMT) 方法将图片与待翻译文本进行句子级别的语义 融合. 这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题, 并进一步造成了视觉信息与文本信息无法在翻 译模型中充分融合语义的问题. 针对这些问题, 提出了一种跨模态实体重构 (Cross-modal entity reconstruction, CER) 方 法. 区别于将完整的图片输入到翻译模型中, 该方法显式对齐文本与图像中的实体, 通过文本上下文与一种模态的实体的组 合来重构另一种模态的实体, 最终达到实体级的跨模态语义融合的目的, 通过多任务学习方法将 CER 模型与翻译模型结 合, 达到提升翻译质量的目的. 该方法在多模态翻译数据集的两个语言对上取得了最佳的翻译准确率. 进一步的分析实验表 明, 该方法能够有效提升模型在翻译过程中对源端文本实体的忠实度. |
语种 | 中文 |
源URL | [http://ir.ia.ac.cn/handle/173211/52156] ![]() |
专题 | 模式识别国家重点实验室_自然语言处理 |
通讯作者 | 宗成庆 |
作者单位 | 1.中国科学院自动化研究所模式识别国家重点实验室 2.中国科学院大学人工智能学院 |
推荐引用方式 GB/T 7714 | 黄鑫,张家俊,宗成庆. 基于跨模态实体信息融合的神经机器翻译方法[J]. 自动化学报,2023,49(6):1343-1353. |
APA | 黄鑫,张家俊,&宗成庆.(2023).基于跨模态实体信息融合的神经机器翻译方法.自动化学报,49(6),1343-1353. |
MLA | 黄鑫,et al."基于跨模态实体信息融合的神经机器翻译方法".自动化学报 49.6(2023):1343-1353. |
入库方式: OAI收割
来源:自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。