多尺度视觉语义增强的多模态命名实体识别方法
文献类型：期刊论文
| 作者 | 王海荣; 徐玺; 王彤; 陈芳萍 |
| 刊名 | 自动化学报
 |
| 出版日期 | 2024 |
| 卷号 | 50期号:6页码:1234-1245 |
| 关键词 | 多模态命名实体识别 多任务学习 多模态融合 Transformer |
| ISSN号 | 0254-4156 |
| DOI | 10.16383/j.aas.c230573 |
| 英文摘要 | 为解决多模态命名实体识别(Multimodal named entity recognition, MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题, 提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semantic enhancement for multimodal named entity recognition method, MSVSE). 该方法提取多种视觉特征用于补全图像语义, 挖掘文本特征与多种视觉特征间的语义交互关系, 生成多尺度视觉语义特征并进行融合, 得到多尺度视觉语义增强的多模态文本表示; 使用视觉实体分类器对多尺度视觉语义特征解码, 实现视觉特征的语义一致性约束; 调用多任务标签解码器挖掘多模态文本表示和文本特征的细粒度语义, 通过联合解码解决语义偏差问题, 从而进一步提高命名实体识别准确度. 为验证该方法的有效性, 在Twitter-2015和Twitter-2017数据集上进行实验, 并与其他10种方法进行对比, 该方法的平均F1值得到提升. |
| 源URL | [http://ir.ia.ac.cn/handle/173211/57747]  |
| 专题 | 自动化研究所_学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 王海荣,徐玺,王彤,等. 多尺度视觉语义增强的多模态命名实体识别方法[J]. 自动化学报,2024,50(6):1234-1245. |
| APA | 王海荣,徐玺,王彤,&陈芳萍.(2024).多尺度视觉语义增强的多模态命名实体识别方法.自动化学报,50(6),1234-1245. |
| MLA | 王海荣,et al."多尺度视觉语义增强的多模态命名实体识别方法".自动化学报 50.6(2024):1234-1245. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。