基于预训练语言模型的端到端概念体系构建方法
文献类型:会议论文
作者 | 王思懿1,2![]() ![]() ![]() ![]() |
出版日期 | 2023-08-05 |
会议日期 | 2023-8-5 |
会议地点 | 中国哈尔滨市 |
英文摘要 | 概念体系是一种重要的知识资源,描述了概念之间的上下位关系并以层次结构进行组 织。本文致力于研究概念体系的自动构建技术,旨在将给定的概念集合按照上下位关 系组织成树状的概念体系(概念树)。传统方法通常将概念体系构建任务分解成两个 独立的子任务:概念间上下位语义关系的判断和概念层次结构的生成任务。然而,这 两个子任务缺乏信息反馈,容易导致错误累积等问题。近年来,使用预训练语言模型 获取词语的语义特征、判断词语之间的语义关系已经成为一种流行的方法,在概念体 系构建任务中取得了一定的效果,但是这种方法只能对第一个子任务进行建模,并且 仍然存在错误累积的问题。为了解决这个问题并有效地获取词语及其关系的语义特 征,本文提出了一种基于预训练语言模型的端到端概念体系构建方法。该方法一方面 利用预训练语言模型获取概念及其上下位关系的语义信息和部分概念体系的结构信 息,另一方面,利用强化学习端到端地建模概念关系的判断和完整体系结构的生成。 在WordNet数据集上进行的实验表明,本文提出的方法取得了良好的效果。在相同条 件下,本文方法比最好模型在F1值上能取得7.3%的相对性能提升。 |
语种 | 中文 |
源URL | [http://ir.ia.ac.cn/handle/173211/57092] ![]() |
专题 | 多模态人工智能系统全国重点实验室 |
作者单位 | 1.中国科学院大学人工智能学院 2.中国科学院自动化研究所复杂系统认知与决策实验室 |
推荐引用方式 GB/T 7714 | 王思懿,何世柱,刘康,等. 基于预训练语言模型的端到端概念体系构建方法[C]. 见:. 中国哈尔滨市. 2023-8-5. |
入库方式: OAI收割
来源:自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。