基于自适应知识选择的机器阅读理解方法研究
文献类型:学位论文
作者 | 李泽政![]() |
答辩日期 | 2021-05-27 |
文献子类 | 硕士 |
授予单位 | 中国科学院自动化研究所 |
授予地点 | 中国科学院自动化研究所 |
导师 | 刘康 |
关键词 | 机器阅读理解 知识增强 自适应选择 |
学位名称 | 工学硕士 |
学位专业 | 计算机应用技术 |
英文摘要 | 机器阅读理解作为自然语言处理领域的一项重要任务,近些年受到研究者们的极大关注。目前,研究者们已经将其看作是衡量机器理解人类自然语言的重要手段之一,而且将其广泛引用于下一代搜索引擎、智能客服等互联网产品中。因此对其研究具有重要的学术意义和应用价值。 近些年,随着深度学习和预训练语言模型技术的快速发展,机器阅读理解技术也取得了长足的进步。尽管机器阅读理解任务在一些简单模式匹配的任务中取得了较好的性能,但是这些模型依然基于数据驱动的学习范式,并不能像人类一样具备推理所需要的常识。因此面对一些复杂推理型问题时,问答性能大打折扣。如何利用外部知识增强的机器阅读理解的语义理解和推理能力就成为这一任务的难点问题之一,也引起了许多研究者们的关注。目前,研究者们已经开发了多种基于知识增强的机器阅读理解新模型。然而,这些模型并没有讨论外部知识的不同类型对机器阅读理解模型的影响,以及如何对多种来源知识进行自适应选择。本文针对上述问题提出了两种解决方案,主要贡献点如下: 1.针对忽略外部知识来源特点的问题,本文提出了一种自适应区分外部知识来源的机器阅读理解方法。首先,该方法从不同的外部知识库分别检索出显式知识,然后基于注意力机制对不同外部知识库的知识进行打分;其次,我们分别采取硬性和软性的方法把外部知识编码融入机器阅读理解模型,进而推理出答案。本文在ROCStories数据集上通过与基线模型的比较证明了对外部知识来源区分的重要性和有效性。 2.针对不同外部知识来源的知识存在交叠现象的问题,本文提出了一种自适应筛选外部知识的机器阅读理解方法。首先,该方法从各个外部知识库分别检索出显式知识,然后基于知识图谱的图嵌入模型对这些知识进行打分;其次我们把这些知识分到一个相交的集合和一个不相交的集合里,再分别把交集和非交集的知识融入机器阅读理解模型,进而推理出答案。本文在ROCStories数据集上通过与基线模型的比较证明了对外部知识进行筛选的必要性和有效性。 |
语种 | 中文 |
页码 | 76 |
源URL | [http://ir.ia.ac.cn/handle/173211/44813] ![]() |
专题 | 模式识别国家重点实验室_自然语言处理 |
推荐引用方式 GB/T 7714 | 李泽政. 基于自适应知识选择的机器阅读理解方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2021. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。