中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于预训练语言模型的连续文本神经解码方法研究

文献类型:学位论文

作者赵心培
答辩日期2024-05
文献子类硕士
关键词自然语言处理,神经解码,文本生成,功能磁共振成像
出版者-
英文摘要

神经解码是一种利用大脑神经活动信号预测受试者感知的刺激或心理状态的技术,是脑机接口技术的重要组成部分。它在认知神经科学研究中具有重要作用,有助于解释大脑的神经表征机制,特别是在理解语言功能方面。研究语言神经解码方法对于探索人脑中与语言相关的表征机制具有重要意义,同时也为建立脑机接口系统提供新的途径,可以帮助那些无法使用口头和肢体语言的患者进行交流。随着脑成像技术和自然语言处理技术的发展,语言神经解码的研究取得了显著进展,尤其是非侵入式解码技术,如功能性磁共振成像(fMRI),在该领域应用最为广泛。尽管非侵入式信号的噪声相对较大,但这些技术仍具有广阔的应用前景。

已有的fMRI语言解码研究主要集中在单词级别的解码任务上,或倾向于对单词或句子进行分类,这些任务与脑机接口系统的实际应用存在较大差距。连续文本的神经解码任务旨在直接解码生成连贯的句子级文本,更贴近真实的脑机接口应用场景。由于以往文本生成技术的限制,无法生成连贯的自然语言文本。预训练语言模型的快速发展使文本生成技术取得了显著进展,基于预训练语言模型,研究人员尝试了各种生成式解码任务。然而,直接利用fMRI图像进行连续文本解码的研究较少,尽管有研究展示了这一技术的可行性,但生成的准确率仍然较低。连续文本神经解码技术有望为实用的语言神经解码器的发展奠定基础。

本文研究如何从fMRI到连续自然文本的解码方法,探索基于预训练语言模型的非侵入性神经解码技术的可行性。论文的主要工作和创新点如下:

1. 一种基于映射引导框架的神经解码方法

为了解决已有连续解码方法解码方式不直接、生成效果差、所使用的线性模型难以适用等问题,本文提出了一种基于映射引导框架的神经解码方法。该框架分为两个阶段:第一阶段通过数据增强和对比学习技术提高模型对神经影像噪声的映射能力;第二阶段结合预训练的文本生成模型,利用映射器预测的文本嵌入来引导生成与这些嵌入相关的文本。实验结果表明,与已有的方法相比,本文方法具有更高的解码相似度,并且简化了从大脑活动重建语言的任务,强调了优化大脑到文本嵌入的映射过程的重要性。

2. 一种面向汉语的神经解码方法

为了解决现阶段的已有连续解码方法无法直接应用于汉语的问题,本文提出了一种面向汉语的神经解码方法。该方法调整了汉语文本的生成方式,设计了针对汉语的过滤词法和常用词表,使模型能够减少重复词的生成,更广泛地遍历更多类型的文本。实验结果表明,在汉语数据集的各被试中,本文方法均表现出了解码技术的有效性,为汉语的连续文本解码提供了良好的设计与模型参考,缩小了汉语解码领域的空白。

学科主题计算机科学技术 ; 人工智能 ; 自然语言处理
WOS记录号WOS:-
语种中文
页码66
DOI标识-
URL标识查看原文
CSCD记录号CSCD:-
源URL[http://ir.ia.ac.cn/handle/173211/57640]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
赵心培. 基于预训练语言模型的连续文本神经解码方法研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。