中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
管道式任务型对话系统关键技术研究

文献类型:学位论文

作者邱俊彦
答辩日期2024-05-18
文献子类博士
关键词任务型对话系统 对话状态跟踪 对话策略 自然语言生成
英文摘要

任务型对话系统旨在以对话形式帮助用户完成任务,研究上主要分为端到端(End-to-End)和管道式(Pipeline)两个流派。端到端模式通过单一模型处理用户输入和系统回复,极大简化了设计,提升了开发效率,但难以与外部知识库进行交互,系统回复没有有效的支撑依据。相比之下,管道式方法通过分步骤处理对话,每步专注于特定任务,提高了与外部知识的互动质量和回答的准确性,但模块众多可能导致误差累积,影响系统整体性能。作为管道式任务型对话系统的关键模块,对话管理和自然语言生成技术取得了显著的进展,但存在以下难点问题:
1)如何有效地建模多轮对话中不同轮次的对话状态相关性; 2)基于强化学习的对话策略模块难以及时给予系统准确的反馈,且未考虑用户意图的多样性,影响了系统的学习效率和有效性; 3)语言生成模块的单轮解码过程难以充分利用回复的全局信息,导致生成的回复可能缺乏流畅性和与上下文的逻辑关联。为了增强管道式任务型对话系统的可靠性,本文针对对话管理和自然语言生成模块中存在的问题,制定了以下研究内容:
1. 提出了一种分层-时序语义槽关联算法
针对现有对话状态跟踪模块忽略了上下文对话状态相关性的问题,本文提出了两种语义槽关联算法,即分层和时序语义槽关联算法。其中,分层语义槽关联算法包括局部和全局机制,主要建立了轮内和跨轮次对话的语义槽关联,时序语义关联槽算法负责建立多轮对话中语义槽中所包含时序信息。该算法使系统能够更好地理解对话的上下文信息,捕捉跨轮次的语义槽联系,从而更精确地更新对话状态。本文在公开数据集 MultiWOZ 2.2 和 WOZ 上进行实验验证,结果显示,在相同数据量情况下,本算法在联合准确率上分别超越了当时最先进方法1.05% 和 1.83%。
2. 提出了一种有序知识蒸馏奖励评估算法
针对基于强化学习的对话策略模块无法感知用户意图及奖励稀疏的问题,本文提出了一种有序知识蒸馏奖励评估算法。具体而言,该算法设计了教师和学生奖励函数,其中教师模型学习特定领域用户意图的先验分布,通过指定学生模型的学习约束,将知识由易到难有序地转移到学生模型中。在训练和预测阶段,学生模型能够根据用户意图给予系统及时的反馈,极大地提升了对话策略模块的学习效率和有效性。通过这种实时反馈机制,对话策略模块能够更快地收敛于更优的策略,并在实际对话中表现更加准确和灵活。在公开数据集 MultiWOZ和 MDC 上的实验证明,本文提出的方法取得了最佳的学习效率及任务成功率。
3. 提出了一种基于序列模型的多轮解码对话生成算法
基于序列到序列(Sequence-to-Sequence, Seq2Seq)模型的对话生成通常只包含单轮解码,且以自回归方式进行,即解码器只能利用历史已生成词的信息来预测一个词。而人类认知过程通常会利用上下文中的信息进行整体规划,并进行反复的优化和提炼。针对该问题,本文提出一种多轮解码对话生成算法。该算法能识别并矫正生成句子中的不合理的片段,并在该过程中持续更新外部知识,不断补充和完善生成的回复,确保其与上下文逻辑的一致性和外部知识的准确性。此外,该算法还是一种模型无关的方法,可以应用于任何基于 Seq2Seq 模型的对话生成模型中。实验结果表明,本文提出的算法在自动评价和人工评价标准下获得了一致的提升,显著提高了生成回复的质量。
4. 管道式任务型对话系统的设计与实现
本文融合了现有的研究成果,构建了一个完整的管道式任务型对话系统。该系统在ConvLab-3 实验平台上进行开发,通过与模拟用户及数据库的互动,精准地跟踪对话状态,有效地制定对话策略,并生成流畅的自然语言响应。相较于当前的生成型大语言模型对话系统,本系统在完成任务的效率和信息的准确性方面均表现出一定优势,展现了其在应对复杂对话任务时的高效率和准确性,并且证明了将多种研究方法综合运用以提高系统性能的有效性。

语种中文
页码144
源URL[http://ir.ia.ac.cn/handle/173211/56512]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
邱俊彦. 管道式任务型对话系统关键技术研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。