基于多任务学习的神经网络语言模型建模方法
文献类型:会议论文
作者 | 张一珂; 张鹏远; 颜永红 |
出版日期 | 2017 |
会议日期 | 2017-10-11 |
会议地点 | 中国江苏连云港 |
关键词 | 语音识别 语言模型 多任务学习 状态子空间共享 递归神经网络 |
英文摘要 | 针对特定的语言模型建模任务而言,领域相关的语料往往非常稀缺。针对此问题,本文提出了一种基于状态子空间共享的多任务学习模型,并将其应用于多个低资源的递归LSTM神经网络语言模型建模任务中。实验证明,相比于单任务建模方法,本文提出的方法使得语言模型的困惑度在全部任务上均有不同程度的下降。将本文提出的模型与传统的共享隐含层多任务学习模型融合后,在各个任务上,语言模型的困惑度进一步下降。此外,在语音识别任务中,本文提出的方法可以进一步降低识别错误率。 |
源URL | [http://ir.xjipc.cas.cn/handle/365002/5368] ![]() |
专题 | 新疆理化技术研究所_多语种信息技术研究室 |
作者单位 | 中国科学院声学研究所语言声学与内容理解重点实验室;中国科学院大学;中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室 |
推荐引用方式 GB/T 7714 | 张一珂;张鹏远;颜永红. 基于多任务学习的神经网络语言模型建模方法[C]. 见:. 中国江苏连云港. 2017-10-11. |
入库方式: OAI收割
来源:新疆理化技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。