双向长短时记忆模型训练中的空间平滑正则化方法研究
文献类型:期刊论文
作者 | 李文洁; 葛凤培; 张鹏远; 颜永红 |
刊名 | 电子与信息学报
![]() |
出版日期 | 2019 |
卷号 | 41期号:3页码:544-550 |
关键词 | 语音信号处理 空间平滑 双向长短时记忆模型(LSTM) 正则化 过拟合 |
ISSN号 | 1009-5896 |
英文摘要 | 双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果。在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一。该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则。实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4%的词错误率(WER)下降。进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6%的WER下降。 |
CSCD记录号 | CSCD:6434455 |
源URL | [http://ir.xjipc.cas.cn/handle/365002/5684] ![]() |
专题 | 新疆理化技术研究所_多语种信息技术研究室 |
作者单位 | 1.中国科学院声学研究所语言声学与内容理解重点实验室 2.中国科学院大学 3.中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室 |
推荐引用方式 GB/T 7714 | 李文洁,葛凤培,张鹏远,等. 双向长短时记忆模型训练中的空间平滑正则化方法研究[J]. 电子与信息学报,2019,41(3):544-550. |
APA | 李文洁,葛凤培,张鹏远,&颜永红.(2019).双向长短时记忆模型训练中的空间平滑正则化方法研究.电子与信息学报,41(3),544-550. |
MLA | 李文洁,et al."双向长短时记忆模型训练中的空间平滑正则化方法研究".电子与信息学报 41.3(2019):544-550. |
入库方式: OAI收割
来源:新疆理化技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。