RNN-BLSTM聲學模型的說話人自適應方法研究.pdf

1、說話人自適應技術利用特定說話人提供的語料，讓語音識別系統(tǒng)在識別性能上針對該說話人有明顯的提升。它可以將說話人無關的識別系統(tǒng)轉換成說話人相關的識別系統(tǒng)，從而和說話人相關的聲學特征相匹配;也可以將說話人相關的聲學特征轉換成說話人無關的聲學特征，從而和說話人無關的識別系統(tǒng)相匹配。因此，說話人自適應技術是為了讓說話人和識別系統(tǒng)盡量匹配。
　　基于雙向長短時記憶單元的遞歸神經(jīng)網(wǎng)絡(recurrent neural network with

2、bidi-rectional Long Short-Term Memory, RNN-BLSTM)聲學模型不僅針對語音的時序進行建模，而且利用一些控制器來控制信息流，從而解決了傳統(tǒng)的基于遞歸神經(jīng)網(wǎng)絡聲學模型的梯度爆炸和梯度消失問題。同時，在一些語音標準數(shù)據(jù)集上基于RNN-BLSTM聲學模型的語音識別系統(tǒng)相比于深度神經(jīng)網(wǎng)絡(Deep NeuralNetworks，DNN)獲得了超過10％的性能提升。雖然RNN-BLSTM聲學模型在識別性能

3、上相比于DNN有了大幅度的提升，但是依舊不能夠解決上述的不匹配問題。因此，在RNN-BLSTM聲學模型上進行說話人自適應技術的研究尤為重要。
　　本文主要圍繞RNN-BLSTM聲學模型上的說話人自適應展開研究。首先，本文將基于說話人編碼(speaker code)的說話人自適應方法應用于RNN-BLSTM聲學模型，并分析RNN-BLSTM的記憶單元(memory cell)中的不同控制器對說話人自適應的識別性能的影響。與此同時，我

4、們還提出一些啟發(fā)式的算法來對基于speaker code的方法進行優(yōu)化和改進，從而進一步地提升識別性能。然后，本文提出了基于深層編碼(deep code，d-code)的離線說話人自適應方法，該方法提供了一種解決基于speaker code的說話人自適應方法的二遍解碼問題的途徑。通過實驗對比，該方法在識別性能上與基于speaker code的方法相接近，并且比同樣不需要二遍解碼的基于鑒別性矢量(identity vector, i-ve