基于深層神經(jīng)網(wǎng)絡(luò)的語音識(shí)別聲學(xué)建模研究.pdf

1、語音識(shí)別的終極目標(biāo)是使人與機(jī)器之間能夠像人與人之間一樣自如的交流。聲學(xué)模型性能的好壞直接影響到整個(gè)語音識(shí)別系統(tǒng)的準(zhǔn)確性。過去幾十年，高斯混合模型-隱馬爾科夫模型(Gaussian Mixture Model-Hidden Markov Model，GMM-HMM)在語音識(shí)別聲學(xué)建模方法中一直起著主導(dǎo)作用。GMM-HMM框架由于具備較完善的理論體系，包括區(qū)分性訓(xùn)練、自適應(yīng)等成熟的配套算法，以及HTK等開源工具，而受到眾多研究者的追捧。近年

2、來，深度學(xué)習(xí)(DeepLearning)理論在機(jī)器學(xué)習(xí)領(lǐng)域興起，其對(duì)語音識(shí)別方向也產(chǎn)生了深遠(yuǎn)影響。基于深度神經(jīng)網(wǎng)絡(luò)-隱馬爾科夫模型(Deep Neural Network-Hidden Markov Model，DNN-HMM)的聲學(xué)模型混合建模方案迅速取代傳統(tǒng)的GMM-HMM框架，成為當(dāng)前主流語音識(shí)別系統(tǒng)的標(biāo)配，基于DNN-HMM新框架的相關(guān)算法研究也受到語音識(shí)別領(lǐng)域的廣泛關(guān)注。在這樣的背景下，本論文圍繞深度神經(jīng)網(wǎng)絡(luò)聲學(xué)建模及其在自動(dòng)

3、語音識(shí)別中的應(yīng)用，進(jìn)行了較系統(tǒng)而深入的研究。
　　首先，為了提升基于神經(jīng)網(wǎng)絡(luò)的聲學(xué)建模的能力，本文分別從特征域和模型域兩個(gè)方面進(jìn)行了探索。在特征域，本文借鑒傳統(tǒng)TANDEM的方法將神經(jīng)網(wǎng)絡(luò)看成一種提取后驗(yàn)概率特征的預(yù)處理器，并基于所提取的區(qū)分性特征進(jìn)行GMM-HMM建模。本論文提出了一種基于競(jìng)爭(zhēng)信息的TANDEM系統(tǒng)改進(jìn)方法。具體來說，我們首先基于解碼過程中所生成的詞圖挑選訓(xùn)練樣本的競(jìng)爭(zhēng)信息，并基于該競(jìng)爭(zhēng)樣本訓(xùn)練相應(yīng)的“競(jìng)爭(zhēng)信息”

4、神經(jīng)網(wǎng)絡(luò)，以對(duì)傳統(tǒng)的只基于正例進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的TANDEM算法起到增強(qiáng)作用。接著，在直接使用神經(jīng)網(wǎng)絡(luò)作為聲學(xué)分類器的模型域方面，本文針對(duì)中文語音識(shí)別系統(tǒng)中的多流聲學(xué)特征，提出了一種中間層融合建模方案，該方案充分利用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法的特點(diǎn)，在深度神經(jīng)網(wǎng)絡(luò)的中間某隱層進(jìn)行多個(gè)特征流的中層特征融合，并在融合特征的基礎(chǔ)上繼續(xù)進(jìn)行更高層網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)。該算法在深度神經(jīng)網(wǎng)絡(luò)的框架下有效的利用了多流特征的互補(bǔ)特性，提升了識(shí)別系統(tǒng)的性能。<

5、br>　　然后，本文在深度神經(jīng)網(wǎng)絡(luò)聲學(xué)建模效率方面進(jìn)行了深入的研究，以解決大規(guī)模語音數(shù)據(jù)聲學(xué)建模的可應(yīng)用性問題。面向真實(shí)語音識(shí)別系統(tǒng)的海量訓(xùn)練數(shù)據(jù)、深度神經(jīng)網(wǎng)絡(luò)的超大規(guī)模模型參數(shù)、以及模型結(jié)構(gòu)導(dǎo)致的傳統(tǒng)訓(xùn)練算法不可并行性，使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率問題成為實(shí)用化語音識(shí)別系統(tǒng)的最大瓶頸。針對(duì)這樣的情況，我們分析了深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，找到影響其效率的主因，并針對(duì)這些原因提出了一種新穎的多個(gè)深層神經(jīng)網(wǎng)絡(luò)聯(lián)合建模方案。通過將數(shù)據(jù)進(jìn)行聚類，我

6、們可以分開獨(dú)立的并行訓(xùn)練多個(gè)深層神經(jīng)網(wǎng)絡(luò)來對(duì)各個(gè)聚類數(shù)據(jù)分別進(jìn)行建模。這種建模方法在交叉熵準(zhǔn)則下，相對(duì)普通單個(gè)深層神經(jīng)網(wǎng)絡(luò)建模方法效率的提升是非常明顯，在實(shí)際的研究應(yīng)用中具有重要意義。
　　最后，針對(duì)我們提出的多深層神經(jīng)網(wǎng)絡(luò)聯(lián)合建模方案，我們進(jìn)行了進(jìn)一步的完善。為了驗(yàn)證這一建?？蚣艿那袑?shí)可行性，同時(shí)解決其性能損失問題，我們?cè)谛蛄屑?jí)區(qū)分性準(zhǔn)則下進(jìn)行了研究。序列級(jí)區(qū)分性準(zhǔn)則可以看作是多DNN的一種聯(lián)合優(yōu)化策略，我們根據(jù)多DNN結(jié)構(gòu)特點(diǎn)