語音識別中區(qū)分性訓練算法研究.pdf

1、聲學模型訓練作為語音識別中的一個重要組成部分，一直以來都是研究者關(guān)注的重點。傳統(tǒng)的訓練算法，例如最大似然估計（MLE）準則，由于在訓練時沒有考慮到模型之間的相互影響，因此性能往往不甚理想。與之相對應(yīng)，區(qū)分性訓練算法充分考慮了各個類之間的邊界信息，因此性能相對較好。本文將基于大詞匯量連續(xù)語音識別平臺，圍繞聲學模型區(qū)分性訓練技術(shù)展開研究，具體工作和創(chuàng)新主要包括以下幾個方面：
　　 1.對聲學模型訓練算法進行了深入研究
　　

2、本文主要研究了基于生成性準則的最大似然估計訓練算法和基于區(qū)分性準則的最大互信息估計（MMIE）訓練算法以及最小音素錯誤（MPE）訓練算法，并著重針對最小音素錯誤訓練算法展開了相關(guān)的研究，并利用HTK工具搭建了各訓練算法的實現(xiàn)平臺。
　　 2.提出一種提高生成模型區(qū)分性的訓練算法
　　 最大似然估計準則實現(xiàn)比較簡單，可以借助經(jīng)典的EM算法，但是由于沒有考慮到不同模型之間的相互影響，因此生成的模型往往并不是最優(yōu)的。本文提出一

3、種簡單的模型加權(quán)算法來提高生成模型的區(qū)分性，通過比較兩組模型的類問方差和類內(nèi)方差的大小來確定模型加權(quán)的權(quán)值。具體來說，針對語音識別，我們認為每一個識別基元對應(yīng)一個類，不同的識別單元可以看作為不同的類，并且每一類都對應(yīng)著自己的模型，即各自的HMM模型。在每個模型同一級狀態(tài)上進行模型類內(nèi)方差和類間方差的比較，模型的類間方差越大，類內(nèi)方差越小，區(qū)分性就越好，在模型加權(quán)組合中所占的權(quán)重就越大。實驗表明，該算法可以顯著提高生成模型的識別性能。

4、r>　　 3.提出基于模型組合的區(qū)分性訓練的改進算法
　　 生成性模型側(cè)重于模型內(nèi)部的描述，而區(qū)分性模型側(cè)重于模型邊界的描述。總體上講，區(qū)分性模型的識別性能優(yōu)于生成性模型，但是對具體模型來說這個結(jié)論并不一定成立，在實際中二者各有優(yōu)勢，如果將二者結(jié)合可望得到更好的效果。
　　 本文提出了幾種將生成模型與區(qū)分性模型進行組合的算法。與前面提到的生成模型上的加權(quán)算法有所不同，由于區(qū)分性模型本身的分辨性能已經(jīng)比較好，如果從整個空

5、間計算模型間的參數(shù)值可能無法代表模型實際的混淆程度。因此我們首先提出一種混淆集的概念，得到每個模型最容易被混淆的集合，然后在各自的混淆集上計算模型的混淆參數(shù)，使得模型對應(yīng)的權(quán)重計算更加有效。最后在混淆集的基礎(chǔ)上提出兩種模型組合算法，并應(yīng)用于生成模型與區(qū)分性模型的組合以及區(qū)分性模型與區(qū)分性模型的組合。
　　 此外本文還提出了一種基于模型混淆程度進行模型加權(quán)的算法，同時將該算法擴展到多混合分量的情況。實驗表明，這些算法可以得到比較好

6、的性能。
　　 4.提出模型動態(tài)混合分量分解算法
　　 語音識別中，聲學模型的每一個狀態(tài)都是一個高斯混合模型，一般認為，只要合理的選擇模型高斯混合分量的數(shù)目和分布，就可以任意逼近實際的分布。但是高斯分量數(shù)目的設(shè)計是一個比較繁瑣的問題，為了提高模型的描述能力，需要較多的高斯分量，但較多的高斯分量會導致對訓練語料的大量需求。因此在實際中高斯分量的數(shù)目必須折中選擇。
　　 本文在MPE區(qū)分性訓練算法基礎(chǔ)上提出一種模型動

7、態(tài)混合分量分解的算法。本算法的依據(jù)尋找可以提高整個模型空間上區(qū)分性能力的模型進行混合分量分解。根據(jù)這樣的思想，提出了幾種不同的模型分解準則，主要利用模型訓練過程中的區(qū)分性統(tǒng)計信息并結(jié)合音素識別正確率進行模型的描述。實現(xiàn)時在MPE訓練中生成的Lattice上計算音素正確率和音素混淆情況對應(yīng)的統(tǒng)計量，利用這些統(tǒng)計量反映模型的描述能力，進行模型混合分量的分解，從而增加模型的區(qū)分性能力。該算法不需要引入額外的計算量，在MPE的訓練過程中可以直接