語音識別中區(qū)分性訓練算法研究.pdf

1、聲學模型訓練作為語音識別中的一個重要組成部分，一直以來都是研究者關注的重點。傳統(tǒng)的訓練算法，例如最大似然估計（MLE）準則，由于在訓練時沒有考慮到模型之間的相互影響，因此性能往往不甚理想。與之相對應，區(qū)分性訓練算法充分考慮了各個類之間的邊界信息，因此性能相對較好。本文將基于大詞匯量連續(xù)語音識別平臺，圍繞聲學模型區(qū)分性訓練技術展開研究，具體工作和創(chuàng)新主要包括以下幾個方面：
　　 1.對聲學模型訓練算法進行了深入研究
　　

2、本文主要研究了基于生成性準則的最大似然估計訓練算法和基于區(qū)分性準則的最大互信息估計（MMIE）訓練算法以及最小音素錯誤（MPE）訓練算法，并著重針對最小音素錯誤訓練算法展開了相關的研究，并利用HTK工具搭建了各訓練算法的實現平臺。
　　 2.提出一種提高生成模型區(qū)分性的訓練算法
　　 最大似然估計準則實現比較簡單，可以借助經典的EM算法，但是由于沒有考慮到不同模型之間的相互影響，因此生成的模型往往并不是最優(yōu)的。本文提出一

3、種簡單的模型加權算法來提高生成模型的區(qū)分性，通過比較兩組模型的類問方差和類內方差的大小來確定模型加權的權值。具體來說，針對語音識別，我們認為每一個識別基元對應一個類，不同的識別單元可以看作為不同的類，并且每一類都對應著自己的模型，即各自的HMM模型。在每個模型同一級狀態(tài)上進行模型類內方差和類間方差的比較，模型的類間方差越大，類內方差越小，區(qū)分性就越好，在模型加權組合中所占的權重就越大。實驗表明，該算法可以顯著提高生成模型的識別性能。

4、r>　　 3.提出基于模型組合的區(qū)分性訓練的改進算法
　　 生成性模型側重于模型內部的描述，而區(qū)分性模型側重于模型邊界的描述。總體上講，區(qū)分性模型的識別性能優(yōu)于生成性模型，但是對具體模型來說這個結論并不一定成立，在實際中二者各有優(yōu)勢，如果將二者結合可望得到更好的效果。
　　 本文提出了幾種將生成模型與區(qū)分性模型進行組合的算法。與前面提到的生成模型上的加權算法有所不同，由于區(qū)分性模型本身的分辨性能已經比較好，如果從整個空

5、間計算模型間的參數值可能無法代表模型實際的混淆程度。因此我們首先提出一種混淆集的概念，得到每個模型最容易被混淆的集合，然后在各自的混淆集上計算模型的混淆參數，使得模型對應的權重計算更加有效。最后在混淆集的基礎上提出兩種模型組合算法，并應用于生成模型與區(qū)分性模型的組合以及區(qū)分性模型與區(qū)分性模型的組合。
　　 此外本文還提出了一種基于模型混淆程度進行模型加權的算法，同時將該算法擴展到多混合分量的情況。實驗表明，這些算法可以得到比較好

6、的性能。
　　 4.提出模型動態(tài)混合分量分解算法
　　 語音識別中，聲學模型的每一個狀態(tài)都是一個高斯混合模型，一般認為，只要合理的選擇模型高斯混合分量的數目和分布，就可以任意逼近實際的分布。但是高斯分量數目的設計是一個比較繁瑣的問題，為了提高模型的描述能力，需要較多的高斯分量，但較多的高斯分量會導致對訓練語料的大量需求。因此在實際中高斯分量的數目必須折中選擇。
　　 本文在MPE區(qū)分性訓練算法基礎上提出一種模型動

7、態(tài)混合分量分解的算法。本算法的依據尋找可以提高整個模型空間上區(qū)分性能力的模型進行混合分量分解。根據這樣的思想，提出了幾種不同的模型分解準則，主要利用模型訓練過程中的區(qū)分性統(tǒng)計信息并結合音素識別正確率進行模型的描述。實現時在MPE訓練中生成的Lattice上計算音素正確率和音素混淆情況對應的統(tǒng)計量，利用這些統(tǒng)計量反映模型的描述能力，進行模型混合分量的分解，從而增加模型的區(qū)分性能力。該算法不需要引入額外的計算量，在MPE的訓練過程中可以直接