高效簡約的語音識別聲學(xué)模型.pdf

1、當(dāng)前連續(xù)密度HMM模型的語音識別系統(tǒng)性能良好，但其存儲和計(jì)算需求過大。針對這一問題，本論文專注于語音識別系統(tǒng)的核心—聲學(xué)模型。本文分別從訓(xùn)練方法、特征降維、模型參數(shù)壓縮三個(gè)方面研究如何獲得高效小巧的聲學(xué)模型，在保證模型精度的前提下使用盡小可能的參數(shù)量，降低系統(tǒng)資源需求?；谝延械姆椒?，我們提出及推廣了一系列新方法，以實(shí)驗(yàn)證明了它們的有效性。這些方法主要集中在以下幾個(gè)方面。 首先，本文研究了最小分類錯誤方法，實(shí)現(xiàn)了基于N-best

2、解碼的訓(xùn)練方法。實(shí)驗(yàn)證實(shí)，在保證模型精度的前提下，經(jīng)MCE訓(xùn)練的模型可顯著減小。我們并將其推廣到子空間分布聚類HMM模型上，在很大程度上彌補(bǔ)了在將CDHMM轉(zhuǎn)換成SDCHMM的過程中由于特征空間分裂和子空間分布聚類帶來的性能降低。與直接由CDHMM轉(zhuǎn)換而成的SDCHMM相比，性能提升15-80％。 其次，為了解決特征降維方法通常也降低識別性能的問題，我們提出了在區(qū)分性特征提取框架下按照最小分類錯誤準(zhǔn)則調(diào)整模型參數(shù)和特征降維變換的

3、方法，效果極為明顯。更進(jìn)一步，我們提出了以LDA變換執(zhí)行的集去相關(guān)與降維于一體的新的特征提取方法，并將該方法同樣納入?yún)^(qū)分性特征提取框架之中。利用該方法，14維特征獲得了與39維MFCC同樣的性能，顯著降低了計(jì)算和存儲的需求。 再次，針對聲學(xué)模型中各個(gè)狀態(tài)對系統(tǒng)性能的貢獻(xiàn)不同，提出了以貪心算法實(shí)現(xiàn)的基于似然度、Kullback-Leibler散度和狀態(tài)間分散度的HMM模型各狀態(tài)高斯分布數(shù)的確定方法。在總高斯分布數(shù)目給定前提下，分別

4、最大化訓(xùn)練數(shù)據(jù)的似然度，最小化當(dāng)前模型與“真正”模型之間的距離和最大化模型各狀態(tài)間之分散度。其中基于狀態(tài)間分散度的方法融入了狀態(tài)間的競爭信息，具有區(qū)分性的特性。實(shí)驗(yàn)結(jié)果表明這幾種方法相較基于貝葉斯信息準(zhǔn)則的方法性能更佳。在相同模型精度的前提下，都可不同程度地減少參數(shù)。 最后，本文對聲學(xué)模型特征級參數(shù)聚類進(jìn)行了研究。在進(jìn)行特征級參數(shù)聚類時(shí)我們提出采用具有信息熵意義的KLD作LBG聚類，聚類性能良好。而基于不同維的特征區(qū)分性信息多寡

5、的不同，我們分別提出了各標(biāo)量維高斯核的基于KLD和似然度的非均一分配法。在總高斯核數(shù)不變原則下，利用貪心算法在不同維之間進(jìn)行高斯核的優(yōu)化分配來最小化壓縮模型與原始模型間的KLD和最大化訓(xùn)練數(shù)據(jù)的似然度。這兩種非均一分配方法比均一分配性能更佳。而基于似然度的方法又優(yōu)于基于KLD的方法。這些方法在保證模型性能基本不降的同時(shí)將模型參數(shù)壓縮到原來的15％左右。此時(shí)加減需求為原來的50％左右，而乘除的需求則可大幅減少為1％以內(nèi)。對于孤立詞任務(wù)，相