語種識別中的語音段表示方法研究.pdf

1、語種識別(Language Identification，LID)是對一段語音自動識別出其所屬語言的種類的過程。由此可知，語種識別是一種針對語音段進行的模式識別，因此語種識別中的一個關鍵問題即是如何得到用以描述語音段的表示。語種識別中包含了特征提取和語音識別前端模型等一系列語音信號處理領域的核心技術，具有一定的科學研究價值。同時作為語音領域的一種前端處理技術，語種識別在多語種語音識別、跨語種通信系統以及軍事監(jiān)聽等領域有著廣泛的應用。

2、r>　　傳統的語種識別方法主要有基于音素搭配與基于底層聲學特征的兩大系統。傳統方法中雖然長時測試性能取得了很大的進展，但仍存在著短時與方言識別率低等問題。隨著深度神經網絡(Deep Neural Network，DNN)的發(fā)展與成功應用，語種識別有了一個新的研究領域。在前端特征提取上，提出基于深度瓶頸特征結合全差異空間模型(Deep Bottleneck Feature-Total Variability, DBF-TV)，該方法將深度

3、神經網絡中間瓶頸隱層的信息成功運用到語種識別中。在后端建模方法上，則根據DNN區(qū)分性建模的能力充分利用其輸出層信息，如DNN/i-Vector方法，即利用DNN輸出層音素狀態(tài)后驗重新估計通用背景模型(Universal BackgroundModel，UBM)。然而對于一個以底層聲學特征為輸入、音素狀態(tài)后驗為輸出訓練得到的深度神經網絡，我們認為該網絡從輸入層至輸出層依次反映了語音從底層聲學特征到高層語義與音素相關的較為完備的信息，而且各

4、層信息之間具有互補性。因此本文就基于同一DNN不同層信息如何得到語音段的表示展開研究，具體而言即是同時利用同一神經網絡的中間瓶頸層和輸出層信息。
　　首先，對于從深度神經網絡輸出層提取的音素狀態(tài)幀級特征，可以認為其是在各幀上展開的音素狀態(tài)序列，則每段語音可以通過計算其統計量作為語音段表示。得到的語音段表示是向量形式的，則可直接用區(qū)分性模型對其進行分類。具體則根據其特性，使用合適的核函數進行了支持向量機分類。并根據神經網絡不同層信息

5、的互補性，將該方法與DBF-TV進行融合，能夠提升語種識別系統的性能。
　　其次，在帶有中間瓶頸層的深度神經網絡上實現基于DBF的DNN/i-Vector基線系統，同時完成中間層DBF特征的提取與以輸出層音素狀態(tài)為依據的聚類，即在模型域對兩者進行融合。具體地，利用DNN輸出層的音素狀態(tài)為聚類的依據，以其后驗概率代替每幀特征在傳統UBM模型中各高斯上的占有率，再結合DBF得到帶有與音素狀態(tài)相關的UBM。以此為基線，對DNN/i-Ve

6、ctor系統的輸入特征DBF進行Acoustic Factor Analysis(AFA)建模，使其得到的模型能夠更好地描述特征空間，以此進一步提升系統的識別性能。
　　最后，從深度神經網絡輸出層提取的特征是一種幀級特征，類似DBF特征亦可以利用統計建模的方法對其在幀級特征空間上的分布特性進行描述以得到語音段表示。然而此類特征一般都屬于高維特征，需要在低維空間上對其分析。我們采用混合因子分析(Mixtures of Factor