基于深度學(xué)習(xí)的語音情感識別方法的研究.pdf

1、語音是人機(jī)交互最自然最理想的方式之一，承載著說話人豐富的情感內(nèi)容。語音情感識別的終極目標(biāo)是讓機(jī)器能夠像人類一樣通過語音識別人類情感，實現(xiàn)更好的人機(jī)交流，這在科技應(yīng)用場景中有著非常廣闊的未來。本文主要研究了基于深度學(xué)習(xí)的語音情感識別，將深度學(xué)習(xí)引入語音情感識別算法中，并針對相應(yīng)的算法提出若干改進(jìn)應(yīng)用于語音情感識別中。本論文的主要研究內(nèi)容如下:
　　(1)學(xué)習(xí)并了解了語音情感識別的研究背景、意義、歷史以及研究現(xiàn)狀，重點討論了語音情感識

2、別的四個研究對象，分別為情感描述模型、情感數(shù)據(jù)庫、情感特征參數(shù)以及情感分類算法。
　　(2)設(shè)計并錄制漢語語音情感數(shù)據(jù)庫，該庫包含害怕、厭倦、開心、煩躁、憂慮、傷心和生氣七種基本情感狀態(tài)語音，并經(jīng)過試聽測試。對數(shù)據(jù)庫中的語音信號進(jìn)行預(yù)處理后，并提取出語音能量、過零率、基頻、子帶能量、MFCC參數(shù)以及頻譜特征等參數(shù)組成情感特征矢量。此外，為了后續(xù)研究的需要，本章節(jié)還介紹了語譜圖這一語音二維表示形式。
　　(3)討論了深度學(xué)習(xí)理

3、論的基礎(chǔ)知識，包括人工神經(jīng)網(wǎng)絡(luò)(A、NN)、softmax以及它們的訓(xùn)練算法。這為下面的深度學(xué)習(xí)理論提供了基本構(gòu)件。學(xué)習(xí)了SDA網(wǎng)絡(luò)的基本原理，并將SDA用于語音情感特征向量的降維處理，研究了SDA提煉深層特征的能力。與傳統(tǒng)降維算法對比，表明了SDA降維具有如下兩點優(yōu)勢:1、維數(shù)控制能力強;2、降維后分類效果好。此外，為了合理運用樣本數(shù)據(jù)的標(biāo)簽信息，運用標(biāo)簽信息進(jìn)一步提煉語音情感相關(guān)特征(DD-AEF),對比其它特征，證明了DD-AEF

4、特征在語音情感分類能力上具有明顯的優(yōu)勢。最后，提出了運用SDA網(wǎng)絡(luò)提取SDACC譜特征的方法，并實驗對比了其與HuWSF譜特征的語音情感分類能力，證明了SDACC克服了HuWSF特征的缺陷，展現(xiàn)了卓越的性能。
　　(4)討論了CNN網(wǎng)絡(luò)的基本原理及優(yōu)勢，研究將語譜圖用于CNN進(jìn)行語音情感識別的可行性，為此討論了語譜圖四種分割方式，并得出分段預(yù)處理是更好的語譜圖分割方式的結(jié)論。在此基礎(chǔ)上意識到多卷積核在微觀和宏觀兩種尺寸下對語音情感

5、特征有著更好的描述，所以討論了將兩種卷積核用于語音情感識別的模型。接著，根據(jù)語音情感顯著性特征提取的方式，提出了CNN瓶頸特征(CNN-BN)的提取，提取了與目標(biāo)標(biāo)簽更為相關(guān)且維數(shù)更低的特征集。最后討論了CNN-BN特征維數(shù)與情感識別率的關(guān)系。
　　(5)討論了DBN的基本原理以及訓(xùn)練方式。同SDA一樣，首先研究了DBN作為降維方式相對于其它降維方式的優(yōu)劣，通過實驗對比了DBN降維后特征與其它方式降維后特征對情感識別率的影響。接著

6、，本章節(jié)利用DBN作為頻譜提煉的方式，提出了類似于SDACC的DBNCC特征提取方式，為了進(jìn)一步挖掘譜特征，提出了在分割能量圖時，頻率軸重疊分割的方式來提取改進(jìn)的DBNCC特征。最后，通過實驗對比了SDACC、傳統(tǒng)DBNCC以及本章節(jié)提出的改進(jìn)DBNCC語音情感分類的效果，實驗證明了改進(jìn)DBNCC特征的優(yōu)越性能。
　　本文創(chuàng)新點如下:
　　(1)基于HuWSF特征提出了SDACC特征、DBNCC特征以及改進(jìn)的DBNCC特征提