基于深度學(xué)習(xí)的語(yǔ)音情感識(shí)別方法的研究.pdf

1、語(yǔ)音是人機(jī)交互最自然最理想的方式之一，承載著說話人豐富的情感內(nèi)容。語(yǔ)音情感識(shí)別的終極目標(biāo)是讓機(jī)器能夠像人類一樣通過語(yǔ)音識(shí)別人類情感，實(shí)現(xiàn)更好的人機(jī)交流，這在科技應(yīng)用場(chǎng)景中有著非常廣闊的未來(lái)。本文主要研究了基于深度學(xué)習(xí)的語(yǔ)音情感識(shí)別，將深度學(xué)習(xí)引入語(yǔ)音情感識(shí)別算法中，并針對(duì)相應(yīng)的算法提出若干改進(jìn)應(yīng)用于語(yǔ)音情感識(shí)別中。本論文的主要研究?jī)?nèi)容如下:
　　(1)學(xué)習(xí)并了解了語(yǔ)音情感識(shí)別的研究背景、意義、歷史以及研究現(xiàn)狀，重點(diǎn)討論了語(yǔ)音情感識(shí)

2、別的四個(gè)研究對(duì)象，分別為情感描述模型、情感數(shù)據(jù)庫(kù)、情感特征參數(shù)以及情感分類算法。
　　(2)設(shè)計(jì)并錄制漢語(yǔ)語(yǔ)音情感數(shù)據(jù)庫(kù)，該庫(kù)包含害怕、厭倦、開心、煩躁、憂慮、傷心和生氣七種基本情感狀態(tài)語(yǔ)音，并經(jīng)過試聽測(cè)試。對(duì)數(shù)據(jù)庫(kù)中的語(yǔ)音信號(hào)進(jìn)行預(yù)處理后，并提取出語(yǔ)音能量、過零率、基頻、子帶能量、MFCC參數(shù)以及頻譜特征等參數(shù)組成情感特征矢量。此外，為了后續(xù)研究的需要，本章節(jié)還介紹了語(yǔ)譜圖這一語(yǔ)音二維表示形式。
　　(3)討論了深度學(xué)習(xí)理

3、論的基礎(chǔ)知識(shí)，包括人工神經(jīng)網(wǎng)絡(luò)(A、NN)、softmax以及它們的訓(xùn)練算法。這為下面的深度學(xué)習(xí)理論提供了基本構(gòu)件。學(xué)習(xí)了SDA網(wǎng)絡(luò)的基本原理，并將SDA用于語(yǔ)音情感特征向量的降維處理，研究了SDA提煉深層特征的能力。與傳統(tǒng)降維算法對(duì)比，表明了SDA降維具有如下兩點(diǎn)優(yōu)勢(shì):1、維數(shù)控制能力強(qiáng);2、降維后分類效果好。此外，為了合理運(yùn)用樣本數(shù)據(jù)的標(biāo)簽信息，運(yùn)用標(biāo)簽信息進(jìn)一步提煉語(yǔ)音情感相關(guān)特征(DD-AEF),對(duì)比其它特征，證明了DD-AEF

4、特征在語(yǔ)音情感分類能力上具有明顯的優(yōu)勢(shì)。最后，提出了運(yùn)用SDA網(wǎng)絡(luò)提取SDACC譜特征的方法，并實(shí)驗(yàn)對(duì)比了其與HuWSF譜特征的語(yǔ)音情感分類能力，證明了SDACC克服了HuWSF特征的缺陷，展現(xiàn)了卓越的性能。
　　(4)討論了CNN網(wǎng)絡(luò)的基本原理及優(yōu)勢(shì)，研究將語(yǔ)譜圖用于CNN進(jìn)行語(yǔ)音情感識(shí)別的可行性，為此討論了語(yǔ)譜圖四種分割方式，并得出分段預(yù)處理是更好的語(yǔ)譜圖分割方式的結(jié)論。在此基礎(chǔ)上意識(shí)到多卷積核在微觀和宏觀兩種尺寸下對(duì)語(yǔ)音情感

5、特征有著更好的描述，所以討論了將兩種卷積核用于語(yǔ)音情感識(shí)別的模型。接著，根據(jù)語(yǔ)音情感顯著性特征提取的方式，提出了CNN瓶頸特征(CNN-BN)的提取，提取了與目標(biāo)標(biāo)簽更為相關(guān)且維數(shù)更低的特征集。最后討論了CNN-BN特征維數(shù)與情感識(shí)別率的關(guān)系。
　　(5)討論了DBN的基本原理以及訓(xùn)練方式。同SDA一樣，首先研究了DBN作為降維方式相對(duì)于其它降維方式的優(yōu)劣，通過實(shí)驗(yàn)對(duì)比了DBN降維后特征與其它方式降維后特征對(duì)情感識(shí)別率的影響。接著

6、，本章節(jié)利用DBN作為頻譜提煉的方式，提出了類似于SDACC的DBNCC特征提取方式，為了進(jìn)一步挖掘譜特征，提出了在分割能量圖時(shí)，頻率軸重疊分割的方式來(lái)提取改進(jìn)的DBNCC特征。最后，通過實(shí)驗(yàn)對(duì)比了SDACC、傳統(tǒng)DBNCC以及本章節(jié)提出的改進(jìn)DBNCC語(yǔ)音情感分類的效果，實(shí)驗(yàn)證明了改進(jìn)DBNCC特征的優(yōu)越性能。
　　本文創(chuàng)新點(diǎn)如下:
　　(1)基于HuWSF特征提出了SDACC特征、DBNCC特征以及改進(jìn)的DBNCC特征提