基于特征融合的語音情感識別方法的研究.pdf

1、情感識別是情感計算的重要組成部分，近年來關(guān)于情感識別的研究越來越受到重視，而語音作為人類日常生活中最重要的交流方式之一，其中蘊(yùn)含著豐富的情感信息，因此有關(guān)語音情感識別的研究意義重大。語音情感識別技術(shù)有助于改善計算機(jī)的人機(jī)交互能力，具有極為廣闊的應(yīng)用前景。本文主要研究了基于特征融合的語音情感識別方法，提取了譜特征、韻律特征、音質(zhì)特征等，對其情感識別能力進(jìn)行了分析，并提取了近似最優(yōu)特征子集用于后續(xù)研究。特征融合指的是將譜特征、韻律特征、音質(zhì)

2、特征等不同特征類型進(jìn)行結(jié)合。傳統(tǒng)特征融合方式只是特征降維后的簡單組合，未能對各特征類型在分類能力上的差異進(jìn)行深入探索與利用，本文借鑒數(shù)據(jù)融合的相關(guān)概念，分別從判決層融合與特征層融合兩個角度出發(fā)提升了特征融合系統(tǒng)的識別效率。其中判決層融合使用了改進(jìn)核函數(shù)的SVM-KNN模型與自適應(yīng)權(quán)值算法，特征層融合使用了深信度網(wǎng)絡(luò)(DBN)，這些方法的應(yīng)用成功提高了語音情感識別系統(tǒng)的識別率。
　　本論文的主要研究內(nèi)容和創(chuàng)新點如下:
　　(1

3、)闡述了語音情感識別的研究背景和意義，并總結(jié)了情感描述模型、情感數(shù)據(jù)庫、情感特征參數(shù)、特征降維及情感分類算法等方面的國內(nèi)外研究現(xiàn)狀。
　　(2)設(shè)計并錄制了包含高興、憤怒、悲傷、害怕、平靜五種情感語音的語音數(shù)據(jù)庫，并對其中數(shù)據(jù)進(jìn)行了檢驗與聽辨測試，保證數(shù)據(jù)的有效性。對語音信號進(jìn)行了預(yù)處理，從中提取了261維特征用于實驗研究。
　　(3)基于Fisher相關(guān)算法、最大相關(guān)最小冗余算法進(jìn)行了特征比較與傳統(tǒng)特征融合。本文利用Fis

4、her相關(guān)準(zhǔn)則J1對所提取的譜特征、韻律特征、音質(zhì)特征的情感識別能力進(jìn)行了分析比較，并采用LDA變換后的散點圖與KNN兩種方法對其進(jìn)行了進(jìn)一步分析;利用最大相關(guān)最小冗余(MRMR)算法獲得了特征降維后的融合特征集，實現(xiàn)了傳統(tǒng)特征融合。
　　(4)研究了基于核函數(shù)改進(jìn)的SVM-KNN自適應(yīng)權(quán)值判決層融合方法。本文首先構(gòu)建了SVM-KNN分類器，然后基于組合核函數(shù)與量子群尋優(yōu)算法改進(jìn)了SVM的核函數(shù)，提升了SVM-KNN的判決性能，最

5、后使用自適應(yīng)權(quán)值算法對分類器結(jié)果進(jìn)行融合即判決層融合，提高了系統(tǒng)的語音情感識別率。
　　(5)研究了一種基于深信度網(wǎng)絡(luò)(DBN)的特征層融合方法，設(shè)計了DBN21與DBN22兩種特征層融合模型。本章中使用設(shè)計的DBN21對傳統(tǒng)特征進(jìn)行特征層融合，并與未使用特征層融合的基準(zhǔn)模型進(jìn)行比較，證明了特征層融合對提高系統(tǒng)識別率的作用;此外，本文還基于視覺注意機(jī)制提取了新的語譜圖特征，并基于深信度網(wǎng)絡(luò)對其進(jìn)行了深入研究。本文首先利用STB/I