基于特征融合的語(yǔ)音情感識(shí)別方法的研究.pdf

1、情感識(shí)別是情感計(jì)算的重要組成部分，近年來(lái)關(guān)于情感識(shí)別的研究越來(lái)越受到重視，而語(yǔ)音作為人類日常生活中最重要的交流方式之一，其中蘊(yùn)含著豐富的情感信息，因此有關(guān)語(yǔ)音情感識(shí)別的研究意義重大。語(yǔ)音情感識(shí)別技術(shù)有助于改善計(jì)算機(jī)的人機(jī)交互能力，具有極為廣闊的應(yīng)用前景。本文主要研究了基于特征融合的語(yǔ)音情感識(shí)別方法，提取了譜特征、韻律特征、音質(zhì)特征等，對(duì)其情感識(shí)別能力進(jìn)行了分析，并提取了近似最優(yōu)特征子集用于后續(xù)研究。特征融合指的是將譜特征、韻律特征、音質(zhì)

2、特征等不同特征類型進(jìn)行結(jié)合。傳統(tǒng)特征融合方式只是特征降維后的簡(jiǎn)單組合，未能對(duì)各特征類型在分類能力上的差異進(jìn)行深入探索與利用，本文借鑒數(shù)據(jù)融合的相關(guān)概念，分別從判決層融合與特征層融合兩個(gè)角度出發(fā)提升了特征融合系統(tǒng)的識(shí)別效率。其中判決層融合使用了改進(jìn)核函數(shù)的SVM-KNN模型與自適應(yīng)權(quán)值算法，特征層融合使用了深信度網(wǎng)絡(luò)(DBN)，這些方法的應(yīng)用成功提高了語(yǔ)音情感識(shí)別系統(tǒng)的識(shí)別率。
　　本論文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:
　　(1

3、)闡述了語(yǔ)音情感識(shí)別的研究背景和意義，并總結(jié)了情感描述模型、情感數(shù)據(jù)庫(kù)、情感特征參數(shù)、特征降維及情感分類算法等方面的國(guó)內(nèi)外研究現(xiàn)狀。
　　(2)設(shè)計(jì)并錄制了包含高興、憤怒、悲傷、害怕、平靜五種情感語(yǔ)音的語(yǔ)音數(shù)據(jù)庫(kù)，并對(duì)其中數(shù)據(jù)進(jìn)行了檢驗(yàn)與聽(tīng)辨測(cè)試，保證數(shù)據(jù)的有效性。對(duì)語(yǔ)音信號(hào)進(jìn)行了預(yù)處理，從中提取了261維特征用于實(shí)驗(yàn)研究。
　　(3)基于Fisher相關(guān)算法、最大相關(guān)最小冗余算法進(jìn)行了特征比較與傳統(tǒng)特征融合。本文利用Fis

4、her相關(guān)準(zhǔn)則J1對(duì)所提取的譜特征、韻律特征、音質(zhì)特征的情感識(shí)別能力進(jìn)行了分析比較，并采用LDA變換后的散點(diǎn)圖與KNN兩種方法對(duì)其進(jìn)行了進(jìn)一步分析;利用最大相關(guān)最小冗余(MRMR)算法獲得了特征降維后的融合特征集，實(shí)現(xiàn)了傳統(tǒng)特征融合。
　　(4)研究了基于核函數(shù)改進(jìn)的SVM-KNN自適應(yīng)權(quán)值判決層融合方法。本文首先構(gòu)建了SVM-KNN分類器，然后基于組合核函數(shù)與量子群尋優(yōu)算法改進(jìn)了SVM的核函數(shù)，提升了SVM-KNN的判決性能，最

5、后使用自適應(yīng)權(quán)值算法對(duì)分類器結(jié)果進(jìn)行融合即判決層融合，提高了系統(tǒng)的語(yǔ)音情感識(shí)別率。
　　(5)研究了一種基于深信度網(wǎng)絡(luò)(DBN)的特征層融合方法，設(shè)計(jì)了DBN21與DBN22兩種特征層融合模型。本章中使用設(shè)計(jì)的DBN21對(duì)傳統(tǒng)特征進(jìn)行特征層融合，并與未使用特征層融合的基準(zhǔn)模型進(jìn)行比較，證明了特征層融合對(duì)提高系統(tǒng)識(shí)別率的作用;此外，本文還基于視覺(jué)注意機(jī)制提取了新的語(yǔ)譜圖特征，并基于深信度網(wǎng)絡(luò)對(duì)其進(jìn)行了深入研究。本文首先利用STB/I