PAD情緒模型在情感語音識(shí)別中的應(yīng)用研究.pdf

1、人類日常生活中的語音除了蘊(yùn)含著基本的文字信息，還飽含著復(fù)雜的情感狀態(tài)。本文以情感計(jì)算為背景，在構(gòu)建一個(gè)自然、真實(shí)、有效的情感語音數(shù)據(jù)庫的基礎(chǔ)上，引入連續(xù)維度情感理論的PAD三維情緒模型，利用猶豫模糊信息對語音的三維PAD值進(jìn)行了預(yù)測，實(shí)現(xiàn)了語音情感的定量化研究。所做的主要工作有以下幾點(diǎn)：
　　1．選擇高興、憤怒、悲傷、驚奇四種情感類別，采用截取廣播劇的方式獲取所需四種情感的摘引型語音數(shù)據(jù)庫。相較于表演型情感語音數(shù)據(jù)庫，該數(shù)據(jù)庫由于

2、是從廣播劇中截取獲得，因此情感類型豐富，人物多樣，生活場景繁多，情感語音更加貼近現(xiàn)實(shí)生活，符合日常表達(dá)習(xí)慣，具有較好的實(shí)用性。
　　2．為了確保情感語音數(shù)據(jù)庫的質(zhì)量，建立了合理有效的評價(jià)模型，對截取獲得的初選階段語音庫進(jìn)行了評價(jià)篩選：首先以模糊判決為主，借助層次分析法和熵權(quán)法確定綜合評價(jià)指標(biāo)的權(quán)重，建立基于層次分析法和熵權(quán)法的模糊綜合評價(jià)體系，然后分別從情感準(zhǔn)確度、背景噪聲影響、清晰度、自然度、畫面感五個(gè)方面建立情感語音數(shù)據(jù)庫評價(jià)

3、指標(biāo)體系，最后運(yùn)用該模型對截取的情感語音數(shù)據(jù)庫進(jìn)行模糊綜合評價(jià)，篩選并建立了最終的情感語音數(shù)據(jù)庫TYUT2.0。
　　3．給出了情感語音特征與PAD三維情緒模型相關(guān)性研究的新思路。不僅從傳統(tǒng)離散角度描述情感類型，即研究高興、憤怒、悲傷、驚奇四種基本情感，還從連續(xù)維度情感理論角度來分析語音庫中的情感內(nèi)容，使用了心理學(xué)標(biāo)注的 PAD（愉悅度、激活度、優(yōu)勢度）三維情緒模型對情感語音進(jìn)行描述，提出了一種情感語音特征與PAD情緒模型相關(guān)性分

4、析方法。在TYUT2.0情感語音數(shù)據(jù)庫的基礎(chǔ)上，提取梅爾頻率倒譜系數(shù)、線性預(yù)測系數(shù)、韻律特征、共振峰頻率和過零峰值幅度特征五種語音特征并應(yīng)用于情感語音識(shí)別，首次將識(shí)別結(jié)果映射到PAD三維情緒空間中，利用Pearson相關(guān)方法將機(jī)器識(shí)別出的情感所對應(yīng)的PAD三個(gè)維度值與真實(shí)情感所對應(yīng)的PAD值進(jìn)行相關(guān)性計(jì)算，分析PAD模型中三個(gè)維度和不同聲學(xué)特征之間的相關(guān)性。利用情感語音識(shí)別結(jié)果的相關(guān)性分析可以對語音特征進(jìn)行優(yōu)化調(diào)整，為接下來的基于連續(xù)維

5、度的情感語音識(shí)別提供基礎(chǔ)。
　　4．提出了一種新的基于猶豫模糊信息的決策級(jí)融合方法。根據(jù)不同特征的識(shí)別結(jié)果，通過聲學(xué)特征與PAD三個(gè)維度間的相關(guān)系數(shù)確定不同特征的決策級(jí)融合權(quán)重，最后利用猶豫模糊集的相似度融合預(yù)測了語音在PAD情緒空間模型中的三個(gè)維度值，得出情感語音在連續(xù)維度角度的數(shù)值表示，實(shí)現(xiàn)基于連續(xù)維度的情感語音識(shí)別。通過情感語音在愉悅度、激活度、優(yōu)勢度上的空間分布，進(jìn)一步分析語音的情感狀態(tài)由哪些基本情感構(gòu)成，也可根據(jù)其空間分