PAD情緒模型在情感語音識別中的應用研究.pdf

1、人類日常生活中的語音除了蘊含著基本的文字信息，還飽含著復雜的情感狀態(tài)。本文以情感計算為背景，在構建一個自然、真實、有效的情感語音數據庫的基礎上，引入連續(xù)維度情感理論的PAD三維情緒模型，利用猶豫模糊信息對語音的三維PAD值進行了預測，實現了語音情感的定量化研究。所做的主要工作有以下幾點：
　　1．選擇高興、憤怒、悲傷、驚奇四種情感類別，采用截取廣播劇的方式獲取所需四種情感的摘引型語音數據庫。相較于表演型情感語音數據庫，該數據庫由于

2、是從廣播劇中截取獲得，因此情感類型豐富，人物多樣，生活場景繁多，情感語音更加貼近現實生活，符合日常表達習慣，具有較好的實用性。
　　2．為了確保情感語音數據庫的質量，建立了合理有效的評價模型，對截取獲得的初選階段語音庫進行了評價篩選：首先以模糊判決為主，借助層次分析法和熵權法確定綜合評價指標的權重，建立基于層次分析法和熵權法的模糊綜合評價體系，然后分別從情感準確度、背景噪聲影響、清晰度、自然度、畫面感五個方面建立情感語音數據庫評價

3、指標體系，最后運用該模型對截取的情感語音數據庫進行模糊綜合評價，篩選并建立了最終的情感語音數據庫TYUT2.0。
　　3．給出了情感語音特征與PAD三維情緒模型相關性研究的新思路。不僅從傳統(tǒng)離散角度描述情感類型，即研究高興、憤怒、悲傷、驚奇四種基本情感，還從連續(xù)維度情感理論角度來分析語音庫中的情感內容，使用了心理學標注的 PAD（愉悅度、激活度、優(yōu)勢度）三維情緒模型對情感語音進行描述，提出了一種情感語音特征與PAD情緒模型相關性分

4、析方法。在TYUT2.0情感語音數據庫的基礎上，提取梅爾頻率倒譜系數、線性預測系數、韻律特征、共振峰頻率和過零峰值幅度特征五種語音特征并應用于情感語音識別，首次將識別結果映射到PAD三維情緒空間中，利用Pearson相關方法將機器識別出的情感所對應的PAD三個維度值與真實情感所對應的PAD值進行相關性計算，分析PAD模型中三個維度和不同聲學特征之間的相關性。利用情感語音識別結果的相關性分析可以對語音特征進行優(yōu)化調整，為接下來的基于連續(xù)維

5、度的情感語音識別提供基礎。
　　4．提出了一種新的基于猶豫模糊信息的決策級融合方法。根據不同特征的識別結果，通過聲學特征與PAD三個維度間的相關系數確定不同特征的決策級融合權重，最后利用猶豫模糊集的相似度融合預測了語音在PAD情緒空間模型中的三個維度值，得出情感語音在連續(xù)維度角度的數值表示，實現基于連續(xù)維度的情感語音識別。通過情感語音在愉悅度、激活度、優(yōu)勢度上的空間分布，進一步分析語音的情感狀態(tài)由哪些基本情感構成，也可根據其空間分