基于人臉表情特征與語(yǔ)音特征融合的情感識(shí)別研究.pdf

1、情感識(shí)別在人們的社會(huì)交往過(guò)程中具有重要作用。人機(jī)交互領(lǐng)域的情感識(shí)別研究目標(biāo)是使計(jì)算機(jī)在接收到人類(lèi)的情感信號(hào)后能獲取人的情感信息，準(zhǔn)確的識(shí)別情感狀態(tài)。最初人們對(duì)情感識(shí)別的研究，主要集中在單一情感特征識(shí)別方面。隨著研究的不斷深入，人們認(rèn)識(shí)到來(lái)自不同渠道的人類(lèi)情感特征之間具有一定的互補(bǔ)性，充分利用不同渠道特征之間的相關(guān)性可以更好地進(jìn)行情感識(shí)別。于是基于多模態(tài)特征的情感識(shí)別研究成為一個(gè)研究熱點(diǎn)。而人們的情感主要通過(guò)語(yǔ)音、表情和肢體動(dòng)作等方面來(lái)表

2、達(dá)，其中語(yǔ)音信息和表情信息被認(rèn)為是人類(lèi)情感的兩個(gè)主要指標(biāo)。因此，本文首先提出基于分?jǐn)?shù)階傅里葉域人臉表情特征與語(yǔ)音特征融合的情感識(shí)別方法。其次，針對(duì)傳統(tǒng)的非線性特征融合算法的不足，提出一種新的特征融合算法——廣義監(jiān)督局部保持典型相關(guān)分析算法(GSLPCCA)。該算法有效提高了雙模態(tài)情感識(shí)別系統(tǒng)的識(shí)別率。本文的主要研究工作如下:
　　1.介紹了信息融合的相關(guān)知識(shí)，以及一維分?jǐn)?shù)階傅里葉變換的定義、性質(zhì)及其離散算法，對(duì)二維離散分?jǐn)?shù)階傅里葉

3、變換的定義和性質(zhì)作了說(shuō)明。并且重點(diǎn)研究了多模態(tài)情感識(shí)別方法中信息融合層次以及融合策略。
　　2.提出基于分?jǐn)?shù)階傅里葉域人臉表情特征與語(yǔ)音特征融合的情感識(shí)別方法?？紤]到表情特征與語(yǔ)音特征的非線性特征融合問(wèn)題，提出采用核典型相關(guān)分析算法作為情感識(shí)別方法的特征融合算法。通過(guò)仿真實(shí)驗(yàn)，驗(yàn)證了該情感識(shí)別方法的有效性。
　　3.提出一種新的特征融合算法——廣義監(jiān)督局部保持典型相關(guān)分析算法，并將其應(yīng)用到了雙模態(tài)情感識(shí)別方法中。在特征融合時(shí)