雙模態(tài)情感識別關(guān)鍵技術(shù)研究.pdf

1、人臉表情、語音和身體姿態(tài)是人類最重要的三種情感表達方式，通過研究這三種情感表達方式中的一種或幾種，可以有效分析和識別人類的內(nèi)心情感狀態(tài)。近年來，人臉表情識別、語音情感識別、身體姿態(tài)情感識別、基于人臉表情和身體姿態(tài)的雙模態(tài)情感識別、基于人臉表情和語音的雙模態(tài)情感識別以及其他多模態(tài)情感識別已經(jīng)成為計算機視覺、情感計算、模式識別和社會信號處理等領(lǐng)域的主要研究內(nèi)容，受到了國內(nèi)外研究人員的大量關(guān)注。到目前為止，單模態(tài)情感識別和多模態(tài)情感識別都取得

2、了較多的研究成果，在很大程度上促進了情感分析和識別技術(shù)在人類行為分析、公共安全以及早期兒童教育等領(lǐng)域的廣泛應(yīng)用。本論文主要研究了雙模態(tài)情感識別中的特征提取、特征降維和特征融合等關(guān)鍵問題，并討論了情感識別中的特征選擇問題以及噪聲和遮擋問題。本研究主要內(nèi)容包括：
　?、叛芯苛饲楦凶R別中的特征選擇。針對局部保持投影(LPP)方法不能進行情感特征選擇的問題，提出了一種基于回歸的稀疏局部保持投影(SLPP)方法，分別用于語音情感識別和人臉表

3、情識別。SLPP方法是在原始LPP方法的最小二乘回歸式子上增加LASSO正則項，來對語音情感特征和人臉表情特征進行特征降維和特征選擇。SLPP方法不僅可以刻畫情感特征的內(nèi)在流形結(jié)構(gòu)，還可以去除無用的情感特征，從而提升了情感識別的實驗效果。SLPP方法在JAFFE人臉表情庫、POFA人臉表情庫、Berlin語音情感庫、eNTERFACE'05庫和FAU Aibo情感庫上都取得了較好的實驗效果，其平均識別率高于LPP方法，說明了特征選擇在人

4、臉表情識別和語音情感識別中的有效性。
　?、蒲芯苛饲楦凶R別中的魯棒特征降維。針對傳統(tǒng)LPP方法應(yīng)用于情感識別時缺乏魯棒性的問題，提出了基于回歸的魯棒局部保持投影(RRLPP)方法，來有效處理情感識別中的噪聲和遮擋問題。類似于魯棒主成分分析(RPCA)方法、魯棒回歸(RR)方法和低秩約束線性判別分析(LRLDA)方法，RRLPP方法的基本思想也是通過同時引入情感樣本矩陣的低秩項和稀疏項來克服LPP方法中存在的不足，進而提高情感識別的

5、魯棒性。在Multi-PIE人臉表情庫上的測試結(jié)果表明，RRLPP方法可以有效去除人臉表情圖像中的噪聲和遮擋，同時也能取得比非魯棒方法更高的人臉表情識別率。
　?、茄芯苛嘶谝曨l的人臉表情和身體姿態(tài)雙模態(tài)情感識別。提出了一種基于多類典型相關(guān)分析(MCCA)的雙模態(tài)情感識別方法。該方法首先分別提取兩種模態(tài)的Harris空時特征以及情感語義特征，然后采用MCCA方法建立人臉表情Harris空時特征、身體姿態(tài)Harris空時特征和情感語

6、義特征的最小二乘回歸模型，進而有效提取兩種模態(tài)的判別信息并實現(xiàn)特征融合。為了進一步提高雙模態(tài)情感識別的準確性，采用多類核典型相關(guān)分析(MKCCA)融合方法替換MCCA融合方法，提出了一種基于MKCCA的雙模態(tài)情感識別方法。相比于MCCA融合方法，MKCCA是一種非線性融合方法。在FABO雙模態(tài)情感數(shù)據(jù)庫上的實驗結(jié)果顯示，MCCA融合方法和MKCCA（高斯核）融合方法都能有效地提高人臉表情和身體姿態(tài)雙模態(tài)情感識別效果。
　?、妊芯苛?/p>

7、基于特征層融合的人臉表情和語音雙模態(tài)情感識別。由于提取的人臉表情特征和語音情感特征往往存在噪聲或者冗余，因此會降低雙模態(tài)情感識別率。針對這個問題，提出了一種基于稀疏核減秩回歸(SKRRR)的人臉表情和語音雙模態(tài)情感識別方法。通過增加兩個投影方向的LASSO正則項，SKRRR融合方法可以比KRRR融合方法更加有效地提取人臉表情模態(tài)和語音模態(tài)的相關(guān)情感信息，進而在一定程度上提升了雙模態(tài)融合效果。在eNTERFACE'05數(shù)據(jù)庫上，SKRRR