基于姿態(tài)和表情的雙模態(tài)情感識別方法研究.pdf

1、情感識別是模式識別領域的一個重要課題。近年來，多模態(tài)情感識別越來越引起研究者的重視。本文的主要工作是基于姿態(tài)和表情的雙模態(tài)情感識別方法研究。
　　 本文以FABO數(shù)據(jù)庫的數(shù)據(jù)為基礎，進行了姿態(tài)和表情的單模態(tài)情感識別實驗。實驗中，使用空時特征向量作為每個單模態(tài)的情感特征向量，分類器分別使用最近鄰分類器和支持向量機。本文的實驗中考察了空時特征向量取不同維數(shù)時對實驗結果的影響，并從中選擇出了分類效果相對較好的一組特征向量參與融合。

2、r>　　 其次，本文使用典型相關分析(CCA)方法進行融合。為克服實驗中存在的小樣本規(guī)模問題，采用PCA+CCA的方法，即先對樣本使用主成分分析(PCA)方法進行降維，然后再使用CCA方法進行融合。
　　 接下來，本文使用基于核方法的核典型相關分析(KCCA)方法進行了融合實驗。實驗中使用KCCA方法直接對兩組單模態(tài)的原始向量進行融合。同時，還考察了選用不同核函數(shù)對融合結果的影響。為了進一步比較KCCA和CCA方法、直接融合方

3、法融合效果的差異，本文進行了相同實驗數(shù)據(jù)下這幾種融合方法的性能比較，即采用PCA+KCCA的方法。
　　 最后，本文使用稀疏典型相關分析(SCCA)對降維后的兩組單模態(tài)的特征向量進行融合。降維分別使用PCA和核主成分分析(KPCA)方法。
　　 實驗結果表明，使用CCA方法進行融合并沒有得到滿意的效果，與直接融合方法相比沒有明顯的優(yōu)勢。對于KCCA方法，在本文中使用x2核函數(shù)比高斯核函數(shù)的效果更好。使用KCCA方法進行融