容忍姿態(tài)變化的人臉表情識別方法研究.pdf

1、把人臉表情識別系統(tǒng)應用在現(xiàn)實場景中是人機交互的終極目標，但人臉表情圖像往往包含不同的人臉姿態(tài)，例如頭部的運動和鏡頭的位置的變換。現(xiàn)階段多姿態(tài)或者姿態(tài)無關表情識別系統(tǒng)有兩種:(1)為每種人臉姿態(tài)分別訓練相應的表情分類器;(2)使用單一分類器完成所有人臉姿態(tài)的表情分類任務。多分類器需要訓練眾多的模型參數(shù)和冗余的標簽信息，而單一分類器卻無法去除有關姿態(tài)的干擾信息。為了解決這兩點問題，本文提出層次主題模型和層次深度模型，用于提取多姿態(tài)人臉表情的

2、中間層語義特征與姿態(tài)無關表情特征。本文的主要貢獻有以下三點:
　　1)針對人臉表情底層視覺特征無法表達高層語義的問題，提出一種基于語義屬、性的人臉表情識別新方法。該方法利用表情語義屬性這一中間人臉表情特征表示方法可在個別類別樣本很少的情況下共享情感特征信息的特點，通過統(tǒng)計人臉表情AU(Action Unit)編碼建立表情語義屬性與表情類別矩陣，然后采用SIFT(Scale-InvariantFeature Transform)底層

3、視覺特征訓練獲得語義屬性標注器，最后利用貝葉斯模型識別人臉表情。在CK+和BU-3DFE兩個公開人臉表情數(shù)據(jù)庫上的實驗結果表明，與其它底層特征提取方法相比，該方法能有效提取表情特征信息并且把8種表情類別的平均識別率提高了4％。
　　2)針對人臉表情圖像中出現(xiàn)人臉姿態(tài)、尺度和人物等條件變得復雜時，識別準確率也隨之降低的問題，本文提出基于多姿態(tài)人臉表情識別的層次主題模型。該方法在表情識別之前，首先結合局部紋理特征和全局幾何信息學習人臉

4、表情的中間層特征表示。通過共享不同姿態(tài)之間的特征池信息，可以對不同的姿態(tài)使用統(tǒng)一的解決方案，而不需要對每個姿態(tài)訓練相應的模型參數(shù)。這種共享特征與模型參數(shù)的方法可以擴展到姿態(tài)多樣的現(xiàn)實場景人臉表情識別系統(tǒng)中。該方法在多姿態(tài)人臉表情識別標準庫(RAFD、KDEF和BU-3DFE)和網絡圖像上都取得現(xiàn)階段較好的識別結果。
　　3)針對層次主題模型中人臉不正確的特征點信息會干擾多姿態(tài)人臉表情特征提取的問題，提出基于層次深度模型的姿態(tài)無關人

5、臉表情識別方法。該方法從多姿態(tài)人臉圖像學習深度特征表示，并且結合主題模型組成該方法的特征學習結構。首先從堆疊的PCA(Principal Component Analysis)濾波器組預學習正臉表情特征向量，以預提取正臉表情特征為標準，使用深度卷積網絡(Convolutional Neural Networks，CNN)學習相應非正臉與正臉特征的重構關系。利用該重構關系，正臉和非正臉統(tǒng)一使用CNN提取特征向量作為分類階段的特征輸入。最后