容忍姿態(tài)變化的人臉表情識(shí)別方法研究.pdf

1、把人臉表情識(shí)別系統(tǒng)應(yīng)用在現(xiàn)實(shí)場景中是人機(jī)交互的終極目標(biāo)，但人臉表情圖像往往包含不同的人臉姿態(tài)，例如頭部的運(yùn)動(dòng)和鏡頭的位置的變換。現(xiàn)階段多姿態(tài)或者姿態(tài)無關(guān)表情識(shí)別系統(tǒng)有兩種:(1)為每種人臉姿態(tài)分別訓(xùn)練相應(yīng)的表情分類器;(2)使用單一分類器完成所有人臉姿態(tài)的表情分類任務(wù)。多分類器需要訓(xùn)練眾多的模型參數(shù)和冗余的標(biāo)簽信息，而單一分類器卻無法去除有關(guān)姿態(tài)的干擾信息。為了解決這兩點(diǎn)問題，本文提出層次主題模型和層次深度模型，用于提取多姿態(tài)人臉表情的

2、中間層語義特征與姿態(tài)無關(guān)表情特征。本文的主要貢獻(xiàn)有以下三點(diǎn):
　　1)針對人臉表情底層視覺特征無法表達(dá)高層語義的問題，提出一種基于語義屬、性的人臉表情識(shí)別新方法。該方法利用表情語義屬性這一中間人臉表情特征表示方法可在個(gè)別類別樣本很少的情況下共享情感特征信息的特點(diǎn)，通過統(tǒng)計(jì)人臉表情AU(Action Unit)編碼建立表情語義屬性與表情類別矩陣，然后采用SIFT(Scale-InvariantFeature Transform)底層

3、視覺特征訓(xùn)練獲得語義屬性標(biāo)注器，最后利用貝葉斯模型識(shí)別人臉表情。在CK+和BU-3DFE兩個(gè)公開人臉表情數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，與其它底層特征提取方法相比，該方法能有效提取表情特征信息并且把8種表情類別的平均識(shí)別率提高了4％。
　　2)針對人臉表情圖像中出現(xiàn)人臉姿態(tài)、尺度和人物等條件變得復(fù)雜時(shí)，識(shí)別準(zhǔn)確率也隨之降低的問題，本文提出基于多姿態(tài)人臉表情識(shí)別的層次主題模型。該方法在表情識(shí)別之前，首先結(jié)合局部紋理特征和全局幾何信息學(xué)習(xí)人臉

4、表情的中間層特征表示。通過共享不同姿態(tài)之間的特征池信息，可以對不同的姿態(tài)使用統(tǒng)一的解決方案，而不需要對每個(gè)姿態(tài)訓(xùn)練相應(yīng)的模型參數(shù)。這種共享特征與模型參數(shù)的方法可以擴(kuò)展到姿態(tài)多樣的現(xiàn)實(shí)場景人臉表情識(shí)別系統(tǒng)中。該方法在多姿態(tài)人臉表情識(shí)別標(biāo)準(zhǔn)庫(RAFD、KDEF和BU-3DFE)和網(wǎng)絡(luò)圖像上都取得現(xiàn)階段較好的識(shí)別結(jié)果。
　　3)針對層次主題模型中人臉不正確的特征點(diǎn)信息會(huì)干擾多姿態(tài)人臉表情特征提取的問題，提出基于層次深度模型的姿態(tài)無關(guān)人

5、臉表情識(shí)別方法。該方法從多姿態(tài)人臉圖像學(xué)習(xí)深度特征表示，并且結(jié)合主題模型組成該方法的特征學(xué)習(xí)結(jié)構(gòu)。首先從堆疊的PCA(Principal Component Analysis)濾波器組預(yù)學(xué)習(xí)正臉表情特征向量，以預(yù)提取正臉表情特征為標(biāo)準(zhǔn)，使用深度卷積網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)學(xué)習(xí)相應(yīng)非正臉與正臉特征的重構(gòu)關(guān)系。利用該重構(gòu)關(guān)系，正臉和非正臉統(tǒng)一使用CNN提取特征向量作為分類階段的特征輸入。最后