容忍姿態(tài)變化的人臉表情識(shí)別方法研究.pdf

1、把人臉表情識(shí)別系統(tǒng)應(yīng)用在現(xiàn)實(shí)場(chǎng)景中是人機(jī)交互的終極目標(biāo)，但人臉表情圖像往往包含不同的人臉姿態(tài)，例如頭部的運(yùn)動(dòng)和鏡頭的位置的變換?，F(xiàn)階段多姿態(tài)或者姿態(tài)無(wú)關(guān)表情識(shí)別系統(tǒng)有兩種:(1)為每種人臉姿態(tài)分別訓(xùn)練相應(yīng)的表情分類(lèi)器;(2)使用單一分類(lèi)器完成所有人臉姿態(tài)的表情分類(lèi)任務(wù)。多分類(lèi)器需要訓(xùn)練眾多的模型參數(shù)和冗余的標(biāo)簽信息，而單一分類(lèi)器卻無(wú)法去除有關(guān)姿態(tài)的干擾信息。為了解決這兩點(diǎn)問(wèn)題，本文提出層次主題模型和層次深度模型，用于提取多姿態(tài)人臉表情的

2、中間層語(yǔ)義特征與姿態(tài)無(wú)關(guān)表情特征。本文的主要貢獻(xiàn)有以下三點(diǎn):
　　1)針對(duì)人臉表情底層視覺(jué)特征無(wú)法表達(dá)高層語(yǔ)義的問(wèn)題，提出一種基于語(yǔ)義屬、性的人臉表情識(shí)別新方法。該方法利用表情語(yǔ)義屬性這一中間人臉表情特征表示方法可在個(gè)別類(lèi)別樣本很少的情況下共享情感特征信息的特點(diǎn)，通過(guò)統(tǒng)計(jì)人臉表情AU(Action Unit)編碼建立表情語(yǔ)義屬性與表情類(lèi)別矩陣，然后采用SIFT(Scale-InvariantFeature Transform)底層

3、視覺(jué)特征訓(xùn)練獲得語(yǔ)義屬性標(biāo)注器，最后利用貝葉斯模型識(shí)別人臉表情。在CK+和BU-3DFE兩個(gè)公開(kāi)人臉表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，與其它底層特征提取方法相比，該方法能有效提取表情特征信息并且把8種表情類(lèi)別的平均識(shí)別率提高了4％。
　　2)針對(duì)人臉表情圖像中出現(xiàn)人臉姿態(tài)、尺度和人物等條件變得復(fù)雜時(shí)，識(shí)別準(zhǔn)確率也隨之降低的問(wèn)題，本文提出基于多姿態(tài)人臉表情識(shí)別的層次主題模型。該方法在表情識(shí)別之前，首先結(jié)合局部紋理特征和全局幾何信息學(xué)習(xí)人臉

4、表情的中間層特征表示。通過(guò)共享不同姿態(tài)之間的特征池信息，可以對(duì)不同的姿態(tài)使用統(tǒng)一的解決方案，而不需要對(duì)每個(gè)姿態(tài)訓(xùn)練相應(yīng)的模型參數(shù)。這種共享特征與模型參數(shù)的方法可以擴(kuò)展到姿態(tài)多樣的現(xiàn)實(shí)場(chǎng)景人臉表情識(shí)別系統(tǒng)中。該方法在多姿態(tài)人臉表情識(shí)別標(biāo)準(zhǔn)庫(kù)(RAFD、KDEF和BU-3DFE)和網(wǎng)絡(luò)圖像上都取得現(xiàn)階段較好的識(shí)別結(jié)果。
　　3)針對(duì)層次主題模型中人臉不正確的特征點(diǎn)信息會(huì)干擾多姿態(tài)人臉表情特征提取的問(wèn)題，提出基于層次深度模型的姿態(tài)無(wú)關(guān)人

5、臉表情識(shí)別方法。該方法從多姿態(tài)人臉圖像學(xué)習(xí)深度特征表示，并且結(jié)合主題模型組成該方法的特征學(xué)習(xí)結(jié)構(gòu)。首先從堆疊的PCA(Principal Component Analysis)濾波器組預(yù)學(xué)習(xí)正臉表情特征向量，以預(yù)提取正臉表情特征為標(biāo)準(zhǔn)，使用深度卷積網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)學(xué)習(xí)相應(yīng)非正臉與正臉特征的重構(gòu)關(guān)系。利用該重構(gòu)關(guān)系，正臉和非正臉統(tǒng)一使用CNN提取特征向量作為分類(lèi)階段的特征輸入。最后