任意姿態(tài)人臉表情識(shí)別方法研究.pdf

1、研發(fā)可用于自然場(chǎng)景中的自動(dòng)人臉表情識(shí)別系統(tǒng)是人機(jī)交互的重要目標(biāo)之一，然而自然場(chǎng)景中人的頭部是不斷運(yùn)動(dòng)的，因此想要把人臉表情識(shí)別系統(tǒng)應(yīng)用于現(xiàn)實(shí)場(chǎng)景中首先要解決圖像中不斷變化的人臉姿態(tài)問(wèn)題?，F(xiàn)階段任意姿態(tài)人臉表情識(shí)別系統(tǒng)主要可以分為三類(lèi)：1)分別為每種人臉姿態(tài)的表情圖像建立對(duì)應(yīng)的表情識(shí)別模型；2)忽略姿態(tài)因素，為各種姿態(tài)的人臉表情圖像建立單一的表情識(shí)別模型；3)通過(guò)建立不同姿態(tài)間映射關(guān)系進(jìn)行姿態(tài)歸一化，為不同姿態(tài)的人臉表情圖像建立統(tǒng)一的表情

2、識(shí)別模型。第一種多分類(lèi)器方式需要根據(jù)姿態(tài)的不同訓(xùn)練眾多模型，且需要為每個(gè)模型單獨(dú)調(diào)節(jié)參數(shù)。第二種單一分類(lèi)器無(wú)法去除姿態(tài)的干擾信息也必然會(huì)影響模型最終的表情識(shí)別率。第三種統(tǒng)一分類(lèi)器多是通過(guò)定位人臉關(guān)鍵特征點(diǎn)學(xué)習(xí)非正臉圖像與正臉圖像映射關(guān)系的方法提取對(duì)姿態(tài)具有魯棒性的特征，從而使任意姿態(tài)的人臉表情識(shí)別任務(wù)可以在一個(gè)統(tǒng)一的模型中完成。這很大程度依賴(lài)于關(guān)鍵特征點(diǎn)定位的準(zhǔn)確性，尤其是側(cè)臉狀態(tài)下的關(guān)鍵特征點(diǎn)定位目前仍然存在很大困難。因此為了解決這三

3、種方法所存在的問(wèn)題，本文提出基于層次狄利克雷模型和快速自動(dòng)編碼器的任意姿態(tài)人臉表情識(shí)別方法。文章的主要內(nèi)容如下：
　?。?）提出基于層次狄利克雷模型的任意姿態(tài)人臉?lè)指睢⑷四槺砬樽R(shí)別方法。針對(duì)當(dāng)人臉表情圖像中人臉姿態(tài)變化復(fù)雜時(shí)需要為每種姿態(tài)分別建立模型和調(diào)節(jié)參數(shù)而引起的模型效率低的問(wèn)題，以及忽略姿態(tài)因素為不同姿態(tài)建立單一模型帶來(lái)的模型識(shí)別率低的問(wèn)題，提出基于層次狄利克雷模型的任意姿態(tài)人臉關(guān)鍵區(qū)域分割、人臉表情識(shí)別方法。該方法通過(guò)將姿

4、態(tài)因素加入傳統(tǒng)狄利克雷模型中，由主題模型學(xué)習(xí)中間層特征，使模型在學(xué)習(xí)過(guò)程中可以共享不同姿態(tài)之間的特征信息，從而使任意姿態(tài)人臉表情識(shí)別任務(wù)可在一個(gè)完整統(tǒng)一的模型中完成。通過(guò)構(gòu)建人臉關(guān)鍵區(qū)域分割、人臉表情識(shí)別的層次結(jié)構(gòu)得到一種從粗糙到精細(xì)的表情識(shí)別模型，從而提高模型的效率。通過(guò)結(jié)合局部紋理特征和其所對(duì)應(yīng)的幾何特征學(xué)習(xí)得到特征之間的幾何約束，從而提高模型的穩(wěn)定性與識(shí)別率。在 RAFD和BU-3DFE兩個(gè)公開(kāi)人臉表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)

5、階段所提方法在同等條件下相比，該方法能有效解決人臉表情圖像中不斷變化的姿態(tài)問(wèn)題，將最終的平均表情識(shí)別率提高了0.4％~16.2%。
　?。?）提出基于空間連貫特征的快速任意姿態(tài)人臉表情識(shí)別方法。針對(duì)人臉表情識(shí)別中出現(xiàn)的由于特征點(diǎn)定位不準(zhǔn)確而影響任意姿態(tài)人臉表情識(shí)別結(jié)果的問(wèn)題，以及層次狄利克雷模型中隨著姿態(tài)不斷增加而引起模型復(fù)雜度逐漸增加的問(wèn)題，提出基于空間連貫特征的快速任意姿態(tài)人臉表情識(shí)別方法。該方法通過(guò)將任意姿態(tài)的非正臉圖像從像

6、素級(jí)別將其映射為所對(duì)應(yīng)的正臉圖像，避免了特征點(diǎn)定位不準(zhǔn)確的問(wèn)題。通過(guò)基于對(duì)表情貢獻(xiàn)較大的關(guān)鍵區(qū)域的無(wú)監(jiān)督特征學(xué)習(xí)方法提取對(duì)光照、圖像扭曲等因素更具魯棒性的特征，提高了模型的效率以及表情的識(shí)別率。通過(guò)將無(wú)監(jiān)督特征學(xué)習(xí)得到的學(xué)習(xí)型特征與其所對(duì)應(yīng)的關(guān)鍵區(qū)域的幾何信息相結(jié)合，形成具有空間連貫特性的混合特征，提高了模型的效率和穩(wěn)定性。在公開(kāi)的包含任意姿態(tài)人臉表情識(shí)別圖像的標(biāo)準(zhǔn)庫(kù)BU-3DFE上，從多個(gè)方面驗(yàn)證了所提方法的有效性，實(shí)驗(yàn)結(jié)果表明該方法