基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的人面部運(yùn)動(dòng)識(shí)別方法研究.pdf

1、使計(jì)算機(jī)按人類自然形成的溝通認(rèn)知習(xí)慣和形式理解人們的情感是人機(jī)交互的發(fā)展方向。人面部運(yùn)動(dòng)承載著豐富的情感信息。人面部運(yùn)動(dòng)分析包括人臉特征點(diǎn)檢測(cè)、面部運(yùn)動(dòng)單元（AU）識(shí)別和人臉表情識(shí)別等，是計(jì)算機(jī)理解人類情感的前提，得到了廣泛關(guān)注并積累了大量研究成果。但大量測(cè)試實(shí)踐經(jīng)驗(yàn)表明：非理性條件下人面部運(yùn)動(dòng)分析技術(shù)還遠(yuǎn)未成熟。特別是真實(shí)場(chǎng)景中尺度、表觀和光照的變化造成的圖像觀測(cè)值不確定性、自然人之間的差別以及訓(xùn)練數(shù)據(jù)的稀缺給人面部運(yùn)動(dòng)分析研究帶來(lái)了

2、極大挑戰(zhàn)。本文針對(duì)上述問(wèn)題進(jìn)行了深入研究，包括自然人AU強(qiáng)度識(shí)別、不同層面部運(yùn)動(dòng)間相互作用關(guān)系分析、建模和知識(shí)驅(qū)動(dòng)模型訓(xùn)練方法。本文主要研究工作包括：
　　研究了基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（DBN）的AU之間及AU強(qiáng)度之間動(dòng)靜態(tài)依存關(guān)系建模方法。針對(duì)當(dāng)前人面部運(yùn)動(dòng)識(shí)別領(lǐng)域大部分研究只識(shí)別二值A(chǔ)U，極少數(shù)識(shí)別AU強(qiáng)度的工作也忽略了AU強(qiáng)度之間相互作用關(guān)系和時(shí)序關(guān)系的問(wèn)題，本文提出了基于DBN的自然人AU強(qiáng)度識(shí)別統(tǒng)一概率模型。該方法主要包含A

3、U強(qiáng)度觀測(cè)值提取和DBN推理兩步驟，即采用Gabor特征和HOG特征與支持向量機(jī)（SVM）的組合來(lái)提取AU強(qiáng)度觀測(cè)值，在此基礎(chǔ)上，采用DBN系統(tǒng)地建模、表示AU之間及AU強(qiáng)度之間的動(dòng)靜態(tài)依存關(guān)系，并和圖像觀測(cè)值相結(jié)合，通過(guò)DBN概率推理識(shí)別AU強(qiáng)度。實(shí)驗(yàn)表明，所提出的方法能提高AU強(qiáng)度識(shí)別精度。
　　提出了基于DBN的人臉特征點(diǎn)追蹤和表情識(shí)別模型。人面部運(yùn)動(dòng)分析自下而上包括面部特征點(diǎn)追蹤、AU識(shí)別和六種典型表情識(shí)別。現(xiàn)有研究通常只

4、集中于人面部運(yùn)動(dòng)的一或兩層，信息流自下而上，忽略了不同層人面部運(yùn)動(dòng)之間的相互作用關(guān)系及自上而下的信息流。針對(duì)這一問(wèn)題，本文采用DBN系統(tǒng)地、統(tǒng)一地建模、表示不同層面部運(yùn)動(dòng)的演變過(guò)程及相互作用關(guān)系。采用組合節(jié)點(diǎn)來(lái)建模AU組合相關(guān)性，大大降低了模型計(jì)算復(fù)雜度。根據(jù)鑲嵌于DBN模型中的條件獨(dú)立性，局部地訓(xùn)練DBN模型以減少訓(xùn)練數(shù)據(jù)數(shù)量。得到圖像觀測(cè)值，通過(guò)DBN概率推理同時(shí)識(shí)別三層人面部運(yùn)動(dòng)。和其他方法相比，所提出的模型中信息流不僅自下而上，

5、而且自上而下，即不僅面部特征點(diǎn)追蹤結(jié)果作用于AU識(shí)別和表情識(shí)別，AU識(shí)別和表情識(shí)別結(jié)果也幫助提高特征點(diǎn)追蹤表現(xiàn)。
　　提出了一種領(lǐng)域知識(shí)驅(qū)動(dòng)模型訓(xùn)練方法?；谙闰?yàn)?zāi)Ｐ偷娜嗣娌窟\(yùn)動(dòng)識(shí)別方法可以很好地處理圖像觀測(cè)值不確定性等問(wèn)題，但其應(yīng)用瓶頸為訓(xùn)練過(guò)程需要大量有代表性的訓(xùn)練數(shù)據(jù)，并且泛化能力差。為解決這一問(wèn)題，本文研究了基于領(lǐng)域知識(shí)的先驗(yàn)?zāi)Ｐ陀?xùn)練方法。通過(guò)研究面部動(dòng)作編碼系統(tǒng)及面部解剖學(xué)中面部肌肉運(yùn)動(dòng)相互作用關(guān)系，提取人面部運(yùn)動(dòng)領(lǐng)域的