微表情識(shí)別的理論和方法研究.pdf

1、微表情是一種持續(xù)時(shí)間非常短暫的表情，它能夠表達(dá)人們想要隱藏的真實(shí)情感。近年來(lái)，微表情識(shí)別因?yàn)槠錆撛诘膽?yīng)用價(jià)值而逐漸引起了研究者的關(guān)注。目前微表情識(shí)別的研究?jī)H處于初始階段，一是微表情數(shù)據(jù)庫(kù)的稀少，二是由于微表情本身的細(xì)微行為特點(diǎn)導(dǎo)致大多數(shù)特征提取方法不魯棒。針對(duì)這些問(wèn)題，本文受最近深度學(xué)習(xí)的巨大成功的啟發(fā)，探索和研究其在微表情識(shí)別中的方法及應(yīng)用。本文的主要工作總結(jié)如下:
　　(1)建立了一個(gè)誘發(fā)的微表情數(shù)據(jù)庫(kù)。微表情數(shù)據(jù)庫(kù)是進(jìn)行微表

2、情識(shí)別研究的重要支撐，而目前通過(guò)誘發(fā)的微表情數(shù)據(jù)庫(kù)太稀少。本文搭建了微表情誘發(fā)環(huán)境，利用攝像機(jī)采集了被試觀看誘發(fā)視頻的微表情視頻，從中挑選出了微表情幀序列，標(biāo)注了微表情的標(biāo)簽，建立了微表情數(shù)據(jù)庫(kù)，并總結(jié)了建庫(kù)的一些難題。
　　(2)概述了一套完整的微表情識(shí)別工作，包括微表情幀序列預(yù)處理、微表情檢測(cè)、微表情特征提取、微表情分類，進(jìn)行了一系列基準(zhǔn)實(shí)驗(yàn)。
　　(3)提出了一種基于深度置信網(wǎng)絡(luò)（Deep Belief Network

3、，DBN）的微表情識(shí)別方法。將深度學(xué)習(xí)與微表情識(shí)別研究結(jié)合在一起，先對(duì)微表情數(shù)據(jù)進(jìn)行擴(kuò)充樣本，再提取動(dòng)態(tài)特征輸入到深度置信網(wǎng)絡(luò)中，并在預(yù)訓(xùn)練、微調(diào)過(guò)程中調(diào)節(jié)參數(shù)，最終得到了較好的識(shí)別率。
　　(4)提出了一種基于三維卷積神經(jīng)網(wǎng)絡(luò)(three dimensional ConvolutionalNeural Network，3D-CNN)的微表情識(shí)別方法。目前，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是人們研究模式識(shí)別問(wèn)題最常采用的深度學(xué)習(xí)網(wǎng)絡(luò)模型之一

4、。然而，CNN的功能僅僅局限在對(duì)于2D輸入的處理。本文在CNN的基礎(chǔ)上，發(fā)展了一種三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)的網(wǎng)絡(luò)結(jié)構(gòu)，用3D-CNN提取微表情動(dòng)態(tài)視頻的特征，并對(duì)其進(jìn)行分類。3D-CNN是一種新的深度學(xué)習(xí)網(wǎng)絡(luò)，增加了對(duì)于時(shí)間信息的卷積，因此可以處理各種3D輸入，可以應(yīng)用于視頻系列分類任務(wù)。
　　(5)開發(fā)了一個(gè)簡(jiǎn)單的微表情自動(dòng)檢測(cè)和識(shí)別系統(tǒng)。該系統(tǒng)分為兩個(gè)部分:一是微表情自動(dòng)檢測(cè)部分，用來(lái)檢測(cè)微表情視頻的起始幀、峰值幀、結(jié)