自發(fā)表情數(shù)據(jù)庫(kù)分析和自發(fā)表情識(shí)別研究.pdf

1、心理學(xué)研究指出人的感情主要通過人的面部表情表達(dá)，因此，表情是人類情感交流的重要途徑之一，表情識(shí)別研究對(duì)于實(shí)現(xiàn)擬人化的人機(jī)交互具有重要的理論和現(xiàn)實(shí)意義。目前的人臉表情識(shí)別研究主要針對(duì)人為表情，而用戶在鏡頭前按照要求做出的表情，與用戶在日常生活中所表現(xiàn)的自發(fā)表情的產(chǎn)生機(jī)理和外在表現(xiàn)皆不相同。自發(fā)表情研究具有明顯的現(xiàn)實(shí)意義。
　　 本文對(duì)自發(fā)表情數(shù)據(jù)庫(kù)和自發(fā)表情識(shí)別中的若干關(guān)鍵問題進(jìn)行了研究，具體工作如下:
　　 (1)研究自

2、發(fā)表情數(shù)據(jù)庫(kù)中表情標(biāo)簽用戶評(píng)估的一致性。到目前為止，對(duì)于自發(fā)表情數(shù)據(jù)庫(kù)中表情標(biāo)簽的用戶評(píng)估沒有統(tǒng)一的標(biāo)準(zhǔn)。本文采用Kappa和Kendall和諧系數(shù)對(duì)USTC-NVIE數(shù)據(jù)庫(kù)中夸張幀和序列表情標(biāo)簽的評(píng)估數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析。分析結(jié)果表明，表情序列比夸張幀包含更多有用信息，多類別的表情強(qiáng)度標(biāo)注優(yōu)于單類別標(biāo)注。
　　 (2)分析自發(fā)表情數(shù)據(jù)庫(kù)的偏差。不同的數(shù)據(jù)庫(kù)收集方式和標(biāo)注方式不同，這些數(shù)據(jù)庫(kù)可變性可能會(huì)影響數(shù)據(jù)庫(kù)的泛化性能。本文提

3、出一種利用交叉數(shù)據(jù)庫(kù)驗(yàn)證分析自發(fā)表情數(shù)據(jù)庫(kù)之間的差異。本文分別從夸張幀和序列的角度進(jìn)行偏差分析。首先從自發(fā)表情庫(kù)USTC-NVIE、VAM、BELFAST、SEMAINE的夸張幀中提取局部二值模式(Local Binary Patterns)、伽柏(Gabor)、特征臉(Eigenface)和Fisher臉(Fisherface)四種特征，從自發(fā)表情庫(kù)UTDALLAS、USTC-NVIE、DEAP、MAHNOB的序列中提取差值Gabor

4、和差值LBP特征，然后分別使用支持向量機(jī)(SVM: Support VectorMachine)和隱馬爾可夫(HMM: Hidden Markov Model)對(duì)夸張幀和序列進(jìn)行愉悅度和喚醒度分類識(shí)別。實(shí)驗(yàn)結(jié)果表明，不同的自發(fā)表情庫(kù)之間存在著偏差，這些偏差影響算法的性能。這些差異性主要來自情緒誘發(fā)的方式，被試者的多樣性、評(píng)估者的評(píng)估質(zhì)量等。
　　 (3)提出特征級(jí)融合可見和紅外表情圖像的自發(fā)表情識(shí)別方法。由于可見光對(duì)圖像外觀和紋

5、理特征有較大影響，而紅外圖像對(duì)光照條件不敏感，因此融合可見和紅外圖像可以彌補(bǔ)可見圖像的不足。首先，分別從可見圖像和紅外圖像中提取紋理特征和溫度統(tǒng)計(jì)特征;然后使用方差分析(ANOVA)方法分別從可見特征和紅外特征中選擇最佳的特征子集，將選擇的特征子集拼接成最終的特征向量;最后，采用KNN分類器進(jìn)行表情識(shí)別。在USTC-NVIE自發(fā)表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明融合可見圖像和紅外圖像可以提高負(fù)類表情的識(shí)別率，并降低不同類別識(shí)別的差異，從而提高表

6、情識(shí)別的性能。
　　 (4)提出利用標(biāo)簽之間依賴關(guān)系進(jìn)行多表情識(shí)別和多情緒標(biāo)注方法。目前的表情識(shí)別和情緒標(biāo)注都是作為單標(biāo)簽問題處理，而實(shí)際是表情、情緒之間存在著共生和互斥關(guān)系，首先，從樣本中提取特征;其次，使用4種傳統(tǒng)的多標(biāo)簽學(xué)習(xí)算法Binary Relevance(BR)，Random k label sets(RAkEL)，BinaryRelevance k Nearest Neighbours(BRkNN)和Multi-L

7、abel k Nearest Neighbours(MLkNN)獲取表情（情緒）的measurement;然后，使用BN結(jié)構(gòu)學(xué)習(xí)算法建立標(biāo)簽間的關(guān)系;最后，結(jié)合傳統(tǒng)方法獲取的measurement和情緒之間的依賴關(guān)系，使用BN進(jìn)行多標(biāo)簽推理。在USTC-NVIE、JAFFE和兩個(gè)視頻庫(kù)上實(shí)驗(yàn)結(jié)果表明利用簡(jiǎn)單關(guān)系的RAkEL方法的識(shí)別結(jié)果好于其它3種沒有考慮關(guān)系的方法，本文所提的方法比傳統(tǒng)多標(biāo)簽分類方法在大部分參數(shù)上都有顯著的提高，說明了