雙模態(tài)情緒強度估計方法研究.pdf

1、情緒是指人對認知內(nèi)容的特殊態(tài)度，是以個體的愿望和需要為中介的一種心理活動。生活中人們有著各種各樣的情緒，每一種情緒同時對人們的生活有反作用。因此對情緒進行識別，并相應地對情緒強度進行估計，用以指導人們的生活有著重要的現(xiàn)實意義。本文作者利用計算機技術(shù)，針對急躁這一負面情緒進行研究，并且將其擴展到其他情緒，具體工作如下： 由于心理學家認為人的情緒通過面部表情和動作表情體現(xiàn)，其中的動作表情是指與情緒相關(guān)的除去謠部表情以外的動作，它包括

2、頭部和身體其他部分的運動。因此本文作者將面部表情與動作表情(頭部運動)二者結(jié)合來估計情緒強度。 首先，對急躁情緒進行數(shù)學建模，構(gòu)建了雙模態(tài)特征模型，分別采用兩種模態(tài)信息——人臉表情和頭部運動信息來表征急躁情緒。其原因是根據(jù)實驗觀察，人在急躁時往往處于厭惡表情且伴有頭部頻繁地擺動。根據(jù)這一特點，設計用表情強度和頭部擺動強度來度量情緒。表情強度采用局部特征方法計算；頭部擺動強度采用頭部擺動的幅度和頻率進行估計，其中幅度采用情緒特征數(shù)

3、據(jù)的方差進行計算，而頻率采用情緒特征數(shù)據(jù)經(jīng)DCT變換的期望值來計算。該方法能夠擴展到其他情緒，為情緒強度估計提供了一種通用的特征提取方法。實驗結(jié)果表明該方法能較準確的提取情緒特征。 其次，針對急躁情緒強度估計這一問題，為了更好地結(jié)合面部表情與頭部運動信息，本文作者采用雙層隱馬爾科夫模型(DMHMM)對情緒強度進行估計。第一層MHMM對面部表情進行識別，進而得到面部表情強度信息；第二層結(jié)合面部表情特征與頭部運動特征進行情緒強度的估