基于視覺行為的情感計(jì)算研究.pdf

1、隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展，以及對個(gè)性化人機(jī)交互需求的不斷增強(qiáng)，情感計(jì)算在人機(jī)交互中的重要性日益顯著，基于情感理解與表達(dá)的人機(jī)交互研究受到了各領(lǐng)域的廣泛關(guān)注。情感識(shí)別及理解作為情感計(jì)算的基礎(chǔ)，是使計(jì)算機(jī)擁有情感感知能力的重要研究內(nèi)容。而面部表情和肢體行為作為人類表達(dá)情感的兩種主要方式，也就成為了情感識(shí)別研究的重要手段。因此，本文基于對面部表情及肢體行為的分析，對情感識(shí)別理解中的特征表示、分類方法及多模態(tài)融合等問題進(jìn)行了深入的研究，并完成了

2、如下幾個(gè)方面的內(nèi)容及創(chuàng)新工作：
　　1．對基于面部表情的情感識(shí)別進(jìn)行了深入的研究，提出了基于改進(jìn)決策森林的表情識(shí)別方法。通過對人的面部表情進(jìn)行分析，獲得了對表情辨別中變化顯著的多個(gè)面部區(qū)域，并基于該分析結(jié)果提出了一個(gè)基于決策森林的表情分類模型——隱馬爾可夫決策森林模型（Hidden Markov Model Decision Forest,HMMDF）。該模型以決策樹作為其基本拓?fù)浣Y(jié)構(gòu)。模型中每個(gè)節(jié)點(diǎn)被定義為一個(gè)具有可分辨性的強(qiáng)分

3、類器,并利用多個(gè)隱馬爾可夫鏈的組合進(jìn)行構(gòu)造,從而實(shí)現(xiàn)對表情的視頻數(shù)據(jù)的分析識(shí)別。其中，每個(gè)隱馬爾可夫鏈描述了唯一的面部區(qū)域，且針對不同的面部區(qū)域，其在模型中的作用價(jià)值通過權(quán)重的形式加以表示。由此，面部區(qū)域在表情識(shí)別中所表現(xiàn)出的差異性將在模型中得到充分的發(fā)揮，從而實(shí)現(xiàn)了對多個(gè)面部區(qū)域特征的融合。實(shí)驗(yàn)驗(yàn)證了面部區(qū)域?qū)Σ煌砬榉直婺芰Φ牟町愋蕴攸c(diǎn)，并通過實(shí)驗(yàn)對其進(jìn)行了量化。實(shí)驗(yàn)結(jié)果表明，所提出的表情識(shí)別模型HMMDF在動(dòng)態(tài)表情識(shí)別中能夠取得較

4、好的識(shí)別效果。
　　2．對基于肢體行為的情感識(shí)別進(jìn)行了研究，分析了交互行為中的情感交流，并針對交互行為特征描述問題，提出了與情感相關(guān)的交互行為的特征表示方法?；诮换バ袨榈闹w運(yùn)動(dòng)特點(diǎn)，提出了兩層特征表示模型。該模型不僅描述了行為過程中的運(yùn)動(dòng)特征，還融合了交互行為過程中的上下文信息。在該特征表示模型中,低層表示采用了局部時(shí)空軌跡的編碼方法，并提出了層次時(shí)空軌跡編碼模型對特征進(jìn)行學(xué)習(xí)，從而實(shí)現(xiàn)了對運(yùn)動(dòng)特征的表示。此外，基于對交互行為

5、中的時(shí)空關(guān)系特點(diǎn)的分析，還提出了交互行為的上下文信息的描述方法。該方法從行為序列中提取了蘊(yùn)含交互行為中時(shí)空上下文信息的局部交互姿態(tài)輪廓，并以此作為交互上下文特征引入到低層表示中。模型的高層表示則基于對局部特征的編碼，提出了基于時(shí)空序列特性的聚類方法，從行為的整體性角度進(jìn)一步描述行為特征。
　　3．基于以上研究,對人臉表情及肢體動(dòng)作所表達(dá)情感的理解及意圖的識(shí)別進(jìn)行了深入探討，提出了基于面部表情和肢體行為的多模態(tài)融合模型，解決了相似交

6、互行為在不同環(huán)境中的情感理解及意圖識(shí)別問題。該模型基于多層隱馬爾可夫鏈實(shí)現(xiàn)，將交互者的表情分別作為彼此情感意圖表達(dá)的上下文信息，并融合了交互中雙方的行為姿態(tài)的變化。模型中不僅通過隱馬爾可夫鏈定義了每種模態(tài)的行為狀態(tài)轉(zhuǎn)換關(guān)系，還描述了不同模態(tài)之間狀態(tài)的相互聯(lián)系，因此能夠更有效地分辨相似的交互行為，進(jìn)而實(shí)現(xiàn)了對情感的理解及意圖的識(shí)別。
　　4．提出并構(gòu)建了基于多模態(tài)情感表達(dá)的行為數(shù)據(jù)集。為了對以上基于面部表情與肢體行為融合的情感意圖識(shí)

7、別方法進(jìn)行驗(yàn)證，提出并建立了多模態(tài)的情感數(shù)據(jù)集。該數(shù)據(jù)集包含了來自32部電影的283個(gè)視頻片段，共表達(dá)了4類情感意圖，分別為慶祝、問候、安慰和感謝。此外，還對該數(shù)據(jù)集中所包含的面部表情類型、視頻片段中行為的相關(guān)特性等進(jìn)行了標(biāo)注。
　　綜上所述，本文分別基于多種模態(tài)對情感識(shí)別中的特征表示、分類算法進(jìn)行了深入的研究，并基于以上工作采用了多模態(tài)融合的方法對交互行為中復(fù)雜情感加以理解，進(jìn)而實(shí)現(xiàn)了更深層的情感意圖的識(shí)別。以上研究使計(jì)算機(jī)在具