情感識(shí)別中的多模態(tài)信息融合方法研究.pdf

1、分類(lèi)號(hào)：分類(lèi)號(hào)：密級(jí)：密級(jí)：研究生學(xué)位論文研究生學(xué)位論文論文題目（中文）論文題目（中文）情感識(shí)別中的多模態(tài)信息融合方法研究情感識(shí)別中的多模態(tài)信息融合方法研究論文題目（外文）論文題目（外文）ResearchonMethodsofMultimodalInfmationFusioninEmotionRecognition研究生姓名研究生姓名陳婧陳婧學(xué)科、專(zhuān)業(yè)學(xué)科、專(zhuān)業(yè)計(jì)算機(jī)科學(xué)與技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)計(jì)算機(jī)科學(xué)與技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)研究方向研究方向

2、情感計(jì)算情感計(jì)算學(xué)位級(jí)別學(xué)位級(jí)別博士博士導(dǎo)師姓名、職稱(chēng)導(dǎo)師姓名、職稱(chēng)胡斌教授胡斌教授論文工作論文工作起止年月起止年月2014年09月至2016年05月2014年09月至2016年05月論文提交日期論文提交日期2016年06月2016年06月論文答辯日期論文答辯日期2016年06月2016年06月學(xué)位授予日期學(xué)位授予日期2016年06月2016年06月校址：甘肅省蘭州市城關(guān)區(qū)天水南路222號(hào)I情感識(shí)別中的多模態(tài)信息融合方法研究摘情感識(shí)別中

3、的多模態(tài)信息融合方法研究摘要要情感識(shí)別是情感計(jì)算領(lǐng)域中的一個(gè)重要研究分支，是人工智能、人機(jī)交互和模式識(shí)別等領(lǐng)域的重點(diǎn)研究?jī)?nèi)容。情感識(shí)別是計(jì)算機(jī)科學(xué)、數(shù)學(xué)、生理學(xué)和心理學(xué)等多學(xué)科交叉的研究課題之一，目前仍存在諸多問(wèn)題亟待解決，尤其是在特征提取、特征降維、情感識(shí)別算法和多模態(tài)數(shù)據(jù)融合等方面需要更加深入地研究和探索。雖然很多研究側(cè)重于使用語(yǔ)音和面部表情進(jìn)行情感識(shí)別，但這些表達(dá)人類(lèi)外在情感的生理模態(tài)仍然不能反映出真實(shí)的內(nèi)在情感體驗(yàn)。因此情感識(shí)別

4、研究者也轉(zhuǎn)向于探索人類(lèi)內(nèi)在的生理信號(hào)，試圖發(fā)現(xiàn)其中可表征人類(lèi)情感的潛在信息。大腦活動(dòng)（腦電信號(hào)）、心臟活動(dòng)（心電信號(hào)）、呼吸、面部肌肉運(yùn)動(dòng)（肌電信號(hào)）和皮膚傳導(dǎo)性（皮膚電反應(yīng)）等被認(rèn)為是識(shí)別人類(lèi)情感的重要生理模態(tài)。很多情感識(shí)別研究表明，利用生理信號(hào)識(shí)別人類(lèi)情感在實(shí)驗(yàn)環(huán)境下能夠獲得滿(mǎn)意的識(shí)別效果。但是僅僅使用單模態(tài)生理信號(hào)進(jìn)行情感識(shí)別在識(shí)別準(zhǔn)確率、穩(wěn)定性等方面仍然表現(xiàn)出一些固有缺陷。為了彌補(bǔ)單模態(tài)生理信號(hào)的不足，融合多模態(tài)生理信息進(jìn)行情感

5、識(shí)別的方法應(yīng)運(yùn)而生，并受到廣泛關(guān)注。目前，多模態(tài)信息融合進(jìn)行情感識(shí)別的研究仍處于探索階段，方法和技術(shù)并不成熟，因此該領(lǐng)域的研究還需進(jìn)一步深入和完善。本文針對(duì)多模態(tài)情感識(shí)別中的關(guān)鍵問(wèn)題，提出了多模態(tài)融合進(jìn)行情感識(shí)別的一系列方法。從識(shí)別準(zhǔn)確率和識(shí)別方法普適性方面考慮，提出了獨(dú)立于用戶(hù)的三層情感決策方法。利用該決策方法可構(gòu)建出一個(gè)在多用戶(hù)環(huán)境下識(shí)別人類(lèi)情感的范化模型。從多模態(tài)信息互補(bǔ)角度考慮，提出了多模態(tài)特征層融合方法和決策層融合方法進(jìn)行情感

6、識(shí)別。在這兩種融合方法中都使用到了“多樣性特性”計(jì)算方法，并將多樣性特性計(jì)算方法與傳統(tǒng)的特征選擇方法相結(jié)合對(duì)多模態(tài)（或者單模態(tài)）特征進(jìn)行選擇（和融合）。本文工作及創(chuàng)新點(diǎn)歸結(jié)如下：1.提出三層結(jié)構(gòu)的情感識(shí)別決策方法。為了構(gòu)建普適化的情感識(shí)別模型對(duì)多用戶(hù)情感進(jìn)行識(shí)別，決策方法的第一層首先將測(cè)試用戶(hù)劃分到某一用戶(hù)組中，然后使用由該用戶(hù)組數(shù)據(jù)構(gòu)建的分類(lèi)模型對(duì)測(cè)試用戶(hù)的情感進(jìn)行分類(lèi)。決策方法的第二層是將多類(lèi)情感識(shí)別問(wèn)題轉(zhuǎn)化成多個(gè)情感池的分類(lèi)問(wèn)題，