基于生理信號(hào)的情感識(shí)別方法研究.pdf

1、心理生理學(xué)和智能人機(jī)交互領(lǐng)域?qū)η楦械纳砜煞中匝芯恐饕捎梅讲罘治龊突谀Ｊ椒诸惖姆椒ā＿@些方法通常直接從生理信號(hào)的統(tǒng)計(jì)特征中尋找情感特異性生理反應(yīng)模式，而忽略了證明生理信號(hào)中是否存在情感生理反應(yīng)。本文基于國(guó)家重點(diǎn)學(xué)科基礎(chǔ)心理學(xué)基金項(xiàng)目(No.NKSF07003)和國(guó)家自然科學(xué)基金項(xiàng)目(No.60873143)的工作，以發(fā)現(xiàn)情感生理信號(hào)重要特征及其組合，并建立情感的生理信息計(jì)算模型為研究目的，首次應(yīng)用隨機(jī)矩陣?yán)碚搶?duì)情感生理信號(hào)進(jìn)行信號(hào)序

2、列相關(guān)性分析，以揭示信號(hào)序列中確實(shí)存在的情感生理反應(yīng)和特定的情感生理反應(yīng)時(shí)間模式。按信號(hào)種類構(gòu)造信號(hào)序列相關(guān)矩陣，分析相關(guān)矩陣特征值的最近鄰間距分布和特征值譜剛度，檢驗(yàn)相關(guān)矩陣的特征值和特征向量的分布，以探討情感生理信號(hào)是否表現(xiàn)出相關(guān)的情感生理反應(yīng)模式，從而找出包含可靠情感生理反應(yīng)的信號(hào)，避免非情感特異性生理反應(yīng)模式對(duì)研究結(jié)論的干擾。以隨機(jī)矩陣?yán)碚摰那楦猩矸磻?yīng)模式分析結(jié)果為依據(jù)，提出了高興、驚奇、厭惡、悲傷、憤怒和恐懼6種基本情感基于

3、特征解空間搜索和Fisher映射分類的二分類情感識(shí)別模型。將特征選擇問題抽取為一個(gè)組合優(yōu)化模型，使用優(yōu)化問題中常用的遺傳算法、蟻群算法、粒子群算法、后向選擇算法和前向漂移選擇算法進(jìn)行特征選擇，比較了上述算法在預(yù)測(cè)識(shí)別能力、避免過擬合能力、計(jì)算代價(jià)和特征維度壓縮能力等方面各自的優(yōu)缺點(diǎn)，找出了最適合于基于生理信號(hào)的情感識(shí)別特征選擇問題的解空間搜索算法，并獲得了每一種基本情感區(qū)別于其它情感的關(guān)鍵生理信號(hào)特征組合。通過上述研究工作得到了如下結(jié)果

4、：
　　 (1)通過恰當(dāng)?shù)那楦猩硇盘?hào)采集方案設(shè)計(jì)，獲得了300名大學(xué)生的情感生理反應(yīng)樣本，建立了規(guī)模較大的情感生理反應(yīng)樣本庫(kù)，其中包含了皮膚電導(dǎo)、心率、心電、呼吸、脈搏、肌電和額葉的兩路腦電共8路生理信號(hào)，喚起了高興、驚奇、厭惡、悲傷、憤怒和恐懼6種基本情感。與已有研究相比，該情感生理反應(yīng)樣本庫(kù)的被試數(shù)量大，有利于發(fā)現(xiàn)用戶非依賴的情感生理反應(yīng)模式，并且生理信號(hào)種類較多，有利于從多種信號(hào)中綜合提取情感特異性生理特征，以及發(fā)現(xiàn)對(duì)情

5、感識(shí)別而言可靠的生理信號(hào)特征提取源。
　　 (2)通過隨機(jī)矩陣?yán)碚摲治霭l(fā)現(xiàn)，信號(hào)序列相關(guān)矩陣的特征值最近鄰間距分布和特征值譜剛度具有高斯正交系綜的一般特性，遵從隨機(jī)矩陣?yán)碚摰念A(yù)測(cè)；信號(hào)序列相關(guān)矩陣的特征值大部分落入隨機(jī)矩陣?yán)碚摰念A(yù)測(cè)范圍之內(nèi)，對(duì)應(yīng)的特征向量的分布也服從隨機(jī)矩陣?yán)碚擃A(yù)測(cè)的Porter-Thomas分布。然而在考察信號(hào)的緩變規(guī)律時(shí)，皮膚電導(dǎo)、心率、心電和呼吸信號(hào)序列相關(guān)矩陣的最大特征值遠(yuǎn)遠(yuǎn)超過隨機(jī)矩陣?yán)碚擃A(yù)測(cè)的最大特

6、征值，其對(duì)應(yīng)的特征向量也背離了隨機(jī)矩陣?yán)碚摰念A(yù)測(cè)分布，顯示出信號(hào)序列之間由共同的情感喚起素材所激發(fā)的相關(guān)情感生理反應(yīng)模式；在考慮信號(hào)的瞬變規(guī)律時(shí)，皮膚電導(dǎo)和心率仍然保持上述背離特性，表明情感生理信號(hào)采集所測(cè)試的8種生理信號(hào)中，只有皮膚電導(dǎo)和心率的瞬變和緩變規(guī)律中均包含了可靠的情感生理反應(yīng)模式，可作為情感生理特征提取的可靠信號(hào)源。對(duì)信號(hào)的緩變和瞬變規(guī)律進(jìn)行基于隨機(jī)矩陣?yán)碚摰臄?shù)據(jù)分析，同時(shí)也揭示了情感生理反應(yīng)與時(shí)間的關(guān)系。分析結(jié)果表明8路信

7、號(hào)中只有皮膚電導(dǎo)和心率的變化可以快速響應(yīng)情感心理體驗(yàn)的變化，并且心率的變化具有較強(qiáng)的情感時(shí)間累積效應(yīng)；情感對(duì)心電和呼吸變化的影響則需要一段累積時(shí)間，而不會(huì)從信號(hào)波形變化中快速響應(yīng)情感心理體驗(yàn)的變化；而脈搏、肌電和額葉的兩路腦電中沒有體現(xiàn)出可靠的情感生理反應(yīng)?；陔S機(jī)矩陣?yán)碚摰姆治龇椒ú粌H發(fā)現(xiàn)了包含可靠情感生理反應(yīng)模式的生理信號(hào)，排除了未產(chǎn)生可靠情感生理反應(yīng)的生理信號(hào)，同時(shí)也揭示了使用方差分析和模式分類方法所不能獲得的情感生理反應(yīng)時(shí)間模式

8、。
　　 (3)在皮膚電導(dǎo)和心率兩種生理信號(hào)中綜合提取信號(hào)特征，從組合優(yōu)化的角度進(jìn)行特征選擇，對(duì)各種解空間搜索算法的比較發(fā)現(xiàn)，后向選擇算法在模型預(yù)測(cè)識(shí)別能力、計(jì)算代價(jià)、避免數(shù)據(jù)過擬合能力和特征降維能力等各方面的綜合性能上是幾種特征選擇算法中最好的。算法比較結(jié)果揭示了基于生理信號(hào)的情感識(shí)別系統(tǒng)構(gòu)建中，要獲得具有良好泛化能力和預(yù)測(cè)識(shí)別能力的情感識(shí)別系統(tǒng)，特征選擇過程對(duì)解空間的搜索應(yīng)該是粗粒度的，這和旅行商(TSP)問題等一般優(yōu)化問題

9、有顯著區(qū)別。
　　 (4)基于皮膚電導(dǎo)和心率生理信號(hào)特征、后向特征選擇算法和Fisher映射分類器的6個(gè)二分類情感識(shí)別系統(tǒng)都具有比虛報(bào)率高出超過20％的擊中率，并且6種目標(biāo)情感各自對(duì)應(yīng)的最優(yōu)特征子集包含不超過10個(gè)特征，與初始的110個(gè)特征相比，特征維數(shù)顯著壓縮，各基本情感區(qū)別于其它情感的關(guān)鍵特征得以體現(xiàn)。
　　 上述的研究結(jié)論通過引入基于隨機(jī)矩陣?yán)碚摰那楦猩硇盘?hào)分析方法，取得了情感生理反應(yīng)樣本分析方法上的創(chuàng)新，發(fā)現(xiàn)了