基于特權(quán)信息的情感識別.pdf

1、隨著科技的進(jìn)步和人們對人機(jī)交互中個(gè)性化交流需求的日益增多，情感識別作為影響交互質(zhì)量的重要因素成為相關(guān)研究領(lǐng)域的熱點(diǎn)之一，已經(jīng)取得了一定的研究進(jìn)展。在目前的研究中，情感識別通常被轉(zhuǎn)化為機(jī)器學(xué)習(xí)問題進(jìn)行解決。傳統(tǒng)的機(jī)器學(xué)習(xí)方法多側(cè)重于特征提取和分類器設(shè)計(jì)。相比于經(jīng)典的有監(jiān)督學(xué)習(xí)，基于特權(quán)信息的學(xué)習(xí)在訓(xùn)練階段，除了樣本特征和教師信號，還提供額外的信息，稱為特權(quán)信息。特權(quán)信息，只在訓(xùn)練階段存在，在測試階段不存在?；谔貦?quán)信息的學(xué)習(xí)的目標(biāo)為借助特

2、權(quán)信息建立更好的分類器。在情感識別問題中存在大量的特權(quán)信息，例如，在視頻情感標(biāo)注中，用戶的腦電(Electroencephalogram: EEG)特征可以作為特權(quán)信息;在基于腦電信號的情感識別中，情感刺激視頻和用戶的個(gè)性化信息均可以作為特權(quán)信息;在多表情單元的識別中，各識別任務(wù)在特征空間中的關(guān)系可以作為特權(quán)信息。因此，本文提出基于特權(quán)信息的情感識別研究，具體如下:
　　(1)提出了融合用戶腦電信號和視頻內(nèi)容的情感視頻標(biāo)注方法。首

3、先，從視頻片段中提取若干聽覺和視覺特征，同時(shí)從腦電信號的每個(gè)通道中提取五種頻域特征。其次，使用統(tǒng)計(jì)分析的方法發(fā)掘情感標(biāo)簽與腦電和視頻特征之間的關(guān)系。再次，構(gòu)建三種貝葉斯網(wǎng)絡(luò)，分別從特征層獨(dú)立融合，決策層融合以及特征層相關(guān)融合三個(gè)層面，結(jié)合視頻和腦電特征對視頻進(jìn)行情感標(biāo)注。為了驗(yàn)證方法的有效性，本文設(shè)計(jì)并實(shí)施了心理生理學(xué)實(shí)驗(yàn)并采集了實(shí)驗(yàn)數(shù)據(jù)，包括誘發(fā)情感的視頻片段、用戶觀看視頻片段時(shí)的腦電響應(yīng)以及用戶在觀看每個(gè)視頻片段之后的自我情感評估。

4、實(shí)驗(yàn)結(jié)果表明本文提出的融合方法較傳統(tǒng)的僅使用單模態(tài)特征（視頻或腦電特征）情感標(biāo)注方法在愉悅度-喚醒度空間有更好的識別效果。此外，實(shí)驗(yàn)結(jié)果還表明在腦電特征有助于減小低層視頻特征和高層用戶情感標(biāo)簽之間的語義鴻溝。
　　(2)以某一模態(tài)特征為特權(quán)信息的情感識別和視頻情感標(biāo)注方法。具體來說，既可以通過刺激視頻來輔助從腦電腦電信號中識別觀眾的情感，也可以通過腦電信號輔助基于視頻的情感標(biāo)注。首先，從腦電信號中提取頻域特征并從刺激視頻中提取視聽

5、特征。其次，通過統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)行特征選擇。再次，通過典型相關(guān)分析(Canonical Correlation Analysis:CCA)同步構(gòu)建一個(gè)新的腦電特征空間和視頻特征空間。最后，采用支持向量機(jī)(Support Vector Machine: SVM)分別在腦電和視頻特征空間中訓(xùn)練識別模型。在基于腦電的情感識別中，僅使用腦電信號作為識別的輸入，并使用在腦電特征空間訓(xùn)練的SVM分類器;在視頻的情感標(biāo)注中，僅使用視頻內(nèi)容作為識別的輸

6、入，并使用在視頻特征空間訓(xùn)練的 SVM分類器。本文在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫上進(jìn)行了基于腦電信號的情感識別實(shí)驗(yàn)和視頻情感標(biāo)注。實(shí)驗(yàn)結(jié)果表明，視頻內(nèi)容作為上下文信息可以改善從腦電信號中識別情感的準(zhǔn)確度;類似地，在訓(xùn)練過程中添加腦電信號同樣可以增強(qiáng)視頻情感標(biāo)注的性能。
　　(3)提出了采用被試和聚類歸屬作為特權(quán)信息的情感識別方法。首先，從腦電信號的每個(gè)通道中提取五種頻域特征并通過統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)行特征選擇。其次，在訓(xùn)練階段使用兩種三節(jié)點(diǎn)貝葉斯網(wǎng)

7、絡(luò)(Bayesiannetworks: BN)來捕獲情感標(biāo)簽、腦電特征以及被試或者聚類之間的聯(lián)合概率分布方程。最終，在測試過程中，僅使用腦電特征按照特權(quán)信息—被試獲聚類歸屬——進(jìn)行邊緣化處理，用以估計(jì)樣本的情感標(biāo)簽。本文在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn)，包括MAHNOB-HCI，DEAP和USTC-ERVS。實(shí)驗(yàn)結(jié)果表明，這種引入被試和聚類歸屬的方法，比為每個(gè)被試訓(xùn)練單獨(dú)的分類器，或在整個(gè)數(shù)據(jù)集上訓(xùn)練被試的無關(guān)的分類器有著更好的情感識別效果

8、。
　　(4)提出了使用相關(guān)的識別任務(wù)作為特權(quán)信息的多表情單元識別的方法，即通過在特征和目的標(biāo)簽層面聯(lián)合構(gòu)建面部動作單元間關(guān)系來進(jìn)行多表情單元識別。首先，將多任務(wù)特征學(xué)習(xí)方法用在分組之后的動作單元識別任務(wù)，并在每個(gè)組內(nèi)學(xué)習(xí)共享的特征。其次，使用貝葉斯網(wǎng)絡(luò)，結(jié)合面部圖像的目的標(biāo)簽對動作單元之間的共生和互斥關(guān)系進(jìn)行建模。最后，使用訓(xùn)練好的貝葉斯網(wǎng)絡(luò)對多任務(wù)學(xué)習(xí)的結(jié)果進(jìn)行校正，同時(shí)通過概率推理實(shí)現(xiàn)了多面部動作單元的識別。在CK+(ext