基于腦電的視頻情感語義標注以及情感腦機接口研究.pdf

1、情感是人類智能的一部分，情感能力對于自然的人機交互至關重要。情感計算是指根據(jù)用戶的外在情感表現(xiàn)，進行情感感知和分析并能對用戶情感施加影響的計算，視頻情感語義標注和情感腦-機接口均屬于此研究領域。近年來，隨著互聯(lián)網(wǎng)的普及和網(wǎng)絡帶寬的增長，互聯(lián)網(wǎng)中的視頻資源增長迅速，情感作為視頻的一個重要語義，是人們檢索和選擇視頻的重要依據(jù)，因此對于視頻進行情感語義標注顯得至關重要。作為情感計算的另一研究子領域，情感腦-機接口可以為神經(jīng)肌肉損傷的患者提供一

2、條新的與外界交互的方式，從而讓這些患者能夠重新融入社會之中。
　　 本論文的主要目標如下:
　　 1)融合腦電和視頻內(nèi)容，研究視頻情感語義標注。
　　 2)分析情感因素對人的腦電中穩(wěn)態(tài)視覺誘發(fā)電位的影響，初步研究情感腦-機接口。
　　 針對以上研究目標，本文主要工作如下:
　　 (1)提出融合視頻內(nèi)容和被試腦電的視頻情感語義標注方法。提取視頻的視覺低層特征（視頻亮度系數(shù)，顏色能量和視覺興奮度）、音

3、頻低層特征（能量、梅爾倒譜系數(shù)、譜通量和過零率）以及腦電五個頻帶（delta，theta,alpha，beta,gamma）的功率譜特征。采用貝葉斯網(wǎng)絡分別實現(xiàn)特征級和決策級融合的視頻情感語義標注。實驗結果表明:特征級融合和決策級融合的分類正確率均好于單模態(tài)特征下的結果。
　　 (2)提出基于邊信息的視頻情感語義標注，將腦電信號作為邊信息，即只在訓練階段使用，在實際視頻標注時只使用視頻特征，依據(jù)腦電邊信息的方法來改進視頻情感語義

4、標注的性能。首先，從視頻中提取相應的視頻特征（視頻亮度系數(shù)，顏色能量和視覺興奮度，能量、梅爾倒譜系數(shù)、譜通量和過零率），從腦電數(shù)據(jù)中提取五個頻帶（delta,theta，alpha，beta，gamma）的功率譜特征。然后，構造一個三節(jié)點的貝葉斯模型，建立情感類別、視頻特征和腦電特征之間的關系。訓練階段，使用腦電特征和視頻特征學習模型參數(shù)，測試階段，僅使用視頻特征進行分類。實驗結果表明:在訓練階段使用腦電特征，可以更好地建立視頻特征與情

5、感類別之間的映射關系，有效提高了基于視頻內(nèi)容的情感標注的分類性能。
　　 (3)研究基于穩(wěn)態(tài)視覺誘發(fā)電位的情感腦-機接口。設計了基于穩(wěn)態(tài)視覺誘發(fā)電位情感腦-機接口實驗:從國際情感圖片系統(tǒng)中選取三組不同情感類別（正性，中性和負性）的圖片作為刺激圖片。對于每一幅圖片分別以10，11，12，15Hz四種頻率在顯示器的上下左右四個位置同時閃爍。受試者進行實驗時，我們記錄被試的腦電信號。對于采集的腦電信號，采用頻譜分析方法和典型相關分析方