基于腦電的視頻情感語(yǔ)義標(biāo)注以及情感腦機(jī)接口研究.pdf

1、情感是人類(lèi)智能的一部分，情感能力對(duì)于自然的人機(jī)交互至關(guān)重要。情感計(jì)算是指根據(jù)用戶的外在情感表現(xiàn)，進(jìn)行情感感知和分析并能對(duì)用戶情感施加影響的計(jì)算，視頻情感語(yǔ)義標(biāo)注和情感腦-機(jī)接口均屬于此研究領(lǐng)域。近年來(lái)，隨著互聯(lián)網(wǎng)的普及和網(wǎng)絡(luò)帶寬的增長(zhǎng)，互聯(lián)網(wǎng)中的視頻資源增長(zhǎng)迅速，情感作為視頻的一個(gè)重要語(yǔ)義，是人們檢索和選擇視頻的重要依據(jù)，因此對(duì)于視頻進(jìn)行情感語(yǔ)義標(biāo)注顯得至關(guān)重要。作為情感計(jì)算的另一研究子領(lǐng)域，情感腦-機(jī)接口可以為神經(jīng)肌肉損傷的患者提供一

2、條新的與外界交互的方式，從而讓這些患者能夠重新融入社會(huì)之中。
　　 本論文的主要目標(biāo)如下:
　　 1)融合腦電和視頻內(nèi)容，研究視頻情感語(yǔ)義標(biāo)注。
　　 2)分析情感因素對(duì)人的腦電中穩(wěn)態(tài)視覺(jué)誘發(fā)電位的影響，初步研究情感腦-機(jī)接口。
　　 針對(duì)以上研究目標(biāo)，本文主要工作如下:
　　 (1)提出融合視頻內(nèi)容和被試腦電的視頻情感語(yǔ)義標(biāo)注方法。提取視頻的視覺(jué)低層特征（視頻亮度系數(shù)，顏色能量和視覺(jué)興奮度）、音

3、頻低層特征（能量、梅爾倒譜系數(shù)、譜通量和過(guò)零率）以及腦電五個(gè)頻帶（delta，theta,alpha，beta,gamma）的功率譜特征。采用貝葉斯網(wǎng)絡(luò)分別實(shí)現(xiàn)特征級(jí)和決策級(jí)融合的視頻情感語(yǔ)義標(biāo)注。實(shí)驗(yàn)結(jié)果表明:特征級(jí)融合和決策級(jí)融合的分類(lèi)正確率均好于單模態(tài)特征下的結(jié)果。
　　 (2)提出基于邊信息的視頻情感語(yǔ)義標(biāo)注，將腦電信號(hào)作為邊信息，即只在訓(xùn)練階段使用，在實(shí)際視頻標(biāo)注時(shí)只使用視頻特征，依據(jù)腦電邊信息的方法來(lái)改進(jìn)視頻情感語(yǔ)義

4、標(biāo)注的性能。首先，從視頻中提取相應(yīng)的視頻特征（視頻亮度系數(shù)，顏色能量和視覺(jué)興奮度，能量、梅爾倒譜系數(shù)、譜通量和過(guò)零率），從腦電數(shù)據(jù)中提取五個(gè)頻帶（delta,theta，alpha，beta，gamma）的功率譜特征。然后，構(gòu)造一個(gè)三節(jié)點(diǎn)的貝葉斯模型，建立情感類(lèi)別、視頻特征和腦電特征之間的關(guān)系。訓(xùn)練階段，使用腦電特征和視頻特征學(xué)習(xí)模型參數(shù)，測(cè)試階段，僅使用視頻特征進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果表明:在訓(xùn)練階段使用腦電特征，可以更好地建立視頻特征與情

5、感類(lèi)別之間的映射關(guān)系，有效提高了基于視頻內(nèi)容的情感標(biāo)注的分類(lèi)性能。
　　 (3)研究基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位的情感腦-機(jī)接口。設(shè)計(jì)了基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位情感腦-機(jī)接口實(shí)驗(yàn):從國(guó)際情感圖片系統(tǒng)中選取三組不同情感類(lèi)別（正性，中性和負(fù)性）的圖片作為刺激圖片。對(duì)于每一幅圖片分別以10，11，12，15Hz四種頻率在顯示器的上下左右四個(gè)位置同時(shí)閃爍。受試者進(jìn)行實(shí)驗(yàn)時(shí)，我們記錄被試的腦電信號(hào)。對(duì)于采集的腦電信號(hào)，采用頻譜分析方法和典型相關(guān)分析方