基于EEG與計(jì)算機(jī)視覺(jué)的人臉檢索閉環(huán)系統(tǒng).pdf

1、計(jì)算機(jī)視覺(jué)技術(shù)已在大規(guī)模人臉數(shù)據(jù)庫(kù)的檢索上取得巨大成功，但是當(dāng)人臉的表情、姿態(tài)、光照出現(xiàn)較大變化時(shí)，計(jì)算機(jī)視覺(jué)的性能會(huì)出現(xiàn)明顯下降。人腦具有強(qiáng)大的人臉識(shí)別能力，在表情、姿態(tài)、光照等變化上表現(xiàn)出很強(qiáng)的魯棒性。研究表明，人腦的EEG(Electroencephalography)信號(hào)中存在許多與人臉識(shí)別相關(guān)的ERP(EveNT Related Potential)成分，通過(guò)單次ERP檢測(cè)識(shí)別人臉相關(guān)的ERP成分可以實(shí)現(xiàn)快速人臉識(shí)別。本文通過(guò)

2、基于單次ERP檢測(cè)的腦機(jī)接口技術(shù)將人腦強(qiáng)大的人臉識(shí)別能力與計(jì)算機(jī)視覺(jué)快速的計(jì)算能力結(jié)合，提出腦機(jī)融合的閉環(huán)系統(tǒng)，用于快速人臉檢索。
　　該閉環(huán)系統(tǒng)包含人臉圖庫(kù)，EEG模塊和計(jì)算機(jī)視覺(jué)三大模塊。在閉環(huán)系統(tǒng)的每輪迭代中，人臉圖像通過(guò)快速序列視覺(jué)范式(Rapid Serial Visual Presentation，RSVP)呈現(xiàn)給被試，EEG模塊通過(guò)單次ERP檢測(cè)選出被試最感興趣的候選人臉。計(jì)算機(jī)視覺(jué)模塊根據(jù)視覺(jué)相似度從圖庫(kù)中選出與候

3、選集合最相似的人臉圖像在下一輪呈現(xiàn)給被試。經(jīng)過(guò)多輪迭代，以圖庫(kù)中人臉圖像的相似度排序作為最終的檢索結(jié)果，以平均精度(average precision，AP)作為性能評(píng)估準(zhǔn)則。與以往的閉環(huán)圖像檢索系統(tǒng)相比，該系統(tǒng)首次應(yīng)用于難度較大的人臉檢索，并設(shè)計(jì)了基于有監(jiān)督(Support Vector Machine，SVM)和無(wú)監(jiān)督(K-means和Self-organizing Map，SOM)的方法用于優(yōu)化閉環(huán)策略，剔除EEG候選圖像中的非目

4、標(biāo)人臉，顯著提高系統(tǒng)的整體性能。
　　離線分析表明，本論文提出的基于有監(jiān)督的目標(biāo)優(yōu)化策略能將EEG候選人臉圖像中目標(biāo)人臉的比例從69.76％提高到96.95％，檢索AP從0.8067提高到0.9044?；跓o(wú)監(jiān)督學(xué)習(xí)的目標(biāo)優(yōu)化策略則將目標(biāo)人臉的比例提高到95.03％，檢索AP提高到0.9162。在線人臉檢索實(shí)驗(yàn)進(jìn)一步驗(yàn)證了該閉環(huán)系統(tǒng)的優(yōu)越性能。
　　綜上所述，將基于EEG的腦機(jī)接口技術(shù)和計(jì)算機(jī)視覺(jué)技術(shù)結(jié)合可克服計(jì)算機(jī)視覺(jué)在光