預(yù)測(cè)人眼掃視路徑的新方法

1、預(yù)測(cè)人眼掃視路徑的新方法預(yù)測(cè)人眼掃視路徑的新方法龔思宏摘要人眼掃視路徑預(yù)測(cè)旨在利用計(jì)算模型模擬人眼在自由無約束的觀測(cè)條件下注意力移動(dòng)的方式。在以前的研究工作中，人們利用了低層次特征、手工設(shè)計(jì)的高層次特征、掃視幅度和記憶因素，但這些并不能完美地詮釋人眼視覺系統(tǒng)的機(jī)制。在這篇論文中，我們提出了一個(gè)在預(yù)測(cè)人眼掃視路徑時(shí)考慮更多影響因素的綜合性方法，該方法包括四個(gè)特征：低層次特征，掃視幅度，通過深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的語義特征，以及包括短時(shí)記

2、憶和長時(shí)記憶兩個(gè)方面的記憶因素。通過計(jì)算一張圖像中所有候選區(qū)域的概率，下一個(gè)關(guān)注點(diǎn)的位置就可以由擁有最大概率值的區(qū)域所選定。并進(jìn)行了實(shí)驗(yàn)驗(yàn)證我們提出的方法的優(yōu)越性。值得一提的是，在預(yù)測(cè)掃視路徑時(shí)，注視時(shí)長作為一個(gè)關(guān)鍵因素是首次被用來對(duì)記憶建模?！娟P(guān)鍵詞】掃視路徑預(yù)測(cè)高層次特征記憶因素注視時(shí)長1背景視覺注意是我們視覺系統(tǒng)中的一個(gè)基本處理過程，它能幫助我們將有限的處理資源分配到視覺場(chǎng)景中最重要的部分。目前預(yù)測(cè)人眼掃視路徑的研究存在許多的缺陷

3、。首先，各種各樣低層次特征的影響都有所討論，但高層次特征卻沒有提及。其次，記憶（包括短其中，pln（R），phn（R），psn（R）和pmn（R，d1，…，dn）分別是低層次特征、高層次特征、掃視幅度和記憶因素的概率，而dn是第nth個(gè)關(guān)注點(diǎn)的注視時(shí)長。R可以表示任一個(gè)超像素，記憶項(xiàng)pmn包括了返回抑制的影響。得到每一種特征的概率很關(guān)鍵。我們將YUV顏色值和Gab特征聯(lián)系起來作為一個(gè)特征向量，然后計(jì)算pln（R）。我們通過Wang等人[

4、7]的方法獲得psn（R）。在本文中，我們專注于高層次特征的phn（R）和記憶因素的pmn（R，d1，…，dn）的計(jì)算。而注視時(shí)長dn是估計(jì)的，并用來為記憶因素建模。2.1高層次特征的概率phn（R）我們用一個(gè)多層卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取每個(gè)超像素中的高層次特征。每個(gè)超像素先被打包進(jìn)一個(gè)范圍框，然后送去CNN進(jìn)行高層次特征提取，就像[8]中做的一樣。從圖1中可以看到這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的細(xì)節(jié)。得到學(xué)習(xí)好的特征和兩個(gè)全連接層，就得到了一個(gè)線性系