視覺注意計算模型的研究及其應(yīng)用.pdf

1、視覺注意是人類信息加工中一項重要的心理調(diào)節(jié)機制，是人類從外界輸入的大量信息中選擇和保持有用信息，拒絕無用信息的意識活動，是人類視感知過程中高效性和可靠性的保障。視覺注意計算模型的研究，不但有助于探索人類視覺信息處理的工作機理，而且對于解決數(shù)據(jù)篩選問題和提高計算機的信息處理效率有著重要的意義，在圖像分析與圖像理解領(lǐng)域、目標檢測、信息檢索、機器人視覺、視頻通訊等領(lǐng)域也有重要的應(yīng)用價值。 本文對視覺注意機制及其計算方法進行了深入而細致

2、的研究：分析總結(jié)了視覺注意機制的認知神經(jīng)學(xué)理論和神經(jīng)加工機制；以人類視覺加工的生理學(xué)理論為依據(jù)，緊密結(jié)合計算機視覺計算的要求，構(gòu)建了一個由特征加工、注意集中和注意控制三部分組成的動態(tài)視覺注意計算模型的體系結(jié)構(gòu)。提出了一種雙通路和層次化的特征加工結(jié)構(gòu)；提出了一種深度特征和運動特征度量方法，以反映場景時空特性對視覺注意的影響；通過IFNN神經(jīng)網(wǎng)絡(luò)模擬雙通路的特征整合過程，實現(xiàn)注意的集中；提出了一種具有注意保持和喚醒功能的注意控制方式。在此基

3、礎(chǔ)上，實現(xiàn)了一個基于客體選擇的動態(tài)視覺注意計算模型。實驗表明：本文所提出的計算方法是富有成效的。 本文首先總結(jié)了視覺注意機制的認知神經(jīng)科學(xué)及心理學(xué)理論，從生物視覺領(lǐng)域找出計算機視覺可借鑒的神經(jīng)生理學(xué)依據(jù)，并以之為出發(fā)點，尋找認知心理學(xué)中注意機制與計算機科學(xué)的結(jié)合點，構(gòu)建一個動態(tài)視覺注意計算模型的體系結(jié)構(gòu)，并將視覺注意計算劃分為特征加工、注意集中和注意控制三個模塊，實現(xiàn)認知神經(jīng)科學(xué)與視覺計算的結(jié)合。 在特征加工的過程中，解

4、決了特征的選擇，特征的顯著性度量和特征加工的層次三個方面的問題。在特征選擇方面，將特征分為空間特征與非空間特征兩類，空間特征的提取是通過提出一種深度特征與運動特征的計算方法來實現(xiàn)的，用以反映場景的時空特性對視覺注意的影響；非空間特征通過提取亮度、顏色和方向特征得到。各類特征的顯著性度量依據(jù)視覺反差計算實現(xiàn)。根據(jù)生物視覺中特征加工層次和功能的差異，空間特征與非空間特征通過模擬what和where雙通路理論進行加工，各類特征的顯著圖由子特征

5、之間相互競爭和整合得到。 在注意集中方面，以視覺通路理論為指導(dǎo)，通過使用亮度特征、顏色特征和方向特征等非空間特征來描述物體的感受，模擬what通路的主要功能；運動特征和深度特征等空間特征用來描述場景的運動和空間信息，模擬where通路的功能。兩個通路的整合通過帶有自學(xué)習和可調(diào)節(jié)機制的IFNN神經(jīng)網(wǎng)絡(luò)實現(xiàn)。根據(jù)神經(jīng)網(wǎng)絡(luò)的脈沖發(fā)放時間進行注意焦點的選擇，當兩個通路的輸入相關(guān)聯(lián)的時候，神經(jīng)網(wǎng)絡(luò)產(chǎn)生最大的增益，輸出單元的脈沖發(fā)放時間會比

6、非相關(guān)單元的發(fā)放時間更短。 在注意控制方面，根據(jù)視覺注意的神經(jīng)控制特點，提出了一種動態(tài)視覺注意模型的注意控制方式。通過一個喚醒信號來描述視野中新異刺激的強度，根據(jù)喚醒信號的大小開啟或屏蔽閾值來控制注意保持與注意喚醒狀態(tài)的轉(zhuǎn)換。采用注意焦點跟蹤算法來實現(xiàn)動態(tài)場景的注意保持；并提出了一種位置增強方法，以提高新異刺激所在位置的視覺顯著性。 本文的研究比較完整地給出了視覺注意計算的思想與方法，實現(xiàn)了一個適用性較強的動態(tài)視覺注意計