一種新的視皮層顏色編碼理論及其視覺應(yīng)用.pdf

1、顏色判別與感知對(duì)于正常的人類視覺系統(tǒng)來說，是非常簡(jiǎn)單的任務(wù)，但是對(duì)顏色編碼理論與方法的研究遠(yuǎn)遠(yuǎn)沒有使得機(jī)器達(dá)到人類視覺系統(tǒng)的智能水平，同時(shí)對(duì)顏色視覺神經(jīng)元基礎(chǔ)的研究也遠(yuǎn)遠(yuǎn)沒有達(dá)到人類對(duì)顏色感知的能力。目前，顏色視覺研究已成為神經(jīng)科學(xué)與計(jì)算機(jī)視覺中的難點(diǎn)，主要體現(xiàn)在:其一，從神經(jīng)科學(xué)角度來說，一直以來神經(jīng)生理學(xué)實(shí)驗(yàn)僅僅停留在對(duì)視網(wǎng)膜錐體信號(hào)的認(rèn)識(shí)上，難以捕獲視皮層顏色神經(jīng)元的行為規(guī)律，因此無法解釋視皮層由底層到高層的色調(diào)選擇性、顏色判別與

2、顏色感知效應(yīng):其二，從計(jì)算機(jī)視覺角度來說，顏色特征的提取與表征既需要解決目標(biāo)/場(chǎng)景在不同光照等外界條件引起的外觀顏色變化，又需要使得顏色描述子具有區(qū)分不同目標(biāo)/場(chǎng)景類別的判別力。近年來，隨著科學(xué)技術(shù)的發(fā)展，顏色視覺生物機(jī)制的研究有了新的證據(jù)與結(jié)論，這些新的認(rèn)識(shí)促進(jìn)了顏色視覺的發(fā)展，對(duì)解決顏色的視覺難點(diǎn)具有重要意義和價(jià)值。
　　 基于此，本論文以近年來神經(jīng)科學(xué)研究成果為生物依據(jù)，重點(diǎn)關(guān)注視皮層顏色信號(hào)的傳輸與處理，特別是顏色神經(jīng)元

3、的空間和顏色屬性，研究并分析了顏色神經(jīng)元的對(duì)立性、選擇性與層次性，及其編碼視覺刺激的能力。重點(diǎn)研究了如何利用顏色神經(jīng)元的空間感受野屬性完成對(duì)自然圖像的顏色表面與顏色邊緣的有效編碼，以及如何將底層顏色編碼擴(kuò)展到高層顏色編碼，以實(shí)現(xiàn)不同層次上的顏色視覺系統(tǒng)，展開對(duì)真實(shí)世界場(chǎng)景中大尺度數(shù)據(jù)的視覺應(yīng)用研究，最終顯式地建立計(jì)算模型單元與神經(jīng)元之間定性與定量的關(guān)聯(lián)，豐富了視皮層顏色編碼理論，是對(duì)該理論的一種科學(xué)性的描述、分析與解釋，從而驗(yàn)證了提出的

4、顏色編碼理論更符合人類視皮層顏色視覺的生物機(jī)理。
　　 本論文提出了一種新的視皮層顏色編碼理論，分別展開了從算法、應(yīng)用到神經(jīng)元三個(gè)層面的研究。具體地，本論文的主要研究分為三條主線:
　　 (1)第一條主線，從神經(jīng)生理學(xué)出發(fā)，利用視皮層神經(jīng)元對(duì)顏色和空間信息響應(yīng)規(guī)律的共性與特性，提出了一個(gè)新的V1皮層顏色編碼理論，主要包括兩個(gè)顏色編碼算法:
　　 具有顏色選擇性的表面編碼根據(jù)Single-Opponent(SO)神

5、經(jīng)元對(duì)低頻信號(hào)響應(yīng)，及其弱方向選擇性，本論文利用有向線性濾波器對(duì)空間信息的編碼能力，提出了一種新的不可分離的空間-顏色對(duì)立算子，將對(duì)圖像的空間帶通濾波轉(zhuǎn)化為濾波器的激活與抑制子單元分別與對(duì)立顏色成分的線性加權(quán)和，完成SO簡(jiǎn)單單元的建模。盡管本論文提出的顏色表面編碼方法并不是第一次用顏色對(duì)立信息提取顏色表面特征，但與先前提出的工作相比，創(chuàng)新點(diǎn)在于:第一，對(duì)顏色表面編碼的主要?jiǎng)訖C(jī)是模擬視皮層顏色選擇神經(jīng)元的弱空間屬性與強(qiáng)顏色屬性。本論文的工

6、作考慮了顏色神經(jīng)元的空間選擇性，與之前的工作將顏色神經(jīng)元建模為無向算子（實(shí)際是類似視網(wǎng)膜神經(jīng)元結(jié)構(gòu)）相比，更符合視皮層顏色神經(jīng)元的感受野形態(tài)結(jié)構(gòu);第二，首次將非線性歸一化機(jī)制用于編碼顏色神經(jīng)元的增益控制，增強(qiáng)了顏色選擇性，并抑制了模型單元響應(yīng)。實(shí)驗(yàn)表明，提出的算法能夠提取更為豐富的圖像顏色興趣點(diǎn)，以及顯著性區(qū)域。
　　 具有空間-顏色選擇性的顏色邊緣編碼根據(jù)視皮層Double-Opponent(DO)神經(jīng)元對(duì)顏色邊緣的編碼能力，

7、本論文在基于顏色表面編碼理論的基礎(chǔ)上，提出一種基于空間濾波的顏色邊緣編碼理論。從對(duì)區(qū)域到對(duì)邊緣檢測(cè)的問題轉(zhuǎn)換為對(duì)SO簡(jiǎn)單單元的空間濾波問題，并且濾波算子具有中央-周圍結(jié)構(gòu)的激活與抑制子單元，從而構(gòu)建具有空間與顏色同時(shí)對(duì)立的DO簡(jiǎn)單單元，編碼具有空間-顏色選擇性的邊緣特征。進(jìn)一步利用能量機(jī)制，計(jì)算一對(duì)相反極性DO簡(jiǎn)單單元的能量響應(yīng)，從而構(gòu)建相位不變（顏色對(duì)比度反轉(zhuǎn)不變）的DO復(fù)雜單元。盡管本論文提出的顏色邊緣編碼方法并不是第一次將顏色對(duì)立

8、信息融入到空間濾波中，但與先前提出的工作相比，創(chuàng)新點(diǎn)在于:第一，該編碼理論模擬了DO神經(jīng)元的空間與顏色屬性，同時(shí)形成了顏色與空間選擇性與對(duì)立性，使得顏色邊緣有更強(qiáng)的判別能力，特別是通過能量機(jī)制區(qū)分了DO簡(jiǎn)單單元與復(fù)雜單元在相位選擇性上的差異，最終完成顏色對(duì)比度反轉(zhuǎn)不變的顏色邊緣編碼;第二，該理論建立在序列的遞歸的顏色表面編碼基礎(chǔ)上，體現(xiàn)了編碼理論由簡(jiǎn)單到復(fù)雜的層次特性。理論上構(gòu)建DO模型單元的輸入特征與視皮層中大量存在的神經(jīng)元相符。相比

9、于現(xiàn)有的顏色描述子通常在不同的顏色空間中濾波完成邊緣信息編碼，本論文提出的編碼理論可以看作是一種顏色邊緣的二階算子，除了能獲取豐富的顏色局部對(duì)比度和紋理信息外，進(jìn)一步體現(xiàn)了顏色神經(jīng)元完成不同功能的層次性，即從顏色表面，到顏色邊緣，最后到顏色對(duì)比度不變的邊緣編碼方式，與神經(jīng)科學(xué)的生理證據(jù)一致。更重要的是，從理論上說，該顏色編碼方式適用于任意一種基于圖像梯度的算法。
　　 (2)第二條主線，從視覺應(yīng)用的角度出發(fā)，針對(duì)不同皮層區(qū)域所編

10、碼的特征復(fù)雜性不同，研究視皮層“what”通道自底向上的視覺信息處理機(jī)制，將V1皮層的顏色編碼理論擴(kuò)展到高層V4/IT區(qū)域的編碼理論，面向不同難度的視覺任務(wù)提出了不同層次的顏色視覺系統(tǒng)，主要包括三個(gè)顏色視覺系統(tǒng):
　　 V1皮層:基于顏色紋理基元圖的輪廓檢測(cè)標(biāo)準(zhǔn)輪廓檢測(cè)方法廣泛使用基于高斯導(dǎo)數(shù)的亮度通道、紋理通道、顏色通道等。然而，自然圖像中的顏色豐富多樣，紋理特征中同樣包含了豐富的顏色信息。根據(jù)視皮層邊緣/輪廓編碼的生物機(jī)理，

11、即V1神經(jīng)元主要對(duì)邊緣/輪廓刺激的響應(yīng)，并通過線性合并的方式完成對(duì)不同視覺要素的整合，本論文利用V1皮層的顏色編碼理論，提出了一種多尺度多方向顏色紋理基元圖的編碼方法，完成顏色紋理梯度的計(jì)算，利用邏輯回歸算法學(xué)習(xí)不同視覺要素之間的合并權(quán)重，最終獲取每個(gè)像素點(diǎn)的輪廓概率。本方法的創(chuàng)新點(diǎn)在于:紋理特征的編碼考慮了顏色表面信息，豐富紋理信息的表征，有利于其外觀建模。相比于傳統(tǒng)的紋理與顏色分離表示的特征而言，本論文提出的輪廓檢測(cè)系統(tǒng)更符合人類視

12、皮層V1神經(jīng)元對(duì)紋理的編碼屬性，更好地適應(yīng)顏色與紋理同時(shí)變化的場(chǎng)景圖像。
　　 V1皮層:全局顏色特征提取的場(chǎng)景分類神經(jīng)科學(xué)研究發(fā)現(xiàn)場(chǎng)景感知僅僅需要圖像的全局特征編碼，不需要目標(biāo)細(xì)節(jié)的特征提取或場(chǎng)景分割，因此可以看做是神經(jīng)元在V1皮層完成的特征編碼;此外，相比于灰度級(jí)或給予錯(cuò)誤顏色信息的場(chǎng)景圖像，具有正確顏色信息的場(chǎng)景分類精度更高。借鑒Gabor濾波器獲取場(chǎng)景全局GIST特征的能力，本論文利用V1皮層的顏色編碼理論，提出顏色表面

13、與顏色邊緣特征的場(chǎng)景識(shí)別系統(tǒng)。本方法的創(chuàng)新點(diǎn)在于，借鑒了神經(jīng)科學(xué)對(duì)場(chǎng)景分類以及顏色對(duì)場(chǎng)景感知重要性的研究成果，為場(chǎng)景識(shí)別提供了一個(gè)更為一般的場(chǎng)景顏色全局特征編碼的視覺框架。
　　 V4/IT皮層:顏色目標(biāo)識(shí)別本論文前兩個(gè)顏色視覺系統(tǒng)都是基于V1皮層的顏色編碼理論的應(yīng)用研究，隨著視皮層“what“通道的層次逐漸升高，皮層神經(jīng)元編碼特征逐漸復(fù)雜，最終達(dá)到V4/IT皮層完成具有位置和尺度不變的色調(diào)選擇與顏色判別，是復(fù)雜目標(biāo)識(shí)別的神經(jīng)元

14、基礎(chǔ)。借鑒形狀通道的層次傳輸仿生目標(biāo)識(shí)別模型HMAX中底層V1到高層IT之間的連接方式，本論文在V1視皮層編碼的基礎(chǔ)上，將從V1到V4/IT皮層的層次連接計(jì)算方式推廣到顏色信息，提出顏色表面與顏色邊緣編碼的前饋層次視覺系統(tǒng)，從大量自然場(chǎng)景圖像中學(xué)習(xí)具有豐富空間與顏色選擇性的原型模板，為V4/JT皮層的模板匹配和目標(biāo)識(shí)別奠定了基礎(chǔ)。本方法的創(chuàng)新點(diǎn)在于，完善了視皮層顏色編碼理論的層次性，為目標(biāo)識(shí)別提供了一個(gè)更為全面的外觀建模框架。
　

15、　 (3)前兩條研究主線分別對(duì)顏色視覺的理論與方法及其視覺應(yīng)用進(jìn)行了研究，可見，視皮層是研究顏色編碼的重要區(qū)域，一個(gè)好的顏色編碼理論及模型是圖像處理和計(jì)算機(jī)視覺應(yīng)用的重要基礎(chǔ)。本論文另一個(gè)重要研究?jī)?nèi)容是利用該理論模型統(tǒng)一神經(jīng)元數(shù)據(jù)，從神經(jīng)元角度完成對(duì)理論模型的科學(xué)性描述分析與解釋。因此，本論文的第三條研究主線是在前面兩條研究?jī)?nèi)容的基礎(chǔ)上，提出一種新的對(duì)顏色編碼理論的描述方法，通過對(duì)比計(jì)算模型單元與神經(jīng)元響應(yīng)，建立兩者之間的顯式關(guān)聯(lián)，驗(yàn)

16、證理論與模型的可靠性及科學(xué)性，主要包括三種比較:
　　 模型單元的空間-顏色選擇性與V1神經(jīng)元的比較區(qū)分不同顏色神經(jīng)元的方式之一就是測(cè)量不同視覺要素（空間頻率、方向、相位和顏色）對(duì)模型單元調(diào)諧曲線的影響。本論文設(shè)計(jì)與電生理實(shí)驗(yàn)相似的顏色和空間視覺刺激模式，如等亮度顏色光柵，計(jì)算模型單元對(duì)刺激的響應(yīng)規(guī)律，同時(shí)確定該模型單元的最優(yōu)刺激模式，與神經(jīng)元數(shù)據(jù)比較，驗(yàn)證模型解釋神經(jīng)元空間和顏色屬性的能力，豐富了該顏色編碼理論在V1皮層的科學(xué)

17、描述。
　　 模型單元的色調(diào)選擇性與V4/IT神經(jīng)元的比較底層V1顏色神經(jīng)元主要對(duì)特定波長(zhǎng)的顏色具有選擇性，V4/IT皮層神經(jīng)元呈現(xiàn)狹窄的色調(diào)選擇性，從而完成顏色判別任務(wù)。本論文從大量自然場(chǎng)景圖像中學(xué)習(xí)具有空間和顏色選擇性的視覺字典，提出一種基于取樣的模板匹配方法計(jì)算模型單元對(duì)顏色測(cè)試刺激的響應(yīng)，驗(yàn)證模型解釋神經(jīng)元的色調(diào)選擇性的能力，豐富了該顏色編碼理論在V4/IT皮層的科學(xué)描述。
　　 顏色選擇性的空間色調(diào)圖及其亮度不

18、變性與V1N4/IT神經(jīng)元的比較根據(jù)顏色選擇性神經(jīng)元對(duì)不同顏色刺激的響應(yīng)空間分布遵循色調(diào)環(huán)的排列方式，本論文提出一種基于主成分分析的模型單元響應(yīng)軌跡分布求解方法，主成分分量所在低維空間近似描述了神經(jīng)元的響應(yīng)軌跡。與內(nèi)源光學(xué)成像實(shí)驗(yàn)比較，驗(yàn)證了視皮層色調(diào)圖的存在，模型單元對(duì)偏好顏色刺激響應(yīng)在空間位置上越接近，則輸入顏色刺激的色調(diào)就越接近。通過改變同一種色調(diào)的亮度值，計(jì)算模型單元的顏色或色調(diào)選擇性變化趨勢(shì)，驗(yàn)證了顏色選擇神經(jīng)元響應(yīng)具有亮度不