基于學習的視覺局部表達與索引.pdf

1、基于局部特征與視覺辭典的視覺局部表達與索引模型是當前主流的計算機視覺系統(tǒng)的基本組成部分,在目標識別、場景匹配、多媒體內(nèi)容搜索與分析中具有廣闊的應用前景,也是目前計算機視覺與多媒體分析的研究熱點之一。局部視覺表達模型首先提取圖像中的局部感興趣點,然后在訓練集合上構(gòu)建視覺辭典,形成局部視覺空間的量化表以獲取量化的視覺單詞特征空間劃分。進而,視覺辭典及其索引模型將圖像表示為視覺詞包,并在視覺單詞上進行倒排索引。在當前主流的計算機視覺系統(tǒng)的應用

2、研究已經(jīng)表明,視覺局部表達模型具有很好的尺度與仿射變換不變性,并且能夠較好的解決目標的部分遮擋與搜索中的部分匹配問題。
　　然而,研究中也發(fā)現(xiàn),基于局部視覺特征與視覺辭典的視覺局部表達模型也存在著視覺判別力不足、表達過于稠密、無法反映高層語義等問題。本文主要針對局部特征抽取、視覺辭典構(gòu)造過程中的視覺量化誤差與語義描述力、進行研究,并且探討了基于視覺單詞共生模式的視覺辭典的輸出表達。本文引入基于學習的機制,進行有監(jiān)督或者無監(jiān)督的視覺

3、局部特征抽取、視覺辭典構(gòu)建、視覺模式挖掘,試圖構(gòu)建一個基于學習的,分層次的視覺局部表達框架。在局部描述子抽取方面,本文試圖通過空間上下文的學習和類別上下文的學習,將檢測從局部域推進到局部-全局域之間。在無監(jiān)督視覺詞典及其索引學習方面,本文探究了傳統(tǒng)視覺辭典中量化誤差的起源,揭示了視覺單詞與文本單詞分布的差異性起源,和解決此差異性帶來的影響,并探討了辭典及其索引模型的泛化性和自適應學習能力。在有監(jiān)督視覺辭典學習方面,本文同時探究了引入圖像

4、類別標簽,監(jiān)督視覺辭典的構(gòu)建過程,從而將學習算法引入到特征空間的量化中。在優(yōu)化的視覺辭典模型的基礎(chǔ)上,本文進一步探究了由視覺單詞到視覺短語的構(gòu)建方法,研究了基于視覺單詞空間組合的視覺模式生成方法和使用方法。具體而言,本文的主要研究內(nèi)容如下:
　　在局部感興趣點的提取檢測階段,提出了一種基于上下文的半局部感興趣點檢測子。該檢測子結(jié)合了圖像的尺度空間極值與位置空間的響應上下文進行圖像中感興趣點的檢測。首先,提出了一種上下文高斯差分場,

5、用以統(tǒng)計傳統(tǒng)局部檢測子的多尺度空間上下文,從而有效反映半局部域上的上下文感興趣區(qū)域。實驗進一步發(fā)現(xiàn)其與傳統(tǒng)的視覺關(guān)注度模型有著一定程度上吻合。其次,通過均值漂移算法在上下文高斯差分場上定位檢測結(jié)果,并且將分類訓練的類別信息融入均值漂移核函數(shù)中,從而允許檢測子發(fā)現(xiàn)對于后端分類器真正“感興趣”的特征點。結(jié)合以上兩種上下文,構(gòu)建了稀疏、上下文敏感、具有類比判決力的半局部局部特征檢測子。
　　在無監(jiān)督視覺辭典優(yōu)化與索引構(gòu)造階段,提出了一種

6、基于密度的測距學習算法,通過無監(jiān)督密度學習,進行特征空間的不等長量化。首先,通過在有判決力特征空間區(qū)域進行精細量化,而在無判決力特征空間區(qū)域進行粗糙量化,從而減少整體量化誤差,同時也使得所構(gòu)造的視覺單詞具有和文本單詞類似的分布。進而,提出了一種類似于集成學習的層次識別鏈,進行基于視覺辭典層次結(jié)構(gòu)的快速識別,在保證識別匹配有效性的基礎(chǔ)上提高算法效率。
　　在有監(jiān)督的視覺辭典學習階段,進一步提出了基于語義嵌入的有監(jiān)督量化算法。該算法通

7、過引入網(wǎng)絡(luò)社區(qū)的圖像標簽信息,構(gòu)建語義敏感的視覺辭典。首先,該算法提出了特征空間的密度-散度估計過程,在具有某類標簽的圖像集合中將標簽從圖像傳播到感興趣點上。其次,該算法將有監(jiān)督的視覺辭典建模為隱馬爾科夫隨機場,其中觀測場代表局部描述子集合,而隱場代表用戶標簽監(jiān)督。隱場的監(jiān)督通過吉布斯分布作用于觀測場的局部描述子集合中,而有監(jiān)督量化過程則被視為帶隱場勢能影響的觀測場點集聚類過程。同時,我們采用WordNet對隱場中的語義標簽相關(guān)性進行建

8、模,從而更好地消除用戶標簽的同義性噪聲。
　　在視覺辭典的輸出表達階段,提出了基于共生性視覺短語挖掘的辭典優(yōu)化學習算法。通過編碼局部描述子在圖像中的空間相對位置,生成共生視覺模式候選集合。進而,提出一種基于Aprior引力距離的共生模式挖掘?qū)W習,生成對于類別敏感的二階視覺單詞組合。該二階單詞組合具有表達更稀疏,更具判決力的特質(zhì),從而縮減了傳統(tǒng)的,基于視覺詞包的表達的高維度問題,獲取了更有判決力,維數(shù)更低的視覺局部描述。在視覺搜索與