基于局部視覺信息的大規(guī)模圖像檢索研究.pdf

1、隨著信息技術的迅猛發(fā)展，數(shù)碼產品的普及和因特網的深入人心。借助于計算機技術、網絡技術和多媒體技術等，人們可以更加便捷地采集圖像、視頻等多媒體數(shù)據(jù)，還可以將這些數(shù)據(jù)與其他用戶分享。整個互聯(lián)網的多媒體數(shù)據(jù)以爆炸式增長，給人們帶來了豐富的信息資源。為了便于人們快速地從海量的多媒體數(shù)據(jù)中獲取其所感興趣的信息，多媒體信息檢索技術應運而生。圖像作為一種重要的多媒體數(shù)據(jù)，已成為繼文本之后，信息檢索中最受關注的研究對象。由于圖像數(shù)據(jù)本身的內容多樣性和復

2、雜性，基于給定的查詢圖像，如何從海量的圖像數(shù)據(jù)之中查找到內容相關的圖像是一個非常有挑戰(zhàn)性的問題。其涉及到視覺信息的有效描述、大量數(shù)據(jù)的合理組織、高效率的查找方式等多方面的關鍵理論和方法。在基于圖像內容的檢索應用中，考慮的場景是給定一幅圖像樣例，在數(shù)據(jù)庫中查找到與給定圖像樣例中內容相似或者局部相似的所有圖像，并依據(jù)與給定圖像樣例之間的相似度，對檢索到的圖像進行排序。這是一種信號層的檢索方法，在給定了局部視覺特征的描述之后，關鍵的地方在于如

3、何在如此巨大的數(shù)據(jù)庫中找到正確的局部特征之間的匹配，局部特征之間的匹配是指描述相同圖像內容的局部特征。特征匹配的一個最直接的方法是進行特征描述子之間的兩兩歐式距離的計算。但是圖像的局部視覺特征往往是一個高維度的向量，比如SIFT特征是128維的，在大規(guī)模的圖像數(shù)據(jù)庫中進行如此高維度的線性歐式距離計算是不可行的。本文的研究內容主要集中在基于局部視覺信息的圖像檢索上，包括視覺特征空間上下文環(huán)境描述子、SIFT特征可伸縮編碼和交叉索引、局部視

4、覺信息融合、以及更高效的圖像表達。
　　本研究主要內容包括：⑴提出了一種描述局部視覺特征空間上下文環(huán)境的描述子?；诿總€視覺特征與同一圖像中其他視覺特征之間的空間位置特性，將特征的空間上下文關系分為兩種:多模態(tài)特性和共生特性。多模態(tài)特性是指在同一空間位置同時出現(xiàn)不同尺度、不同方向的特征描述子;共生特性是指視覺特征與其他視覺特征同時出現(xiàn)在同一幅圖像中。基于這兩種視覺特征的空間上下文關系，首先生成一個高維描述子對其進行描述，其次為了便

5、于快速比較，將生成的描述子二值化，用于局部特征匹配的校驗。⑵提出了一種可伸縮的SIFT視覺特征二值化編碼方法和一種提高查詢特征查全率的交叉索引方法。為了對圖像數(shù)據(jù)庫進行索引，一般需要根據(jù)線下學習得到的視覺碼本對視覺特征進行量化處理。聚類量化是解決這個問題的最常用方法，但是由于聚類的方法生成的視覺碼本大小有限，視覺特征被量化得比較粗糙，量化后的區(qū)分度有限。而二值碼的描述能力豐富，且距離可以采用邏輯異或運算得出，因此提出了一種描述SIFT特

6、征幅值模式的二值化編碼方式對視覺特征進行精細的量化。為了提高查詢的查全率，根據(jù)聚類量化和二值量化的各自特性，本文提出了一種交叉檢索聚類量化和二值量化索引結構的檢索方法。⑶提出了一種聯(lián)合視覺特征。由于一幅圖像往往可以檢測到數(shù)千個局部視覺特征，因此對于海量數(shù)據(jù)庫而言，要處理的局部視覺特征的數(shù)目是非常巨大的。對于數(shù)目如此巨大的局部視覺特征，如果對每個視覺單獨處理，對導致檢索系統(tǒng)的復雜度非常高。為了降低檢索系統(tǒng)的復雜度，需避免每個視覺特征單獨處

7、理，文中提出將視覺特征批量處理。每幅圖像的局部視覺特征被重新組織成幾十個聯(lián)合特征組，采用生成的描述子對每個特征組進行統(tǒng)一描述，基于聯(lián)合特征的獨特性質，利用重構誤差計算圖像之間的相似度。為了加快檢索速度，文中提出了一種分治法的索引算法。⑷提出了一種基于局部視覺信息的圖像表達方式。如何將圖像的視覺內容表達成向量的形式，是多媒體和計算機視覺問題中的一個基本問題。用局部特征構建圖像的全局表達，可以繼承局部特征對遮擋、尺度、平移、旋轉等圖像變換的