面向大規(guī)模多模態(tài)圖像檢索的關(guān)鍵技術(shù)研究及系統(tǒng)實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的廣泛普及以及信息技術(shù)的不斷進(jìn)步，相較于文字，人們?cè)絹碓絻A向于使用圖像來表達(dá)、傳遞和獲得信息。由此，互聯(lián)網(wǎng)上圖像的數(shù)量呈現(xiàn)出爆炸性增長(zhǎng)趨勢(shì)，應(yīng)用大規(guī)模圖像數(shù)據(jù)面臨著巨大的挑戰(zhàn)。如何快速且準(zhǔn)確的從大規(guī)模圖像數(shù)據(jù)中檢索到相似圖像是圖像檢索領(lǐng)域長(zhǎng)期以來研究的熱點(diǎn)問題之一。
　　機(jī)器學(xué)習(xí)是處理大規(guī)模數(shù)據(jù)的重要工具之一，其中哈希學(xué)習(xí)由于其可以減少數(shù)據(jù)的存儲(chǔ)空間以及優(yōu)越的計(jì)算性能，在近年來成為研究熱點(diǎn)。哈希學(xué)習(xí)將高維空間的數(shù)據(jù)經(jīng)過映

2、射到低維的漢明空間，得到緊湊的二進(jìn)制碼（哈希碼），從而減少數(shù)據(jù)的存儲(chǔ)空間;在獲得哈希碼的同時(shí)，使得學(xué)習(xí)得到的哈希碼保持住原始空間數(shù)據(jù)間的相似性，在進(jìn)行檢索時(shí)，只需要計(jì)算哈希碼間的漢明距離，就可以快速的得到數(shù)據(jù)間的相似度，降低計(jì)算速度，從而提升檢索效率。
　　本文在譜哈希的基礎(chǔ)上提出一種面向多模態(tài)圖像檢索的離散哈希方法（Discrete Multi-view Hashing，簡(jiǎn)稱DMVH）。該方法可以利用圖像豐富的多模態(tài)信息提升檢索

3、的性能。首先，提取圖像的多模態(tài)特征（如GIST、SIFT），并對(duì)多模態(tài)特征進(jìn)行預(yù)處理，使得多模態(tài)特征的維數(shù)保持一致。然后，使用一種新的構(gòu)建圖像數(shù)據(jù)間相似性矩陣的方法，在保留數(shù)據(jù)局部結(jié)構(gòu)相似性的同時(shí)，保持住數(shù)據(jù)之間的語義相似性。最后，將高維空間的數(shù)據(jù)通過學(xué)習(xí)得到的映射矩陣映射到低維空間得到哈希碼。由于哈希碼是離散的，直接對(duì)其進(jìn)行優(yōu)化比較困難?；诖耍忠雰蓚€(gè)輔助變量，使得在優(yōu)化過程中不用松弛離散條件，減小優(yōu)化誤差，從而得到更高質(zhì)量的哈希

4、碼。本文在三個(gè)公開的數(shù)據(jù)集上對(duì)DMVH的性能進(jìn)行驗(yàn)證，并且與幾個(gè)較先進(jìn)的哈希方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明本文DMVH的性能要優(yōu)于所比較的哈希方法的性能。
　　最后，以DMVH為核心算法，設(shè)計(jì)并實(shí)現(xiàn)了多模態(tài)圖像檢索系統(tǒng)。該系統(tǒng)主要是將“以圖搜圖”的功能提供給用戶。用戶將所需要檢索的圖像上傳到系統(tǒng)中，在對(duì)圖像進(jìn)行特征提取、特征融合后，使用在DMVH學(xué)習(xí)過程中得到的哈希函數(shù)將融合過的特征映射到漢明空間，生成哈希碼，并計(jì)算該哈希碼與數(shù)據(jù)庫中