基于Hadoop的圖像檢索算法研究.pdf

1、移動互聯(lián)網(wǎng)的不斷發(fā)展以及網(wǎng)絡(luò)服務(wù)的推廣普及，讓人們的生活更加便利，隨之產(chǎn)生的用戶數(shù)據(jù)增長迅速。圖像具體、易理解的特性，使得它成為了人們生活中最常用的多媒體數(shù)據(jù)的載體。隨著數(shù)據(jù)量的劇增，圖像數(shù)量增長速度也十分迅速。如何通過圖像匹配技術(shù)，在海量圖像數(shù)據(jù)中獲得與目標(biāo)圖像具有相似的特征或內(nèi)容的圖像，變得具有實用意義，圖像檢索技術(shù)應(yīng)運而生。隨著圖像檢索技術(shù)的發(fā)展，如何高效、準(zhǔn)確的得到檢索圖像成為了該領(lǐng)域的熱點和難點的問題，而數(shù)據(jù)的迅速增長，使得海

2、量數(shù)據(jù)的圖像檢索問題越來越受到人們的關(guān)注。本文主要的研究內(nèi)容是利用Hadoop這個開源的分布式計算平臺完成海量圖像數(shù)據(jù)的圖像檢索。
　　本文從圖像檢索技術(shù)和 Hadoop平臺入手，主要研究海量圖像數(shù)據(jù)在 Hadoop分布式文件系統(tǒng)的存儲以及基于內(nèi)容的圖像檢索在 MapReduce編程模型中的實現(xiàn)。Hadoop分布式文件系統(tǒng)是Hadoop平臺的數(shù)據(jù)存儲和管理系統(tǒng)，它負(fù)責(zé)存儲和管理數(shù)據(jù)，利用分布式文件系統(tǒng)可以實現(xiàn)海量圖像數(shù)據(jù)的存儲，而

3、且可以有效的管理圖像數(shù)據(jù)。MapReduce是Hadoop的編程模型，利用MapReduce實現(xiàn)圖像檢索算法，可以完成圖像檢索任務(wù)并且實現(xiàn)分布式計算功能。
　　在海量數(shù)據(jù)存儲方面，本文利用了Hadoop分布式文件系統(tǒng)以及專門用于海量數(shù)據(jù)存儲的Hadoop相關(guān)技術(shù)存儲圖像數(shù)據(jù)。由于實驗的圖像數(shù)據(jù)集中的圖像數(shù)據(jù)是小文件，而Hadoop在處理小文件時很難發(fā)揮它高效的性能，本文利用順序文件的思想，提出了一種海量小圖像數(shù)據(jù)的存儲方式，解決了

4、存儲空間浪費和Master節(jié)點任務(wù)過重的問題。
　　在基于內(nèi)容的圖像檢索實現(xiàn)方面，本文利用 MapReduce編程框架，實現(xiàn)了基于Hadoop平臺的圖像SIFT特征提取，以及特征的聚類和量化，通過聚類算法將圖像提取的不確定個數(shù)的SIFT特征點表述為固定個數(shù)的幾類，再通過特征量化算法的處理，將一幅圖像用固定的維數(shù)的特征向量表述，最后利用歐氏距離測量這些特征向量與檢索圖像特征向量的相似度，得到了檢索圖像。
　　圖像檢索市場前景廣