基于Hadoop的圖像檢索算法研究.pdf

1、移動(dòng)互聯(lián)網(wǎng)的不斷發(fā)展以及網(wǎng)絡(luò)服務(wù)的推廣普及，讓人們的生活更加便利，隨之產(chǎn)生的用戶數(shù)據(jù)增長(zhǎng)迅速。圖像具體、易理解的特性，使得它成為了人們生活中最常用的多媒體數(shù)據(jù)的載體。隨著數(shù)據(jù)量的劇增，圖像數(shù)量增長(zhǎng)速度也十分迅速。如何通過(guò)圖像匹配技術(shù)，在海量圖像數(shù)據(jù)中獲得與目標(biāo)圖像具有相似的特征或內(nèi)容的圖像，變得具有實(shí)用意義，圖像檢索技術(shù)應(yīng)運(yùn)而生。隨著圖像檢索技術(shù)的發(fā)展，如何高效、準(zhǔn)確的得到檢索圖像成為了該領(lǐng)域的熱點(diǎn)和難點(diǎn)的問(wèn)題，而數(shù)據(jù)的迅速增長(zhǎng)，使得海

2、量數(shù)據(jù)的圖像檢索問(wèn)題越來(lái)越受到人們的關(guān)注。本文主要的研究?jī)?nèi)容是利用Hadoop這個(gè)開(kāi)源的分布式計(jì)算平臺(tái)完成海量圖像數(shù)據(jù)的圖像檢索。
　　本文從圖像檢索技術(shù)和 Hadoop平臺(tái)入手，主要研究海量圖像數(shù)據(jù)在 Hadoop分布式文件系統(tǒng)的存儲(chǔ)以及基于內(nèi)容的圖像檢索在 MapReduce編程模型中的實(shí)現(xiàn)。Hadoop分布式文件系統(tǒng)是Hadoop平臺(tái)的數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)，它負(fù)責(zé)存儲(chǔ)和管理數(shù)據(jù)，利用分布式文件系統(tǒng)可以實(shí)現(xiàn)海量圖像數(shù)據(jù)的存儲(chǔ)，而

3、且可以有效的管理圖像數(shù)據(jù)。MapReduce是Hadoop的編程模型，利用MapReduce實(shí)現(xiàn)圖像檢索算法，可以完成圖像檢索任務(wù)并且實(shí)現(xiàn)分布式計(jì)算功能。
　　在海量數(shù)據(jù)存儲(chǔ)方面，本文利用了Hadoop分布式文件系統(tǒng)以及專門用于海量數(shù)據(jù)存儲(chǔ)的Hadoop相關(guān)技術(shù)存儲(chǔ)圖像數(shù)據(jù)。由于實(shí)驗(yàn)的圖像數(shù)據(jù)集中的圖像數(shù)據(jù)是小文件，而Hadoop在處理小文件時(shí)很難發(fā)揮它高效的性能，本文利用順序文件的思想，提出了一種海量小圖像數(shù)據(jù)的存儲(chǔ)方式，解決了

4、存儲(chǔ)空間浪費(fèi)和Master節(jié)點(diǎn)任務(wù)過(guò)重的問(wèn)題。
　　在基于內(nèi)容的圖像檢索實(shí)現(xiàn)方面，本文利用 MapReduce編程框架，實(shí)現(xiàn)了基于Hadoop平臺(tái)的圖像SIFT特征提取，以及特征的聚類和量化，通過(guò)聚類算法將圖像提取的不確定個(gè)數(shù)的SIFT特征點(diǎn)表述為固定個(gè)數(shù)的幾類，再通過(guò)特征量化算法的處理，將一幅圖像用固定的維數(shù)的特征向量表述，最后利用歐氏距離測(cè)量這些特征向量與檢索圖像特征向量的相似度，得到了檢索圖像。
　　圖像檢索市場(chǎng)前景廣