Hadoop環(huán)境下基于BoF模型的圖像分類方法研究.pdf

1、當(dāng)前我們正處在一個(gè)數(shù)據(jù)爆炸式增長(zhǎng)的大數(shù)據(jù)時(shí)代,在大數(shù)據(jù)中,主要以半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)為主,例如文本、圖像和視頻等。同時(shí),挖掘分析這些多媒體資源也成為人們收集信息的重要途徑,而對(duì)于圖像數(shù)據(jù)的挖掘,圖像分類是一個(gè)基本且重要的問(wèn)題。近年來(lái) BoF圖像表示模型在圖像分類領(lǐng)域得到了廣泛的應(yīng)用與研究,也取得了較好的性能。但是大多數(shù)的研究關(guān)注的是中等規(guī)模的圖像數(shù)據(jù)集,這些數(shù)據(jù)集是能夠放入單臺(tái)計(jì)算內(nèi)存的。顯然面對(duì)當(dāng)下大規(guī)模的圖像數(shù)據(jù),這些單機(jī)的處理

2、算法是不合適的。在海量文本數(shù)據(jù)分析領(lǐng)域,Hadoop作為一個(gè)優(yōu)秀的分布式處理平臺(tái)得到了廣泛應(yīng)用。對(duì)于大規(guī)模的圖像分類應(yīng)用而言,如果能夠結(jié)合Hadoop以及BoF圖像模型,將基于BoF模型的圖像分類技術(shù)用于大規(guī)模數(shù)據(jù)集的圖像分類將是很有意義和應(yīng)用前景的。
　　本文首先研究分析了傳統(tǒng)的BoF構(gòu)建過(guò)程以及核心算法,包括圖像特征的提取與表示、視覺(jué)詞典的生成以及圖像的BoF表示等算法。然后通過(guò)擴(kuò)展Hadoop平臺(tái)的支持?jǐn)?shù)據(jù)類型,使得海量圖像

3、數(shù)據(jù)能夠在Hadoop平臺(tái)方便地表示、存儲(chǔ)和處理。同時(shí)將Opencv開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)集成到Hadoop,使得在Hadoop平臺(tái)能夠方便地應(yīng)用一些現(xiàn)有的計(jì)算機(jī)視覺(jué)算法。最后研究分析了 MapReduce框架下算法設(shè)計(jì)方法和模式,結(jié)合Opencv開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù),提出了BoF構(gòu)建過(guò)程中的圖像特征提取與表示的MapReduce算法。使用Mapper內(nèi)合并MapReduce算法設(shè)計(jì)模式改進(jìn)了用于視覺(jué)詞典構(gòu)建的現(xiàn)有PKMeans聚類算法,在減少M(fèi)

4、ap和Reduce之間傳輸數(shù)據(jù)量的同時(shí)提高了算法速度。分析對(duì)比了在生成 BoF圖像表示時(shí)的視覺(jué)單詞的加權(quán)策略,提出了生成圖像的BoF表示的MapReduce算法。在研究了分布式SVM訓(xùn)練方法的基礎(chǔ)上,結(jié)合SMO支持向量機(jī)訓(xùn)練算法,提出 Hadoop平臺(tái)上的支持向量機(jī)訓(xùn)練的MapReduce算法。以上核心算法的實(shí)現(xiàn)可以處理更大規(guī)模的圖像數(shù)據(jù)集。
　　搭建了實(shí)驗(yàn)平臺(tái),對(duì)比了 MapReduce算法和單機(jī)的算法之間的效率以及適用的數(shù)據(jù)集