基于Hadoop平臺(tái)的圖像場景分類方法研究.pdf

1、近年來隨著互聯(lián)網(wǎng)用戶的不斷增加，用戶產(chǎn)生的信息呈現(xiàn)出指數(shù)級(jí)的增長，這些信息中的很大一部分都是以數(shù)字圖像的形式存儲(chǔ)的，面對(duì)海量的圖像數(shù)據(jù)，在充分識(shí)別圖像的基礎(chǔ)上既要對(duì)其準(zhǔn)確的分類，又能做到速度較快，這個(gè)問題已經(jīng)越來越受到研究人員的關(guān)注。不同的圖像場景通常以一些具有代表性的圖像語義內(nèi)容來體現(xiàn)其語義信息，因此可以用一組語義類別來標(biāo)注圖像數(shù)據(jù)。圖像場景分類不僅有利于圖像分類和檢索，同時(shí)諸如目標(biāo)識(shí)別等更高層次的圖像理解，圖像場景分類也可以為其提供

2、準(zhǔn)確的語義信息。然而圖像底層特征和高層語義之間是存在鴻溝的，為了能夠消除它們之間的鴻溝并提高準(zhǔn)確率，將圖像的局部不變特征轉(zhuǎn)化為局部語義是目前解決該問題的一種重要方法。同時(shí)，Hadoop平臺(tái)的出現(xiàn)為大規(guī)模圖像處理提供了一個(gè)可靠、穩(wěn)定、高效的計(jì)算平臺(tái)。因此本文在Hadoop平臺(tái)下完成了基于局部語義的圖像場景分類，本文的主要工作有以下4個(gè)方面：
　　(1)由于Hadoop平臺(tái)不支持圖像數(shù)據(jù)處理，因此本文設(shè)計(jì)并實(shí)現(xiàn)了基于MapReduce

3、的圖像并行化處理平臺(tái)，使得單幅圖像成為MapReduce的處理單元，解決了Hadoop不能夠并行處理圖像數(shù)據(jù)的問題。
　　(2)由于圖像處理算法通常使用 C、C++和MATLAB等編寫，而 Hadoop平臺(tái)是由Java編寫，因此，針對(duì)二者源碼沖突的問題，本文借助JavaCV來調(diào)用底層的OpenCV庫，同時(shí)在Hadoop集群的每個(gè)節(jié)點(diǎn)安裝OpenCV庫，實(shí)現(xiàn)了OpenCV跨平臺(tái)、分布式提取圖像底層特征。
　　(3)BoF模型借

4、鑒了文本處理領(lǐng)域中BoW模型的思想，將圖像看作由視覺單詞組成的文檔，通過計(jì)算圖像中不同的視覺單詞出現(xiàn)的次數(shù)，得出圖像視覺單詞詞頻向量。由于該方法能夠較好地將圖像的SIFT特征轉(zhuǎn)化為圖像局部語義，因此本文利用MapReduce實(shí)現(xiàn)了BoF模型，能夠快速地將大量圖像SIFT特征轉(zhuǎn)化為圖像局部語義。
　　(4)LDA算法最初用于文本分類，而正是因?yàn)閳D像語義的出現(xiàn)，所以隨后LDA被應(yīng)用到圖像場景分類領(lǐng)域中。因此本文研究了LDA算法的并行化