面向視覺大數(shù)據(jù)的聚類方法的研究與應用.pdf

1、隨著大數(shù)據(jù)時代的到來，各種信息呈現(xiàn)爆炸式增長，尤其圖像數(shù)據(jù)，不僅豐富而且抽象。傳統(tǒng)的圖像檢索技術(shù)與聚類算法受到單機架構(gòu)的制約，不能滿足當今的實時性需求。為了幫助快速有效的完成圖像檢索，迫切需要分布式處理架構(gòu)來協(xié)助實現(xiàn)相關(guān)機器學習算法，目前分布式框架有很多，其中Spark基于內(nèi)存的計算模式，非常適合迭代的機器學習算法，而且相比流行多年的Hadoop框架，Spark做機器學習甚至可以快100多倍。所以這里選用Spark分布式計算框架，來實現(xiàn)

2、大數(shù)據(jù)背景下的圖像檢索相關(guān)聚類算法。
　　文章首先詳細闡述了Spark分布式計算框架的運行原理、編程模型以及機器學習庫，又探討了CUDA架構(gòu)的編程模型、線程組織結(jié)構(gòu)及對應的硬件架構(gòu)，然后探討了視覺詞袋模型在圖像檢索架構(gòu)中的應用及遇到的瓶頸。在此基礎上，結(jié)合Spark分布式計算框架與CUDA架構(gòu)實現(xiàn)了基于Spark-GPU技術(shù)的常用的圖像聚類算法K-means，并在Spark以及CUDA架構(gòu)中分別實現(xiàn)了子空間聚類算法Local Be

3、st-Fit Flat(LBF)。這里主要做了以下三個主要貢獻:
　　(1)在Linux操作系統(tǒng)環(huán)境下，搭建了Spark分布式計算平臺與GPU計算環(huán)境，并在Spark以及Spark-GPU云平臺上分別實現(xiàn)了聚類算法K-means，經(jīng)過兩者性能比較，證明了Spark-GPU技術(shù)對K-means聚類算法進行了有效加速。
　　(2)通過分析子空間聚類算法Local Best-Fit Flat(LBF)的可并發(fā)性，完成了其在Spar

4、k云平臺和CUDA架構(gòu)上的實現(xiàn)，并分析了導致Spark-LBF的低效率的根本原因，然后將最為耗時的C選K個最優(yōu)子空間的任務轉(zhuǎn)移給適合并行計算的GPU，使得算法性能獲得有效提升。
　　(3)總結(jié)出基于視覺詞袋模型的圖像檢索解決方案。在模型構(gòu)建過程中敏銳的觀察到架構(gòu)的瓶頸所在，將架構(gòu)中涉及到的圖像聚類算法K-means和子空間聚類算法LBF進行性能優(yōu)化，從而服務于圖像檢索架構(gòu)。
　　經(jīng)過多次對比實驗，表明了基于Spark-GPU