基于Hadoop平臺(tái)的譜聚類算法研究.pdf

1、聚類算法是數(shù)據(jù)挖掘領(lǐng)域中重要技術(shù)之一,數(shù)據(jù)挖掘研究的主要內(nèi)容是從眾多數(shù)據(jù)中挖掘出一些有用的和有價(jià)值的信息,其技術(shù)已經(jīng)應(yīng)用到工業(yè)、商業(yè)等眾多領(lǐng)域。然而隨著眾多領(lǐng)域的飛速發(fā)展,其產(chǎn)生的數(shù)據(jù)量也在不斷的擴(kuò)大,傳統(tǒng)的技術(shù)對(duì)數(shù)據(jù)的處理在時(shí)間上和硬件上已經(jīng)不能滿足日益增長(zhǎng)的數(shù)據(jù)量,如何行之有效的處理海量數(shù)據(jù)已經(jīng)成為迫在眉睫的首要任務(wù),因此如何將并行計(jì)算方式應(yīng)用到大數(shù)據(jù)集上,已成為熱門的研究領(lǐng)域。
　　傳統(tǒng)的并行計(jì)算模式和計(jì)算方法主要是基于時(shí)間

2、并行和空間并行,但是前者對(duì)于數(shù)據(jù)的處理要求較高,并行設(shè)計(jì)程序比較繁瑣,一般主要用于科學(xué)計(jì)算領(lǐng)域,而后者對(duì)于并行所用的硬件要求很高,價(jià)格比較昂貴并且硬件的淘汰速度很快,造成極大的浪費(fèi),在數(shù)據(jù)量急劇增長(zhǎng)的今天,迫切需要相應(yīng)技術(shù)解決此問題。
　　Google提出的MapReduce計(jì)算模式,因?yàn)槠浞庋b了底層復(fù)雜的編寫過程,用戶不在為編寫復(fù)雜的數(shù)據(jù)分割程序、任務(wù)調(diào)度程序、并行處理程序而發(fā)愁,只需關(guān)心自己需要解決的問題,從而一經(jīng)推出就受到了

3、廣泛的關(guān)注,美中不足的是其為“閉源”框架。Apache Hadoop在2008年實(shí)現(xiàn)了針對(duì)MapReduce編程模型的開放源代碼,近些年隨著數(shù)據(jù)量的不斷增長(zhǎng),Hadoop平臺(tái)得到了廣泛應(yīng)用,本文是在深入了解Hadoop平臺(tái)之后,在Linux操作系統(tǒng)上部署Hadoop云計(jì)算試驗(yàn)平臺(tái),通過對(duì)聚類算法的深入了解,進(jìn)行了基于Hadoop平臺(tái)的譜聚類算法研究。
　　譜聚類算法與以往的聚類算法相比,其更適合大數(shù)據(jù)的處理,在面對(duì)高維度并且不規(guī)則

4、的數(shù)據(jù)時(shí)不會(huì)陷入最優(yōu)解,本文從傳統(tǒng)的譜聚類算法過程入手,分析出其可以并行的部分,主要工作是計(jì)算拉普拉斯矩陣的特征值和特征向量,從而結(jié)合云計(jì)算平臺(tái)實(shí)現(xiàn)并行處理。在深入熟悉MapReduce編程框架之后,對(duì)譜聚類算法進(jìn)行數(shù)據(jù)分割和任務(wù)并行。實(shí)驗(yàn)數(shù)據(jù)采用Wikipedia數(shù)據(jù)和人工合成數(shù)據(jù)進(jìn)行實(shí)驗(yàn)測(cè)試,通過實(shí)驗(yàn)結(jié)果可以顯示出并行之后的譜聚類算法在Hadoop平臺(tái)上表現(xiàn)出了良好的效果,大大提高了在單機(jī)上處理數(shù)據(jù)的時(shí)間速度,并且在加速比、數(shù)據(jù)伸縮