基于異構(gòu)Hadoop平臺的并行聚類算法研究.pdf

1、在數(shù)據(jù)挖掘領(lǐng)域，聚類分析是一個重要且備受關(guān)注的研究方法，其中包含的基于密度的聚類算法由于可以有效的排除噪聲數(shù)據(jù)，發(fā)現(xiàn)任意形狀的簇而被廣泛的研究。當(dāng)今處于信息時代，從網(wǎng)絡(luò)中可以獲取各種各樣的數(shù)據(jù)，從而導(dǎo)致存儲在數(shù)據(jù)庫中的數(shù)據(jù)量急劇增加，若再想從這些海量數(shù)據(jù)中獲得有價值的信息和知識是非常困難的，這促使人們對大規(guī)模數(shù)據(jù)進(jìn)行并行化研究。作為分布式計算、網(wǎng)格計算和并行計算的發(fā)展，云計算成為了當(dāng)前研究的熱點(diǎn)。Hadoop平臺是云計算的開源實(shí)現(xiàn)，主要

2、是針對海量數(shù)據(jù)的并行研究，運(yùn)行在由廉價的計算機(jī)構(gòu)成的集群上，有效的節(jié)約計算成本，提高數(shù)據(jù)處理能力。
　　本文主要研究如何在異構(gòu)Hadoop平臺上實(shí)現(xiàn)海量數(shù)據(jù)的聚類問題。首先針對異構(gòu)Hadoop環(huán)境下仍采用均等的數(shù)據(jù)分配方法將嚴(yán)重降低MapReduce的性能，提出了比例數(shù)據(jù)分配策略。主要思想是通過計算異構(gòu)集群中各節(jié)點(diǎn)的計算比率，將已經(jīng)分割好的數(shù)據(jù)塊重新進(jìn)行組合，形成數(shù)個按比例劃分的數(shù)據(jù)塊，每個節(jié)點(diǎn)根據(jù)自身性能來選擇所分配和存儲的數(shù)據(jù)

3、塊，從而使異構(gòu)Hadoop集群中各節(jié)點(diǎn)處理數(shù)據(jù)的時間大致相同，降低節(jié)點(diǎn)之間數(shù)據(jù)的移動量。其次考慮到MapReduce默認(rèn)的數(shù)據(jù)劃分方法將割斷數(shù)據(jù)本來之間的聯(lián)系，提出了有交叉區(qū)域的數(shù)據(jù)劃分方法。然后結(jié)合異構(gòu)Hadoop平臺，利用MapReduce化的編程思想，實(shí)現(xiàn)DBSCAN算法的并行化。最后，在搭建的異構(gòu)Hadoop平臺上分別對比例數(shù)據(jù)分配算法和DBSCAN算法的并行化進(jìn)行測試。實(shí)驗表明提出的比例數(shù)據(jù)方法可有效的提高M(jìn)apReduce的