基于Spark的K-means算法的并行化實(shí)現(xiàn)與優(yōu)化.pdf

1、移動(dòng)互聯(lián)網(wǎng)浪潮衍生出海量的數(shù)據(jù)，這些數(shù)據(jù)中蘊(yùn)含著不可估量的商業(yè)價(jià)值和指導(dǎo)價(jià)值，而如何從這些雜亂無(wú)章的海量數(shù)據(jù)中挖掘出有用的信息已經(jīng)成為一個(gè)相當(dāng)重要的研究課題。為了快速提升聚類算法處理海量數(shù)據(jù)集的效率，可以利用集群資源來(lái)高效地執(zhí)行挖掘任務(wù)，而基于分布式計(jì)算平臺(tái)Spark的并行化改進(jìn)聚類算法能有效地解決此類難題。
　　本課題研究了K-means算法及其優(yōu)化算法在 Spark平臺(tái)上的并行化實(shí)現(xiàn)。一方面，基于K-means算法存在初始k值

2、不確定性、初始聚類中心點(diǎn)隨機(jī)選取的不穩(wěn)定性問(wèn)題，本研究課題提出了基于預(yù)聚類算法Canopy來(lái)初始化K-means算法中的k值和初始聚類中心用以提高算法的收斂速度和聚類結(jié)果的穩(wěn)定性；另一方面，為了充分利用Spark的RDD特性優(yōu)勢(shì)，可以從內(nèi)存優(yōu)化、數(shù)據(jù)壓縮、數(shù)據(jù)序列化、運(yùn)行內(nèi)存占比、運(yùn)行堆占比、緩存大小等系統(tǒng)配置方面進(jìn)行Spark調(diào)優(yōu)，從而利用Spark相比于Hadoop的平臺(tái)優(yōu)勢(shì)進(jìn)一步加快改進(jìn)Canopy_K-means（CKM）算法的

3、并行計(jì)算效率和分布式計(jì)算環(huán)境下的應(yīng)用能力。
　　基于Spark集群環(huán)境下的K-means算法及其改進(jìn)CKM算法的對(duì)比研究結(jié)果可得以下結(jié)論：（1）Spark分布式集群在迭代計(jì)算方面相對(duì)于Hadoop具有不可比擬的效率（收斂速率、聚類準(zhǔn)確度）優(yōu)勢(shì)；（2）基于Spark的改進(jìn)CKM并行算法比K-means并行算法的聚類結(jié)果更加準(zhǔn)確可信、收斂速度更快；（3）基于Spark的改進(jìn)CKM并行算法比 K-means并行算法加速比增幅更快、擴(kuò)展比