基于SPARK優(yōu)化的聚類(lèi)分類(lèi)算法研究.pdf

1、互聯(lián)網(wǎng)在近些年的飛速發(fā)展，使得每天都產(chǎn)生海量的數(shù)據(jù)。這些海量數(shù)據(jù)中包含著很多的有價(jià)值的信息，傳統(tǒng)的方法已經(jīng)很難將這些信息從大規(guī)模數(shù)據(jù)總提取出來(lái)。為了解決大規(guī)模數(shù)據(jù)的處理問(wèn)題，分布式計(jì)算技術(shù)應(yīng)運(yùn)而生。通過(guò)計(jì)算機(jī)集群的強(qiáng)大的數(shù)據(jù)存儲(chǔ)和處理能力來(lái)解決傳統(tǒng)處理方式的性能瓶頸問(wèn)題。與此同時(shí)，傳統(tǒng)的數(shù)據(jù)挖掘算法也已不能適應(yīng)分布式的計(jì)算環(huán)境，因此要對(duì)傳統(tǒng)的數(shù)據(jù)挖掘算法進(jìn)行并行化優(yōu)化來(lái)滿足集群的并行計(jì)算要求，這也是近幾年大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)之一。

2、>　　當(dāng)前主流的分布式計(jì)算框架有Storm、Hadoop、Spark，主要分為批處理模式和流處理模式；其中Storm是流處理模式，主要適用于針對(duì)數(shù)據(jù)流的實(shí)時(shí)計(jì)算場(chǎng)景。Hadoop與Spark屬于批處理計(jì)算模型，主要適用于大規(guī)模數(shù)據(jù)的存儲(chǔ)以及處理。HDFS具有高可靠性、高擴(kuò)展性以及高容錯(cuò)性的優(yōu)點(diǎn)，因此很適合作為大規(guī)模數(shù)據(jù)的存儲(chǔ)。MapReduce是一種并行編程模型，能夠極大的簡(jiǎn)化編程人員的的編程工作。RDD是一種更簡(jiǎn)單的編程模型，尤其對(duì)于

3、迭代式算法的執(zhí)行效率要遠(yuǎn)高于Hadoop。這些分布式計(jì)算框架的出現(xiàn)為大規(guī)模數(shù)據(jù)的處理提供了極大的便利。
　　本文主要是研究DBSCAN聚類(lèi)算法以及L1-SVM分類(lèi)算法的并行化，然后結(jié)合Spark計(jì)算框架的特點(diǎn)進(jìn)行并行化優(yōu)化，主要工作如下：
　　1.對(duì)傳統(tǒng)聚類(lèi)算法DBSCAN進(jìn)行分析，研究其并行化改進(jìn)。面對(duì)數(shù)據(jù)的分布式不均勻的情況，為了保障數(shù)據(jù)分割后的負(fù)載均衡問(wèn)題，并行化DBSCAN算法提出一種基于樣本數(shù)目的分割法來(lái)進(jìn)行數(shù)據(jù)的

4、分割。并行DBSCAN算法先對(duì)本節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行本地聚類(lèi)，最后將各個(gè)節(jié)點(diǎn)的聚類(lèi)結(jié)果進(jìn)行綜合聚類(lèi)形成最終的結(jié)果。綜合聚類(lèi)減少了樣本數(shù)據(jù)的遍歷次數(shù)，進(jìn)一步提高聚類(lèi)效率。在這個(gè)過(guò)程利用RDD來(lái)保證數(shù)據(jù)迭代的高效率。
　　2.對(duì)L1-SVM分類(lèi)算法進(jìn)行并行化改進(jìn)，首先要解決的是非線性SVM的每一次迭代要基于前一次運(yùn)行結(jié)果的問(wèn)題。本文通過(guò)先聚類(lèi)后劃分的數(shù)據(jù)的方式提高了數(shù)據(jù)塊內(nèi)樣本數(shù)據(jù)的相似性，然后采取用多個(gè)判別函數(shù)的判斷結(jié)果來(lái)近似全局結(jié)果，避