基于云平臺的數(shù)據(jù)挖掘并行算法研究與應用.pdf

1、隨著信息技術的不斷創(chuàng)新，數(shù)據(jù)已然呈現(xiàn)出爆炸式增長的態(tài)勢，互聯(lián)網(wǎng)產(chǎn)業(yè)正面臨著從IT到DT的巨大轉變。如何提高挖掘海量數(shù)據(jù)背后所隱藏知識的能力，成為現(xiàn)階段的一個難題。分布式計算架構的出現(xiàn)為海量數(shù)據(jù)挖掘提供了新的解決方案，將傳統(tǒng)的數(shù)據(jù)挖掘算法遷移到云平臺進行并行化改進，可使得處理數(shù)據(jù)的效率大大提高。
　　本文從傳統(tǒng)的數(shù)據(jù)挖掘算法無法應對海量數(shù)據(jù)挖掘的缺陷出發(fā)，研究了現(xiàn)階段較為熱門的開源分布式并行計算框架如Hadoop、Spark等，然后

2、將傳統(tǒng)的數(shù)據(jù)挖掘算法進行并行化改進，并將其移植到云平臺上，利用云平臺提升數(shù)據(jù)挖掘算法的計算能力，使之具有良好的可擴展性。主要工作有以下幾個方面：
　　（1）基于密度的聚類算法DBSCAN并行化改進?，F(xiàn)有的并行DBSCAN算法在進行數(shù)據(jù)分區(qū)時，通常是將原始數(shù)據(jù)庫劃分為若干個互不相交的子空間，隨著數(shù)據(jù)維度的增加，對高維空間的切分與合并將消耗大量的時間。針對這一問題，本文提出了改進的并行基于密度的聚類算法(S_DBSCAN)，并在Spa

3、rk上具體實現(xiàn)。經(jīng)實驗表明，改進的S_DBSCAN算法在保證一定正確聚類結果的同時，具有更好的運行效率與可擴展性。
　?。?）局部加權回歸LWLR算法并行化改進?，F(xiàn)有的并行L_WLR算法，在進行近鄰搜索時，采取的是遍歷數(shù)據(jù)集中所有對象的方法，使得算法的效率較低。針對這一問題，本文提出了一種基于改進近鄰搜索策略的TLWLR算法，經(jīng)實驗表明，改進的T_LWLR算法具有良好的可擴展性，同現(xiàn)有的并行KNN-LWLR算法相比，T_LWLR算