基于云平臺(tái)的數(shù)據(jù)挖掘并行算法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的不斷創(chuàng)新，數(shù)據(jù)已然呈現(xiàn)出爆炸式增長(zhǎng)的態(tài)勢(shì)，互聯(lián)網(wǎng)產(chǎn)業(yè)正面臨著從IT到DT的巨大轉(zhuǎn)變。如何提高挖掘海量數(shù)據(jù)背后所隱藏知識(shí)的能力，成為現(xiàn)階段的一個(gè)難題。分布式計(jì)算架構(gòu)的出現(xiàn)為海量數(shù)據(jù)挖掘提供了新的解決方案，將傳統(tǒng)的數(shù)據(jù)挖掘算法遷移到云平臺(tái)進(jìn)行并行化改進(jìn)，可使得處理數(shù)據(jù)的效率大大提高。
　　本文從傳統(tǒng)的數(shù)據(jù)挖掘算法無法應(yīng)對(duì)海量數(shù)據(jù)挖掘的缺陷出發(fā)，研究了現(xiàn)階段較為熱門的開源分布式并行計(jì)算框架如Hadoop、Spark等，然后

2、將傳統(tǒng)的數(shù)據(jù)挖掘算法進(jìn)行并行化改進(jìn)，并將其移植到云平臺(tái)上，利用云平臺(tái)提升數(shù)據(jù)挖掘算法的計(jì)算能力，使之具有良好的可擴(kuò)展性。主要工作有以下幾個(gè)方面：
　?。?）基于密度的聚類算法DBSCAN并行化改進(jìn)。現(xiàn)有的并行DBSCAN算法在進(jìn)行數(shù)據(jù)分區(qū)時(shí)，通常是將原始數(shù)據(jù)庫劃分為若干個(gè)互不相交的子空間，隨著數(shù)據(jù)維度的增加，對(duì)高維空間的切分與合并將消耗大量的時(shí)間。針對(duì)這一問題，本文提出了改進(jìn)的并行基于密度的聚類算法(S_DBSCAN)，并在Spa

3、rk上具體實(shí)現(xiàn)。經(jīng)實(shí)驗(yàn)表明，改進(jìn)的S_DBSCAN算法在保證一定正確聚類結(jié)果的同時(shí)，具有更好的運(yùn)行效率與可擴(kuò)展性。
　?。?）局部加權(quán)回歸LWLR算法并行化改進(jìn)?，F(xiàn)有的并行L_WLR算法，在進(jìn)行近鄰搜索時(shí)，采取的是遍歷數(shù)據(jù)集中所有對(duì)象的方法，使得算法的效率較低。針對(duì)這一問題，本文提出了一種基于改進(jìn)近鄰搜索策略的TLWLR算法，經(jīng)實(shí)驗(yàn)表明，改進(jìn)的T_LWLR算法具有良好的可擴(kuò)展性，同現(xiàn)有的并行KNN-LWLR算法相比，T_LWLR算