基于Spark的機(jī)器學(xué)習(xí)應(yīng)用框架研究與實(shí)現(xiàn).pdf

1、聚類分析和分類分析是機(jī)器學(xué)習(xí)的重要領(lǐng)域，K-means算法和隨機(jī)森林算法分別是聚類分析和分類分析中最常用的算法之一。然而，K-means算法和隨機(jī)森林算法都存在一些限制和缺點(diǎn)。K-means算法中的群組數(shù)目 K值需要使用者預(yù)先設(shè)定，這對(duì)使用者提出了較高的要求，經(jīng)驗(yàn)不足的使用者設(shè)定的K值的準(zhǔn)確性也存在一定的問題；隨機(jī)森林算法進(jìn)行分類決策時(shí)，無法區(qū)別對(duì)待每一棵決策樹，導(dǎo)致準(zhǔn)確性差的決策樹會(huì)影響算法整體的準(zhǔn)確性。在實(shí)際應(yīng)用中，待分析的數(shù)據(jù)集存

2、在各種各樣的問題。包含較多孤立點(diǎn)的數(shù)據(jù)集會(huì)增加K-means算法的迭代次數(shù)，提高算法的復(fù)雜度，降低算法的準(zhǔn)確性；對(duì)于包含噪聲特征和冗余特征的數(shù)據(jù)集，隨機(jī)森林算法的準(zhǔn)確性會(huì)受到影響，錯(cuò)誤率會(huì)提高。上述這些問題提高了用戶使用K-means算法和隨機(jī)森林算法的難度。
　　另一方面，基于分布式計(jì)算的機(jī)器學(xué)習(xí)框架得到了廣泛應(yīng)用。然而，現(xiàn)有的機(jī)器學(xué)習(xí)框架受限于機(jī)器學(xué)習(xí)算法自身的限制和缺點(diǎn)，要求用戶進(jìn)行數(shù)據(jù)挖掘和分析時(shí)，需要掌握足夠的機(jī)器學(xué)習(xí)算

3、法知識(shí)，導(dǎo)致這些機(jī)器學(xué)習(xí)框架的應(yīng)用門檻較高。
　　針對(duì)上述問題，本文以實(shí)驗(yàn)室承擔(dān)的某省交通物流云計(jì)算平臺(tái)建設(shè)項(xiàng)目為背景，對(duì)聚類分析中的K-means算法和分類分析中的隨機(jī)森林算法以及這兩種算法存在的限制和缺點(diǎn)進(jìn)行了分析，提出了相應(yīng)的改進(jìn)算法，設(shè)計(jì)并實(shí)現(xiàn)了一套基于 Spark的機(jī)器學(xué)習(xí)應(yīng)用框架。該框架具有自適應(yīng)的數(shù)據(jù)預(yù)處理、算法調(diào)優(yōu)和參數(shù)選擇，用戶無需關(guān)注機(jī)器學(xué)習(xí)算法的底層細(xì)節(jié)等特點(diǎn)。最后，本文通過交通物流領(lǐng)域的應(yīng)用例子對(duì)該框架進(jìn)行

4、了驗(yàn)證。
　　與其他同類系統(tǒng)相比，本文工作具有以下特點(diǎn)：
　　1)針對(duì)K-means算法存在的特征權(quán)重不一致、孤立點(diǎn)干擾和群組數(shù)目 K值設(shè)定等問題，本文提出了一種改進(jìn)的自適應(yīng) K-means算法(簡(jiǎn)稱AKM)。實(shí)驗(yàn)結(jié)果表明，AKM算法具有對(duì)待分析數(shù)據(jù)集進(jìn)行規(guī)范化處理，對(duì)孤立點(diǎn)進(jìn)行檢測(cè)和刪除，自動(dòng)化求解群組數(shù)目K值等特點(diǎn)。
　　2)針對(duì)隨機(jī)森林算法存在的噪聲特征干擾、冗余特征干擾和分類決策投票策略等問題，本文提出了一種改

5、進(jìn)的自適應(yīng)隨機(jī)森林算法(簡(jiǎn)稱ARF)。實(shí)驗(yàn)結(jié)果表明，ARF算法具有刪除噪聲特征和冗余特征，根據(jù)具體的問題選擇合適的分類決策投票策略等特點(diǎn)。
　　3)在AKM算法和ARF算法的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了一套基于Spark的機(jī)器學(xué)習(xí)應(yīng)用框架 AMLF(Adaptive Machine Learning Framework on Spark)。AMLF框架具有向用戶提供統(tǒng)一的數(shù)據(jù)訪問接口、機(jī)器學(xué)習(xí)模型的導(dǎo)入導(dǎo)出、統(tǒng)計(jì)和反饋機(jī)器學(xué)習(xí)模型信息等功能