基于Spark的機器學習應用框架研究與實現(xiàn).pdf

1、聚類分析和分類分析是機器學習的重要領域，K-means算法和隨機森林算法分別是聚類分析和分類分析中最常用的算法之一。然而，K-means算法和隨機森林算法都存在一些限制和缺點。K-means算法中的群組數(shù)目 K值需要使用者預先設定，這對使用者提出了較高的要求，經(jīng)驗不足的使用者設定的K值的準確性也存在一定的問題；隨機森林算法進行分類決策時，無法區(qū)別對待每一棵決策樹，導致準確性差的決策樹會影響算法整體的準確性。在實際應用中，待分析的數(shù)據(jù)集存

2、在各種各樣的問題。包含較多孤立點的數(shù)據(jù)集會增加K-means算法的迭代次數(shù)，提高算法的復雜度，降低算法的準確性；對于包含噪聲特征和冗余特征的數(shù)據(jù)集，隨機森林算法的準確性會受到影響，錯誤率會提高。上述這些問題提高了用戶使用K-means算法和隨機森林算法的難度。
　　另一方面，基于分布式計算的機器學習框架得到了廣泛應用。然而，現(xiàn)有的機器學習框架受限于機器學習算法自身的限制和缺點，要求用戶進行數(shù)據(jù)挖掘和分析時，需要掌握足夠的機器學習算

3、法知識，導致這些機器學習框架的應用門檻較高。
　　針對上述問題，本文以實驗室承擔的某省交通物流云計算平臺建設項目為背景，對聚類分析中的K-means算法和分類分析中的隨機森林算法以及這兩種算法存在的限制和缺點進行了分析，提出了相應的改進算法，設計并實現(xiàn)了一套基于 Spark的機器學習應用框架。該框架具有自適應的數(shù)據(jù)預處理、算法調優(yōu)和參數(shù)選擇，用戶無需關注機器學習算法的底層細節(jié)等特點。最后，本文通過交通物流領域的應用例子對該框架進行

4、了驗證。
　　與其他同類系統(tǒng)相比，本文工作具有以下特點：
　　1)針對K-means算法存在的特征權重不一致、孤立點干擾和群組數(shù)目 K值設定等問題，本文提出了一種改進的自適應 K-means算法(簡稱AKM)。實驗結果表明，AKM算法具有對待分析數(shù)據(jù)集進行規(guī)范化處理，對孤立點進行檢測和刪除，自動化求解群組數(shù)目K值等特點。
　　2)針對隨機森林算法存在的噪聲特征干擾、冗余特征干擾和分類決策投票策略等問題，本文提出了一種改

5、進的自適應隨機森林算法(簡稱ARF)。實驗結果表明，ARF算法具有刪除噪聲特征和冗余特征，根據(jù)具體的問題選擇合適的分類決策投票策略等特點。
　　3)在AKM算法和ARF算法的基礎上，設計實現(xiàn)了一套基于Spark的機器學習應用框架 AMLF(Adaptive Machine Learning Framework on Spark)。AMLF框架具有向用戶提供統(tǒng)一的數(shù)據(jù)訪問接口、機器學習模型的導入導出、統(tǒng)計和反饋機器學習模型信息等功能