基于Spark的機(jī)器學(xué)習(xí)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云計(jì)算與分布式集群技術(shù)的發(fā)展，大數(shù)據(jù)概念在容量、價(jià)值等方面都有了更廣的擴(kuò)展和延伸，機(jī)器學(xué)習(xí)技術(shù)近年來(lái)也得到了前所未有的重視。本文主要針對(duì)傳統(tǒng)數(shù)據(jù)挖掘算法無(wú)法處理海量數(shù)據(jù)，近年來(lái)比較流行的MapReduce對(duì)機(jī)器學(xué)習(xí)算法不能有效并行化運(yùn)行等問(wèn)題，提出基于Spark來(lái)構(gòu)建一個(gè)用于大規(guī)模機(jī)器學(xué)習(xí)的平臺(tái)，該平臺(tái)不僅能夠兼容Hadoop集群利用現(xiàn)有計(jì)算資源靈活高效地處理海量數(shù)據(jù)，而且還具有良好的可擴(kuò)展性，能夠滿足各類(lèi)機(jī)器學(xué)習(xí)任務(wù)場(chǎng)景的需求。<

2、br>　　本文完成了如下幾個(gè)方面的工作:
　　論文主要針對(duì)機(jī)器學(xué)習(xí)任務(wù)中的常見(jiàn)場(chǎng)景，基于Spark平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)了其中經(jīng)典的算法，包括并行化的線性回歸、支持向量機(jī)、KMeans聚類(lèi)算法，基于圖計(jì)算模型抽象的矩陣分解、PageRank算法，以及數(shù)據(jù)流KMeans聚類(lèi)算法。算法工作均以大規(guī)模機(jī)器學(xué)習(xí)的相關(guān)基礎(chǔ)理論為有效支持，充分體現(xiàn)平臺(tái)的運(yùn)行效率和可擴(kuò)展性;
　　在算法設(shè)計(jì)過(guò)程中，本文針對(duì)大數(shù)據(jù)場(chǎng)景對(duì)經(jīng)典算法進(jìn)行一些改進(jìn)優(yōu)化工作

3、。例如，基于集成學(xué)習(xí)理論方法，采用Bagging策略來(lái)提高模型的穩(wěn)定性;為了提升計(jì)算效率，引入了基于采樣的子梯度模型優(yōu)化方法;為適應(yīng)海量數(shù)據(jù)下評(píng)分?jǐn)?shù)據(jù)矩陣特別稀疏的問(wèn)題，提出基于圖計(jì)算模型的矩陣分解算法。另外，在實(shí)現(xiàn)經(jīng)典機(jī)器學(xué)習(xí)算法時(shí)，采用面向?qū)ο蟮脑O(shè)計(jì)思路，利用工廠和策略等設(shè)計(jì)模式來(lái)層次封裝，方便平臺(tái)擴(kuò)展更多的功能和算法。
　　平臺(tái)遵循Lambda架構(gòu)設(shè)計(jì)，分成三個(gè)層次，分別是:批量數(shù)據(jù)層、服務(wù)層以及數(shù)據(jù)流層。批量數(shù)據(jù)層主要采用