大數(shù)據(jù)下的在線機(jī)器學(xué)習(xí)算法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，大數(shù)據(jù)中蘊(yùn)含的價值愈發(fā)受到關(guān)注，如何對大數(shù)據(jù)進(jìn)行高效的分析成為了一個重要的課題。機(jī)器學(xué)習(xí)是進(jìn)行數(shù)據(jù)分析的常用方法之一，傳統(tǒng)的機(jī)器學(xué)習(xí)算法常被設(shè)計(jì)為離線批量訓(xùn)練的方式，然而該方式已難以適用于大數(shù)據(jù)環(huán)境中具有海量規(guī)模并持續(xù)增長的數(shù)據(jù)集。如何對傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行改造使其能更好的適用于大數(shù)據(jù)環(huán)境成為目前的研究熱點(diǎn)。
　　本文的主要內(nèi)容包括以下幾個部分。
　　首先，本文對大數(shù)據(jù)和機(jī)器學(xué)習(xí)兩個領(lǐng)域中應(yīng)用最廣泛的

2、技術(shù)進(jìn)行了系統(tǒng)性的介紹和分析。對于大數(shù)據(jù)技術(shù)，介紹了Hadoop的生態(tài)并分析了HDFS、MapReduce、YARN三個核心組件的原理。介紹了Spark的BDAS環(huán)境并分析了RDD的原理，簡單總結(jié)了Flink、Storm、TensorFlow三個常用的大數(shù)據(jù)工具。對于機(jī)器學(xué)習(xí)技術(shù)，對有監(jiān)督學(xué)習(xí)算法（邏輯回歸、支持向量機(jī)），無監(jiān)督學(xué)習(xí)算法(K-means)，以及強(qiáng)化學(xué)習(xí)算法(Q-learning)的原理進(jìn)行了闡述，總結(jié)了機(jī)器學(xué)習(xí)泛化能力和

3、分類器評價指標(biāo)。該部分的內(nèi)容是對算法進(jìn)行改造的理論鋪墊。
　　第二，本文對在線機(jī)器學(xué)習(xí)算法的改造進(jìn)行了研究。在傳統(tǒng)算法的在線化研究部分，指出了在線化的關(guān)鍵在于對訓(xùn)練方法的改造，對有監(jiān)督學(xué)習(xí)常用的梯度下降法和牛頓法進(jìn)行在線化處理，得到了小批量梯度下降法和在線BFGS法。在大數(shù)據(jù)環(huán)境下的改造部分，對基于樣本維度和基于特征維度的數(shù)據(jù)分割的參數(shù)更新方法進(jìn)行了推導(dǎo)，并對這兩種分割方式進(jìn)行了對比。該部分的內(nèi)容完成了在線機(jī)器學(xué)習(xí)算法改造的理論分

4、析。
　　第三，本文設(shè)計(jì)并實(shí)現(xiàn)了用于在線機(jī)器學(xué)習(xí)的實(shí)驗(yàn)平臺。在設(shè)計(jì)部分，針對大數(shù)據(jù)運(yùn)行環(huán)境，設(shè)計(jì)了三套方案并分析了各自的優(yōu)缺點(diǎn)，選擇了自行搭建Hadoop集群的方案;針對開發(fā)工具，設(shè)計(jì)了兩套方案并分析了各自的優(yōu)缺點(diǎn)，并選擇了Hadoop Streaming配合Python的方案。在實(shí)現(xiàn)部分，給出了搭建實(shí)驗(yàn)平臺時虛擬機(jī)的建立、系統(tǒng)的安裝、大數(shù)據(jù)環(huán)境的安裝以及遠(yuǎn)程管理的具體步驟;對運(yùn)行程序核心算法進(jìn)行了實(shí)現(xiàn)，完成了算法的偽代碼描述和關(guān)

5、鍵函數(shù)定義;對系統(tǒng)運(yùn)行邏輯進(jìn)行了實(shí)現(xiàn)，對模型保存和持續(xù)訓(xùn)練兩個問題提出了解決方案。該部分的內(nèi)容是對后續(xù)進(jìn)行算法實(shí)驗(yàn)提供環(huán)境的準(zhǔn)備工作。
　　最后，本文將在線機(jī)器學(xué)習(xí)應(yīng)用到了電能質(zhì)量擾動分類問題當(dāng)中。該部分先對電能質(zhì)量擾動分類進(jìn)行了簡單概述。在分析了獲取電能質(zhì)量數(shù)據(jù)集的兩種思路后，給出了利用數(shù)學(xué)模型生成電能質(zhì)量數(shù)據(jù)集的方法和步驟。闡述了利用level10db4小波變換和能量統(tǒng)計(jì)量提取電能質(zhì)量樣本中的特征的方法和步驟。之后，分析了傳統(tǒng)

6、機(jī)器學(xué)習(xí)算法中邏輯回歸和支持向量機(jī)的分類效果，得到了在數(shù)據(jù)量足夠多的情況下不同算法的分類性能將趨近一致的結(jié)論。分析了在線支持向量機(jī)訓(xùn)練時兩個超參數(shù)對訓(xùn)練過程的影響，得到了當(dāng)數(shù)據(jù)量較大時訓(xùn)練方法的超參數(shù)對訓(xùn)練過程影響較小的結(jié)論。分析了在線支持向量機(jī)和離線支持向量機(jī)的訓(xùn)練耗時和分類效果，得到了在線支持向量機(jī)相對離線支持向量機(jī)分類效果略弱但訓(xùn)練耗時大幅減少的結(jié)論。分析了不同計(jì)算節(jié)點(diǎn)數(shù)量下在線支持向量機(jī)的訓(xùn)練耗時，得到了在數(shù)據(jù)量較多時增加計(jì)算節(jié)