云計算平臺下神經(jīng)網(wǎng)絡(luò)方法研究.pdf

1、隨著經(jīng)濟的發(fā)展，網(wǎng)絡(luò)帶寬的不斷增長，通過網(wǎng)絡(luò)訪問遠程計算資源的條件已經(jīng)具備，云計算就隨之產(chǎn)生了，“云”指的是計算資源不在本地而在網(wǎng)絡(luò)中，對用戶是透明的。近年來，Google、IBM、亞馬遜和微軟等IT巨頭們對云計算技術(shù)和產(chǎn)品的普及起到了積極的推動作用。
　　云計算是分布式計算、并行計算的發(fā)展，主要用于處理大規(guī)模的數(shù)據(jù)，大規(guī)模數(shù)據(jù)處理和計算是數(shù)據(jù)挖掘領(lǐng)域中的常見問題，許多傳統(tǒng)數(shù)據(jù)挖掘算法如分類中的神經(jīng)網(wǎng)絡(luò)算法往往只能用于小規(guī)模數(shù)據(jù)，

2、當(dāng)處理的數(shù)據(jù)規(guī)模很大時，計算量急劇增大，這無疑是許多傳統(tǒng)數(shù)據(jù)挖掘算法的瓶頸，而云計算則恰好擅長處理海量數(shù)據(jù)和進行大規(guī)模并行計算，如果能夠?qū)鹘y(tǒng)數(shù)據(jù)挖掘算法并行化，并將之部署到云計算平臺上，就可以有效地解決數(shù)據(jù)挖掘領(lǐng)域中的上述問題。
　　BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的BP學(xué)習(xí)算法由網(wǎng)絡(luò)信息流的正向傳播和誤差的反向傳播更新神經(jīng)元聯(lián)接權(quán)值

3、兩個過程組成。當(dāng)處理大規(guī)模數(shù)據(jù)時，訓(xùn)練網(wǎng)絡(luò)的時間很長，因此本文把BP學(xué)習(xí)算法進行MapReduce化分解，并行運行減少算法運行時間，其主要分解方法是對網(wǎng)絡(luò)的每一個聯(lián)接權(quán)值計算反向傳播生成的權(quán)值局部梯度改變量，處理所有樣本后用改變量平均值對權(quán)值做一次批處理更新。接著對比分析了統(tǒng)計領(lǐng)域常用的Logistic回歸分析模型，把該模型看做無隱含層的神經(jīng)網(wǎng)絡(luò)，在提出一種大規(guī)模矩陣轉(zhuǎn)置和乘法運算的MapReduce化分解方法后，運用到了Logisti

4、c回歸參數(shù)估計的Newton-Raphson法矩陣求解過程中，使Logistic回歸也可以并行處理大規(guī)模樣本數(shù)據(jù)。
　　論文具體實現(xiàn)了上述算法并部署到Hadoop云計算平臺上，采用經(jīng)典的數(shù)據(jù)挖掘測試數(shù)據(jù)集進行對比實驗，比較了算法在單機和云計算平臺下的運行差異，結(jié)果表明在保證算法準(zhǔn)確度和精度的情況下，對大規(guī)模輸入數(shù)據(jù)，經(jīng)過MapReduce分解的算法能夠有效減少運行時間，在用8臺機器組成的實驗Hadoop集群上，加速比能達到約4~5