面向迭代作業(yè)的分布式并行處理優(yōu)化與實現(xiàn).pdf

1、MapReduce是由Google提出的一種用于大規(guī)模數(shù)據(jù)集的并行運算編程模型，目前應(yīng)用已經(jīng)十分廣泛。迭代計算在數(shù)據(jù)挖掘、機器學(xué)習(xí)、科學(xué)計算等領(lǐng)域都有著十分廣泛的應(yīng)用。然而現(xiàn)有的MapReduce開源實現(xiàn)如Hadoop，對數(shù)據(jù)的迭代處理支持有限，因此提高傳統(tǒng)MapReduce在處理迭代問題的效能是一項十分重要的課題。
　　在對MapReduce并行編程、迭代式作業(yè)、及現(xiàn)有的MapReduce迭代改進模型進行了深入分析基礎(chǔ)上，總結(jié)了

2、現(xiàn)有方法存在的問題。傳統(tǒng)的MapReduce在處理迭代時，沒有區(qū)分動靜態(tài)數(shù)據(jù)，迭代過程中間結(jié)果寫入分布式文件系統(tǒng)；迭代終止條件判斷也需要消耗一次MapReduce作業(yè)；MapReduce沒有對迭代過程中的依賴關(guān)系進行改進，迭代過程嚴(yán)格按照一般作業(yè)執(zhí)行順序串行執(zhí)行。
　　提出了一種基于臨時作業(yè)的迭代并行處理模型。針對動靜態(tài)數(shù)據(jù)分類處理與迭代中間結(jié)果寫分布式文件系統(tǒng)問題，設(shè)計緩存結(jié)構(gòu)來將迭代過程中的重復(fù)計算的靜態(tài)數(shù)據(jù)與迭代中間結(jié)果寫入

3、本地緩存；針對原有MapReduce在處理迭代過程中的嚴(yán)格的依賴關(guān)系，設(shè)計新的迭代控制循環(huán)結(jié)構(gòu)，利用臨時作業(yè)的方式銜接前后兩次迭代，實現(xiàn)連續(xù)迭代的并行執(zhí)行；針對迭代終止條件判斷的額外MapReduce開銷問題，設(shè)計新的迭代終止條件檢測，判斷由迭代程序內(nèi)部自動判斷，且與下次迭代同時進行。詳細描述了該迭代處理模型的迭代數(shù)據(jù)流并行設(shè)計、迭代緩存控制、迭代循環(huán)控制、迭代終止條件設(shè)計與臨時作業(yè)設(shè)計。并選擇兩種常見的迭代計算，分別在Hadoop平臺