面向迭代作業(yè)的分布式并行處理優(yōu)化與實現(xiàn).pdf

1、MapReduce是由Google提出的一種用于大規(guī)模數(shù)據(jù)集的并行運算編程模型，目前應用已經十分廣泛。迭代計算在數(shù)據(jù)挖掘、機器學習、科學計算等領域都有著十分廣泛的應用。然而現(xiàn)有的MapReduce開源實現(xiàn)如Hadoop，對數(shù)據(jù)的迭代處理支持有限，因此提高傳統(tǒng)MapReduce在處理迭代問題的效能是一項十分重要的課題。
　　在對MapReduce并行編程、迭代式作業(yè)、及現(xiàn)有的MapReduce迭代改進模型進行了深入分析基礎上，總結了

2、現(xiàn)有方法存在的問題。傳統(tǒng)的MapReduce在處理迭代時，沒有區(qū)分動靜態(tài)數(shù)據(jù)，迭代過程中間結果寫入分布式文件系統(tǒng)；迭代終止條件判斷也需要消耗一次MapReduce作業(yè)；MapReduce沒有對迭代過程中的依賴關系進行改進，迭代過程嚴格按照一般作業(yè)執(zhí)行順序串行執(zhí)行。
　　提出了一種基于臨時作業(yè)的迭代并行處理模型。針對動靜態(tài)數(shù)據(jù)分類處理與迭代中間結果寫分布式文件系統(tǒng)問題，設計緩存結構來將迭代過程中的重復計算的靜態(tài)數(shù)據(jù)與迭代中間結果寫入

3、本地緩存；針對原有MapReduce在處理迭代過程中的嚴格的依賴關系，設計新的迭代控制循環(huán)結構，利用臨時作業(yè)的方式銜接前后兩次迭代，實現(xiàn)連續(xù)迭代的并行執(zhí)行；針對迭代終止條件判斷的額外MapReduce開銷問題，設計新的迭代終止條件檢測，判斷由迭代程序內部自動判斷，且與下次迭代同時進行。詳細描述了該迭代處理模型的迭代數(shù)據(jù)流并行設計、迭代緩存控制、迭代循環(huán)控制、迭代終止條件設計與臨時作業(yè)設計。并選擇兩種常見的迭代計算，分別在Hadoop平臺