基于MapReduce的并行計算框架研究與優(yōu)化.pdf

1、如今，伴隨著數(shù)據(jù)量地快速增長，海量數(shù)據(jù)成為困擾企業(yè)發(fā)展的因素之一。如何有效處理數(shù)據(jù)，減小數(shù)據(jù)訪問的并發(fā)壓力，成為大數(shù)據(jù)解決方案不斷發(fā)展的動力。MapReduce是分布式計算中具有重要意義的解決方案之一。它通過用戶編寫Map和Reduce函數(shù)來處理大規(guī)模數(shù)據(jù)集。YARN是Hadoop2.0以后設計出的新資源管理框架，MapReduce On YARN即MapReduce的第二版，它摒棄了第一代中的 slot、TaskTracker和 Jo

2、bTracker等舊概念，保留原有計算流程，通過與 YARN中的ResourceManager、NodeManager和Container等協(xié)調(diào)工作完成作業(yè)的執(zhí)行。
　　本文首先介紹Hadoop平臺的相關知識，其中包括HDFS、YARN的體系架構(gòu)、MapReduce工作原理和Hadoop作業(yè)調(diào)度算法?；谝陨涎芯糠治?，指出MapReduce目前存在的不足。在作業(yè)執(zhí)行過程中，MapReduce會讀取處理大量數(shù)據(jù)，但這些數(shù)據(jù)在任務的讀

3、取、處理、寫入結(jié)果的流程中與 HDFS頻繁交互，造成很多不必要的IO開銷。待處理的數(shù)據(jù)會跨節(jié)點傳輸，網(wǎng)絡狀況對數(shù)據(jù)傳輸會造成一定的影響，這些將影響到作業(yè)的運行效率。有效地提高異構(gòu)環(huán)境下的任務執(zhí)行本地化效率是MapReduce中需要優(yōu)化的關鍵點之一。
　　本文針對于上述問題，將基于內(nèi)存的緩存技術(shù)與MapReduce結(jié)合，利用目前業(yè)界流行的緩存思想和技術(shù)，著重于對緩存架構(gòu)設計、緩存數(shù)據(jù)副本放置、緩存替換和任務調(diào)度等關鍵問題開展研究，旨

4、在提高MapReduce的處理速度。主要貢獻如下：
　　1.針對于異構(gòu)環(huán)境下的分布式存儲特征以及MapReduce的分布式處理，設計適用于MapReduce的緩存系統(tǒng)，剖析系統(tǒng)內(nèi)部的模塊。
　　2.針對于數(shù)據(jù)在網(wǎng)絡傳輸中的耗費，根據(jù)節(jié)點之間的性能差異，參考 HDFS的數(shù)據(jù)塊副本放置策略，改進該策略中的不足，將數(shù)據(jù)緩存合理地放入不同節(jié)點上，為有效地實施任務本地化執(zhí)行、數(shù)據(jù)容錯和負載均衡提供保障。
　　3.針對于提升任務執(zhí)