Hadoop平臺的MapReduce模型性能優(yōu)化研究.pdf

1、大數(shù)據(jù)時代不但帶來了數(shù)據(jù)量的迅猛增長、數(shù)據(jù)訪問的并發(fā)壓力,也對數(shù)據(jù)計算提出了更高的性能要求。云計算作為一種解決方案,被提出之后就得到了迅速發(fā)展。它近乎無限的存儲能力和計算能力為互聯(lián)網(wǎng)的發(fā)展指明了一個新的方向。Hadoop作為目前主流的云計算平臺,也得到了廣泛的認可和應用。
　　Hadoop是一種高可用性、高伸縮性、高擴展性的高性能大數(shù)據(jù)處理平臺。同時它又兼具低成本和開源優(yōu)勢。它的實現(xiàn)有兩個核心:HDFS(Hadoop Distri

2、buted File System)和MapReduce。HDFS是一個支持超大文件、流式訪問,并具有高吞吐量的分布式文件系統(tǒng)。MapReduce是一個將所有并行實現(xiàn)透明化,只為用戶提供簡單接口,并具有快速并行計算能力的并行編程模型。
　　本文首先介紹了Hadoop平臺的背景,包括它在技術(shù)背景上的產(chǎn)生與發(fā)展,在應用背景上的應用與前景。之后對 Hadoop的關(guān)鍵技術(shù) HDFS、MapReduce和Scheduler進行研究分析。在此

3、研究基礎(chǔ)之上,本文指出MapReduce應用可在程序、參數(shù)和系統(tǒng)三個層面進行優(yōu)化。程序和參數(shù)兩個層面實現(xiàn)優(yōu)化的可選項很多,本文在第三章對此作了詳細闡述。
　　Hadoop在管理資源中將內(nèi)存和CPU兩種計算資源捆綁在一起,然后再根據(jù)任務(wù)類型分為Map Slot和Reduce Slot兩種資源模型。這種管理機制實現(xiàn)簡單,但是存在資源囤積現(xiàn)象,降低了資源利用率。本文在第四章對這兩種計算資源進行松綁,并定義了memSlot和cpuSlot

4、兩種資源模型。在資源分配時,根據(jù)Map/Reduce的實際需求來派發(fā)兩種資源。在7節(jié)點的PC集群上對21GB的日志數(shù)據(jù)進行處理,改進方案實現(xiàn)了內(nèi)存利用率提升3.5％,CPU利用率提升4.3％,有效解決了資源囤積現(xiàn)象。
　　MapReduce應用在運行中會有大量的排序操作。這些排序大多又是迭代執(zhí)行,性能消耗較大。本文第五章以此為切入,重新梳理了Shuffle階段的執(zhí)行流程。研究了以更加高效的計數(shù)排序代替快速排序。同時根據(jù) Combi