Hadoop中MapReduce的性能優(yōu)化及可視化工具開發(fā).pdf

1、MapReduce是對海量數(shù)據(jù)并行處理的編程模型，云計算中的很多重要問題比如搜索引擎服務、龐大的科學計算任務，海量數(shù)據(jù)的挖掘等都可以通過MapReduce來解決，MapReduce編程模型在云計算中起著至關(guān)重要的作用。隨著MapReduce越來越多的應用到各個領域，MapReduce的性能問題也得到了學者的關(guān)注，同時隨著可視化技術(shù)的發(fā)展，性能優(yōu)化過程和結(jié)果的可視化、學習過程可視化等問題也成了近幾年的研究熱點。Hadoop作為Google

2、公司MapReduce編程模型最受歡迎的Java開源實現(xiàn)，使之成為研究MapReduce最重要的平臺，本文的性能優(yōu)化及可視化工具的開發(fā)就是基于此平臺展開研究的。
　　Hadoop平臺在運算過程中作業(yè)的調(diào)度方式起著至關(guān)重要的作用，一個好的作業(yè)調(diào)度算法可以使作業(yè)被執(zhí)行的順序、資源被分配的情況更加科學高效，可以提高Hadoop平臺的計算性能和資源使用率。首先，在性能優(yōu)化方面，本文對傳統(tǒng)的FIFO算法(First In First Out

3、)進行了研究，發(fā)現(xiàn)它沒有很好地實現(xiàn)數(shù)據(jù)的本地性，作業(yè)規(guī)模很小時會出現(xiàn)數(shù)據(jù)本地性明顯不好的問題，故對FIFO算法進行了改進以提高數(shù)據(jù)本地性。其次，搭建了Hadoop云計算平臺，對文中改進的算法和原始的FIFO算法進行了對比實驗和結(jié)果分析，結(jié)果表明改進的算法提高了作業(yè)的數(shù)據(jù)本地性，節(jié)省了本地任務的數(shù)據(jù)傳輸時間，從而減少了所有作業(yè)的總完成時間，提高了系統(tǒng)的吞吐率。
　　在可視化方面，本文開發(fā)了可視化工具，分別應用在性能可視化、學習可視化

4、兩個方面。(1)性能可視化:本文基于以上研究結(jié)果，將性能優(yōu)化結(jié)果的可視化加入了Hadoop可視化管理平臺，從而開發(fā)出一款基于性能優(yōu)化的可視化工具，使用戶可以對結(jié)果數(shù)據(jù)進行可視化操作，該模塊支持用戶選擇不同的展現(xiàn)形式，不同的展示平臺等。同時為了兼容更多地性能優(yōu)化方法，通過暴露接口的方式支持功能的擴展。(2)學習可視化:本文面向云計算學習者，開發(fā)了一款可視化學習工具——云計算虛擬實驗教學系統(tǒng)。系統(tǒng)中包含12個云計算系列實驗，主要分為云計算基

5、礎知識類和實踐交互類，并將這些實驗以虛擬化的方式展現(xiàn)出來。在實驗設計中充分發(fā)揮虛擬實驗的交互性、沉浸性和想象性的優(yōu)勢，彌補課堂和實驗教學的不足，打破空間與時間的限制，幫助學生了解云計算的基礎知識與Hadoop的基本組成和技術(shù)原理。虛擬實驗開發(fā)采用Java技術(shù)與Flash技術(shù)相結(jié)合的方式，并用視頻加以佐證，使學生在實驗前能夠充分了解實驗的所有細節(jié)。
　　更重要的是，實驗模擬了一些常見的錯誤，并給出了處理方法，使同學們在進行實驗時能夠