基于Hadoop的MapReduce計(jì)算模型優(yōu)化與應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，特別是近年來，突飛猛進(jìn)的移動(dòng)互聯(lián)網(wǎng)和電子商務(wù)的發(fā)展，網(wǎng)絡(luò)已經(jīng)進(jìn)入了互聯(lián)網(wǎng)+時(shí)代?！盎ヂ?lián)網(wǎng)+”時(shí)代具有如下特點(diǎn)：大規(guī)模數(shù)據(jù)集，多終端等。企業(yè)建立一套IT系統(tǒng)不僅需要購(gòu)買硬件等基礎(chǔ)設(shè)施，還需要專人維護(hù)。當(dāng)企業(yè)的規(guī)模擴(kuò)大時(shí)還要繼續(xù)升級(jí)各種軟硬件設(shè)施以滿足需要，傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲(chǔ)成本過高、數(shù)據(jù)管理效率低、可靠性較低、并行處理程序編寫復(fù)雜等不足。尤其是對(duì)于中小企業(yè)，計(jì)算機(jī)等硬件和軟件本身并非所需，提高計(jì)算和存儲(chǔ)效率

2、才是其真正的期盼。
　　云計(jì)算通過整合服務(wù)器集群中的閑散資源，為大數(shù)據(jù)分布式存儲(chǔ)、并行計(jì)算等提供了一個(gè)有效解決方案。Hadoop以其開源、可伸縮與低成本等優(yōu)勢(shì)，已成為一種主流的云計(jì)算平臺(tái)。但是，在某些應(yīng)用場(chǎng)景，Hadoop也存在一定的缺陷。例如MapReduce的Mapper會(huì)產(chǎn)生大量中間結(jié)果，而這時(shí)的Reducer并沒有被調(diào)用來合并這些中間結(jié)果，增加了網(wǎng)絡(luò)傳輸大量中間結(jié)果的負(fù)擔(dān)以及造成 Reducer的閑置，總體上降低了MapR

3、educe的效率。
　　本文通過對(duì)MapReduce計(jì)算模型的工作原理、運(yùn)行機(jī)制和容錯(cuò)機(jī)制的研究，提出了一種MapReduce計(jì)算模型優(yōu)化方案。即在Yarn框架中，使用MPI技術(shù)實(shí)現(xiàn)Reducer與Mapper并行處理中間結(jié)果。通過實(shí)驗(yàn)可知，本方法提升了MapReduce計(jì)算效率，降低了計(jì)算與存儲(chǔ)的耦合性。另外，通過應(yīng)用實(shí)例——重點(diǎn)污染物排放量測(cè)算系統(tǒng)，在不改變?cè)撓到y(tǒng)的基礎(chǔ)上，利用Sqoop數(shù)據(jù)遷移技術(shù)，結(jié)合優(yōu)化后的MapRedu