Hadoop集群技術(shù)的優(yōu)化與應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展,各大IT公司紛紛推出自己的云計算平臺,并把云計算作為未來重要的發(fā)展戰(zhàn)略之一。伴隨著數(shù)據(jù)量的爆炸式增長,由于單臺機器不可能完成海量數(shù)據(jù)存儲和計算性能要求,如何構(gòu)建分布式集群系統(tǒng)來處理海量數(shù)據(jù),是云計算所面臨的主要挑戰(zhàn)之一。而由Apache軟件基金會開發(fā)和推出的Hadoop,由于其高可用性,高可擴展性和高容錯性,已經(jīng)是目前云計算平臺的主流。其中充分利用了集群的存儲和高速計算,Hadoop框架實現(xiàn)了一個分布式文件系統(tǒng)(H

2、adoop Distributed File System),簡稱HDFS,以及一個基于MapReduce的并行編程模型。但由于其發(fā)展時間還不長,還有很多地方值得進一步的深入研究和改進。
　　 HDFS是一個高度容錯性的系統(tǒng),適合部署在廉價的機器上。HDFS能提供搞吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。Hadoop MapReduce是一個使用簡易的編程模型,基于它寫出來的應(yīng)用程序能夠運行在由成千上萬個商用機器組成的大

3、型集群上,并以一種可靠容錯的方式并行處理上T級別的數(shù)據(jù)集。本文對Hadoop平臺下的HDFS和MapReduce分別進行了深入研究和實踐。
　　 本文通過具體分析了HDFS的架構(gòu)設(shè)計,并對HDFS中的NameNode,DataNode,HDFS讀寫文件以及HDFS中RPC(Remote Procedure Call)機制都做了詳細介紹。而為了提升Hadoop平臺的啟動速度,主要指NameNode的啟動,本文對NameNode進行

4、優(yōu)化。NameNode啟動分為兩個階段:FsImage加載和BlockReport階段。而在FsImage加載階段,本文通過修改NameNode源代碼,使用多線程替代單線程并行讀寫NameNode數(shù)據(jù)持久化目錄以達到提升NameNode的啟動速度。
　　 在Hadoop分布式計算平臺中,如何優(yōu)化MapReduce計算性能也是目前研究的一個熱點問題。除了編寫高性能的Map和Reduce函數(shù),主要從優(yōu)化系統(tǒng)框架方面提升運算性能。本文

5、通過詳細介紹MapReduce編程框架,并具體分析了MapReduce中Shuffle階段流程。分別從Map端數(shù)據(jù)壓縮,重構(gòu)遠程數(shù)據(jù)拷貝傳輸協(xié)議,Reduce端內(nèi)存分配優(yōu)化三方面來優(yōu)化和重構(gòu)Shuffle。
　　 最后根據(jù)本文所做的研究工作,搭建了一個小型Hadoop集群,實現(xiàn)了基于WEB日志的分析系統(tǒng)(其中數(shù)據(jù)來源于搜狗實驗室提供的用戶搜索引擎查詢?nèi)罩編?,主要分析用戶每天搜索的時間段熱度。并通過對優(yōu)化前后的Hadoop版本搭