云計(jì)算中分布式JobTracker節(jié)點(diǎn)模型的建立與優(yōu)化.pdf

1、云計(jì)算是隨著大規(guī)模計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、互聯(lián)網(wǎng)的發(fā)展而產(chǎn)生的第四次 IT產(chǎn)業(yè)革命，谷歌首先定義并發(fā)展了云計(jì)算。而云計(jì)算的開源模型Hadoop是一種基于Java的通過運(yùn)行可分布式的密集型應(yīng)用來分析和處理大數(shù)據(jù)的開源分布式計(jì)算平臺(tái)，其中的單點(diǎn)問題造成了Hadoop的性能瓶頸。針對存儲(chǔ)模型架構(gòu)HDFS中的namenode節(jié)點(diǎn)的單節(jié)點(diǎn)優(yōu)化，Hadoop2.0提出了多節(jié)點(diǎn)高可用性方案，但是針對JobTracker節(jié)點(diǎn)的單節(jié)點(diǎn)優(yōu)化并沒有給出相應(yīng)的解決

2、辦法。本文期望通過建立分布式 JobTracker節(jié)點(diǎn)模型來改善傳統(tǒng)的計(jì)算模型架構(gòu)中的單 JobTracker節(jié)點(diǎn)故障，從而能夠自動(dòng)避免單JobTracker節(jié)點(diǎn)故障導(dǎo)致的作業(yè)運(yùn)行失敗。
　　本文的主要工作內(nèi)容及貢獻(xiàn)如下：
　　在充分分析了前人對單 JobTracker節(jié)點(diǎn)模型的改進(jìn)和對調(diào)度算法與負(fù)載均衡算法的調(diào)優(yōu)。首先通過對最短路徑算法Dijkstra算法、網(wǎng)頁權(quán)值判斷算法PageRank算法和網(wǎng)頁去重算法Bloom Fl

3、iter算法的研究，建立了分布式JobTracker節(jié)點(diǎn)模型，并通過Dijkstra算法對分布式JobTracker節(jié)點(diǎn)模型中多對多節(jié)點(diǎn)間的通信方式進(jìn)行了優(yōu)化，以期望多節(jié)點(diǎn)模型下的多個(gè) JobTracker節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)間能夠均衡的進(jìn)行通信；其次基于PageRank算法對作業(yè)的調(diào)度方式進(jìn)行了優(yōu)化；最后進(jìn)一步通過Counting Bloom Filter算法改進(jìn)各個(gè)節(jié)點(diǎn)上任務(wù)的復(fù)本數(shù)，從而對分布式JobTracker模型中節(jié)點(diǎn)的負(fù)載進(jìn)行了

4、優(yōu)化。本文在分析完分布式 JobTracker節(jié)點(diǎn)模型的通信方式及其相關(guān)的調(diào)度優(yōu)化后，搭建了小型Hadoop實(shí)驗(yàn)集群對結(jié)果進(jìn)行了實(shí)驗(yàn)驗(yàn)證。
　　由實(shí)驗(yàn)結(jié)果可以看出，單 JobTracker節(jié)點(diǎn)模型與分布式 JobTracker節(jié)點(diǎn)模型相比，在集群發(fā)生宕機(jī)時(shí)，分布式JobTrackder節(jié)點(diǎn)模型具有更高的可靠性，基于Dijkstra算法的通信方式能夠更快速的選出JobTracker節(jié)點(diǎn)；對于改進(jìn)的作業(yè)調(diào)度算法，在提交的作業(yè)具有依賴關(guān)

5、系時(shí)，基于PageRank的改進(jìn)算法能夠更進(jìn)一步的提高作業(yè)的整體處理時(shí)間；對于改進(jìn)的負(fù)載均衡算法，從副本的存儲(chǔ)負(fù)載角度對集群的負(fù)載進(jìn)行了優(yōu)化，從而提高了重復(fù)數(shù)據(jù)副本存儲(chǔ)空間利用率。實(shí)驗(yàn)最后對集群的綜合性能進(jìn)行了對比，由實(shí)驗(yàn)結(jié)果可以看出，分布式 JobTracker節(jié)點(diǎn)模型下的優(yōu)化由于主要是針對特定作業(yè)的優(yōu)化與改進(jìn)，處理作業(yè)的綜合性能并不如原有集群高，但是當(dāng)集群發(fā)生 JobTracker節(jié)點(diǎn)宕機(jī)時(shí)，提高了集群的安全可靠性，并針對特殊場景的