Hama圖并行計(jì)算框架中任務(wù)槽模型及其對作業(yè)調(diào)度性能的影響.pdf

1、如今Hadoop平臺及其相關(guān)技術(shù)已經(jīng)滲透到眾多領(lǐng)域當(dāng)中并得到廣泛使用，已經(jīng)成為大數(shù)據(jù)的代名詞。經(jīng)過幾年的迅猛發(fā)展，Hadoop平臺及其相關(guān)技術(shù)實(shí)際上已經(jīng)成為企業(yè)大數(shù)據(jù)計(jì)算的標(biāo)準(zhǔn)，它的核心Map-Reduce計(jì)算框架在大規(guī)模并行處理計(jì)算方面更是發(fā)揮了巨大作用。雖然表現(xiàn)得如此優(yōu)秀，但是Hadoop仍有其不足之處，尤其是其不能適應(yīng)圖并行計(jì)算。Hama的出現(xiàn)可以彌補(bǔ)Hadoop的不足，它不僅實(shí)現(xiàn)了類似Hadoop的并行計(jì)算，而且在圖計(jì)算方面更是

2、發(fā)揮了其特色。
　　但由于目前Hama仍處于開發(fā)之中，很多功能還不是很完善，還不能投入到實(shí)際應(yīng)用當(dāng)中。同時Hama又是一個可進(jìn)行二次開發(fā)的圖并行計(jì)算框架，在實(shí)際應(yīng)用中可根據(jù)需求設(shè)計(jì)合適的作業(yè)調(diào)度器。如Hadoop中的公平調(diào)度器和能力調(diào)度器，就是在實(shí)際生產(chǎn)中不斷形成的兩種優(yōu)秀的作業(yè)調(diào)度器。所以可以借鑒Hadoop中兩種作業(yè)調(diào)度器的設(shè)計(jì)思想，同時為了滿足實(shí)際應(yīng)用，用戶可以設(shè)計(jì)出自己的Hama圖計(jì)算作業(yè)調(diào)度器。
　　在本文中，將先

3、對Hadoop平臺及其生態(tài)系統(tǒng)作簡要介紹，以了解Hadoop的數(shù)據(jù)處理方式，這些內(nèi)容主要包括分布式文件系統(tǒng)HDFS以及Map-Reduce并行計(jì)算框架這兩大塊。同時，將重點(diǎn)介紹Hadoop現(xiàn)有的三種流行作業(yè)調(diào)度算法，這些算法的設(shè)計(jì)思想為本文的算法設(shè)計(jì)提供了思路及參考。接著，將通過BSP并行計(jì)算模型展開對Hama的學(xué)習(xí)，重點(diǎn)了解其超步計(jì)算的原理。結(jié)合它的功能結(jié)構(gòu)了解各個節(jié)點(diǎn)的功能及作用，并通過分析Hama源碼，從更深層次了解Hama的作業(yè)