Hadloop模型研究及其作業(yè)調(diào)度算法的改進(jìn).pdf

1、近幾年來，隨著現(xiàn)代社會(huì)的信息量增長速度極快，個(gè)人數(shù)據(jù)和工業(yè)數(shù)據(jù)量越來越大，未來的信息發(fā)展方向必將以數(shù)據(jù)為中心。預(yù)計(jì)到2020年，每年生產(chǎn)的數(shù)字信息將會(huì)有超過1/3的內(nèi)容駐留在云平臺(tái)中或借助云平臺(tái)處理。而云計(jì)算技術(shù)在工業(yè)界和學(xué)術(shù)界共同推動(dòng)下取得了巨大的發(fā)展，大量的云計(jì)算系統(tǒng)投入使用。其中，很大一部分的云計(jì)算系統(tǒng)采用Hadoop平臺(tái)來開發(fā)數(shù)據(jù)處理程序。Hadoop平臺(tái)是一個(gè)在集群上運(yùn)行大型數(shù)據(jù)的處理應(yīng)用程序的開放式源代碼框架，其最大的優(yōu)點(diǎn)就

2、是實(shí)現(xiàn)了并行化對(duì)應(yīng)用開發(fā)者的透明處理，應(yīng)用開發(fā)者可以像開發(fā)普通程序一樣來開發(fā)云計(jì)算的應(yīng)用系統(tǒng)，而并行化的具體實(shí)現(xiàn)則由Hadoop底層自動(dòng)完成，使得開發(fā)者只需專注于業(yè)務(wù)數(shù)據(jù)的處理開發(fā)。Hadoop發(fā)展至今，在實(shí)際應(yīng)用中已經(jīng)趨于成熟，但是在一些地方還有改進(jìn)的必要和需求。
　　 Hadoop的作業(yè)調(diào)度技術(shù)作為其平臺(tái)的核心技術(shù)之一，其主要是針對(duì)作業(yè)執(zhí)行的順序按照調(diào)度算法分配計(jì)算資源，而使用的調(diào)度算法決定了Hadoop平臺(tái)的系統(tǒng)資源的利用

3、情況和整體性能。但是目前這一技術(shù)尚處于未完全成熟階段，現(xiàn)有的作業(yè)調(diào)度算法均存在著一些缺點(diǎn)或限制，因此，通過對(duì)現(xiàn)有作業(yè)調(diào)度算法的研究，改進(jìn)其不足之處，對(duì)提高Hadoop平臺(tái)的整體性能和系統(tǒng)資源的利用率具有重要的意義。
　　 本文主要研究工作和貢獻(xiàn)如下:
　　 通過廣泛的資料查閱和學(xué)習(xí)，對(duì)Hadoop平臺(tái)的產(chǎn)生背景和核心架構(gòu)模型進(jìn)行了比較深入的學(xué)習(xí)研究，并重點(diǎn)對(duì)核心架構(gòu)中影響Hadoop整個(gè)集群的關(guān)鍵調(diào)度算法進(jìn)行了深入學(xué)習(xí)，