基于MLFQ的Hadoop作業(yè)調度算法研究與優(yōu)化.pdf

1、“云計算”被Google、Amazon的公司提出之后，得到了工業(yè)界、學術界的廣泛關注。近年來，云計算技術在工業(yè)界、學術界聯(lián)合推動下獲得了巨大的發(fā)展，大量的云計算系統(tǒng)被投入使用，其中有很大一部分基于Hadoop平臺。Hadoop平臺是一個開放源代碼云計算框架，最大的優(yōu)勢是實現(xiàn)了并行化對開發(fā)者的透明性，使開發(fā)者開發(fā)云計算應用系統(tǒng)時不必關心并行性細節(jié)，這些細節(jié)則由Hadoop框架在底層完成。作業(yè)調度是Hadoop平臺的核心之一，其主要功能是控

2、制集群中作業(yè)的執(zhí)行順序以及分配計算資源，這直接關系到Hadoop平臺的整體性能和系統(tǒng)資源的利用率。論文基于Hadoop1.2.1平臺，首先對Hadoop作業(yè)調度機制進行了詳細的研究，在此基礎上提出了一種新的Hadoop作業(yè)調度算法。論文的主要貢獻如下：
　　1.提出了一種基于多級反饋隊列(Multi-level Feedback Queue簡稱MLFQ)的作業(yè)調度算法。該算法最先應用在操作系統(tǒng)中對進程進行調度并取得了很好的效果，論

3、文將算法改造后應用到Hadoop的作業(yè)調度中，解決了集群中小作業(yè)公平性的問題，并有效提升了平臺的整體性能。
　　2.為了解決嚴格遵循MLFQ算法思想遇到的兩個問題作業(yè)本地性差、Reduce槽囤積，論文提出了MLFQ算法的兩種優(yōu)化方案Map任務延遲調度算法、Reduce任務延遲調度算法分別解決這兩個問題。
　　3.搭建了Hadoop平臺，對基于MLFQ的Hadoop作業(yè)調度算法及兩種改進算法進行了多組實驗，并對所得實驗數據進行