基于Hadoop的作業(yè)調(diào)度策略研究.pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的日益增大，需要處理與存儲的數(shù)據(jù)量也越來越多，云計算已經(jīng)成為一種典型的解決方案。目前，云計算已經(jīng)受到學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注，許多公司都擁有自己的云計算平臺。其中，許多云平臺是基于Hadoop開發(fā)的。Hadoop是一個運(yùn)行于大型集群上，用于大數(shù)據(jù)存儲與并行計算的開源分布式框架，應(yīng)用程序開發(fā)者只需要根據(jù)相關(guān)的接口需求就可以實現(xiàn)分布式處理而不必關(guān)注底層細(xì)節(jié)。Hadoop平臺的性能與其作業(yè)調(diào)度算法密切相關(guān)，合適的調(diào)度算法能夠極大

2、地提高對Hadoop平臺的資源利用率和系統(tǒng)吞吐量。但是，現(xiàn)有的Hadoop作業(yè)調(diào)度算法存在一些不足之處，因此，對Hadoop平臺的作業(yè)調(diào)度算法進(jìn)行優(yōu)化和改進(jìn)具有十分重要的意義。
　　本文對Hadoop平臺的作業(yè)調(diào)度算法展開研究，主要工作如下：
　　1、從分布式文件系統(tǒng)HDFS和并行編程框架MapReduce兩個方面對Hadoop的整體架構(gòu)進(jìn)行了介紹。
　　2、深入分析了Hadoop平臺下的作業(yè)調(diào)度流程，重點(diǎn)介紹了現(xiàn)有的

3、幾種作業(yè)調(diào)度算法：FIFO調(diào)度算法、計算能力調(diào)度算法、公平份額調(diào)度算法，對它們的算法思想與主要優(yōu)缺點(diǎn)進(jìn)行了分析比較。
　　3、針對Hadoop現(xiàn)有調(diào)度算法對本地性問題考慮不足的情況，通過引入數(shù)據(jù)預(yù)取技術(shù)，提出了一種改進(jìn)的調(diào)度算法，該算法會在作業(yè)執(zhí)行中為需要分配任務(wù)的節(jié)點(diǎn)預(yù)先讀取任務(wù)，改善了節(jié)點(diǎn)任務(wù)執(zhí)行的效率，從整體上提高了系統(tǒng)性能。
　　4、針對Hadoop現(xiàn)有調(diào)度算法對慢任務(wù)識別不當(dāng)?shù)膯栴}，通過引入K-means算法，提出