基于Hadoop的作業(yè)調(diào)度策略研究.pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的日益增大，需要處理與存儲(chǔ)的數(shù)據(jù)量也越來(lái)越多，云計(jì)算已經(jīng)成為一種典型的解決方案。目前，云計(jì)算已經(jīng)受到學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注，許多公司都擁有自己的云計(jì)算平臺(tái)。其中，許多云平臺(tái)是基于Hadoop開(kāi)發(fā)的。Hadoop是一個(gè)運(yùn)行于大型集群上，用于大數(shù)據(jù)存儲(chǔ)與并行計(jì)算的開(kāi)源分布式框架，應(yīng)用程序開(kāi)發(fā)者只需要根據(jù)相關(guān)的接口需求就可以實(shí)現(xiàn)分布式處理而不必關(guān)注底層細(xì)節(jié)。Hadoop平臺(tái)的性能與其作業(yè)調(diào)度算法密切相關(guān)，合適的調(diào)度算法能夠極大

2、地提高對(duì)Hadoop平臺(tái)的資源利用率和系統(tǒng)吞吐量。但是，現(xiàn)有的Hadoop作業(yè)調(diào)度算法存在一些不足之處，因此，對(duì)Hadoop平臺(tái)的作業(yè)調(diào)度算法進(jìn)行優(yōu)化和改進(jìn)具有十分重要的意義。
　　本文對(duì)Hadoop平臺(tái)的作業(yè)調(diào)度算法展開(kāi)研究，主要工作如下：
　　1、從分布式文件系統(tǒng)HDFS和并行編程框架MapReduce兩個(gè)方面對(duì)Hadoop的整體架構(gòu)進(jìn)行了介紹。
　　2、深入分析了Hadoop平臺(tái)下的作業(yè)調(diào)度流程，重點(diǎn)介紹了現(xiàn)有的

3、幾種作業(yè)調(diào)度算法：FIFO調(diào)度算法、計(jì)算能力調(diào)度算法、公平份額調(diào)度算法，對(duì)它們的算法思想與主要優(yōu)缺點(diǎn)進(jìn)行了分析比較。
　　3、針對(duì)Hadoop現(xiàn)有調(diào)度算法對(duì)本地性問(wèn)題考慮不足的情況，通過(guò)引入數(shù)據(jù)預(yù)取技術(shù)，提出了一種改進(jìn)的調(diào)度算法，該算法會(huì)在作業(yè)執(zhí)行中為需要分配任務(wù)的節(jié)點(diǎn)預(yù)先讀取任務(wù)，改善了節(jié)點(diǎn)任務(wù)執(zhí)行的效率，從整體上提高了系統(tǒng)性能。
　　4、針對(duì)Hadoop現(xiàn)有調(diào)度算法對(duì)慢任務(wù)識(shí)別不當(dāng)?shù)膯?wèn)題，通過(guò)引入K-means算法，提出