基于遺傳算法的Hadoop平臺(tái)作業(yè)調(diào)度算法改進(jìn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，大規(guī)模的數(shù)據(jù)也隨之產(chǎn)生，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式已經(jīng)滿足不了海量數(shù)據(jù)對(duì)于存儲(chǔ)和處理的需求。云計(jì)算平臺(tái)的出現(xiàn)，則為海量數(shù)據(jù)帶來的問題給出了一個(gè)很好的解決方案。在眾多云計(jì)算平臺(tái)當(dāng)中，本文選取了具有諸多優(yōu)點(diǎn)的Hadoop云計(jì)算平臺(tái)作為研究對(duì)象。Hadoop平臺(tái)是一個(gè)開源的、可擴(kuò)展、可靠性高的分布式計(jì)算框架。作業(yè)調(diào)度算法是Hadoop平臺(tái)的關(guān)鍵技術(shù)之一，直接關(guān)系到Hadoop平臺(tái)的整體性能和系統(tǒng)資源的利用情況。
　　本

2、文首先闡述了Hadoop的背景知識(shí)，詳細(xì)分析了Hadoop技術(shù)，包括HDFS和MapReduce兩大核心內(nèi)容，并深入研究了作業(yè)調(diào)度流程及系統(tǒng)自帶的三種調(diào)度算法:系統(tǒng)自帶三種算法中，先進(jìn)先出算法思想簡單，不適用于多用戶處理作業(yè);計(jì)算能力調(diào)度算法和公平調(diào)度算法都需要合適的參數(shù)配置，對(duì)系統(tǒng)管理員壓力很大。而且，三種算法在面對(duì)大量短作業(yè)時(shí)，考慮到作業(yè)切換的時(shí)間花銷，處理速度并不如人意。
　　然后，本文以減少處理大規(guī)模短作業(yè)的時(shí)間，同時(shí)兼顧

3、長作業(yè)運(yùn)行時(shí)間的要求為目的，改進(jìn)現(xiàn)有的作業(yè)調(diào)度算法，從作業(yè)角度考慮，提出了把前若干個(gè)短作業(yè)分解的任務(wù)作為一個(gè)大隊(duì)列，并根據(jù)遺傳算法所提供的解空間來選擇運(yùn)行序列，避免了短作業(yè)之間頻繁的切換需要的時(shí)間開銷。同時(shí)為了自適應(yīng)長作業(yè)，設(shè)置了任務(wù)隊(duì)列長度限制來滿足需求。
　　最后搭建Hadoop平臺(tái)，并通過在平臺(tái)上運(yùn)行作業(yè)的實(shí)驗(yàn)結(jié)果，說明了面對(duì)大量的短作業(yè)，本文提出的算法比起原有的作業(yè)調(diào)度算法，在總體運(yùn)行時(shí)間上有了較大的縮短。證明了提出的算法