基于Hadoop平臺(tái)的作業(yè)調(diào)度技術(shù)研究.pdf

1、隨著數(shù)據(jù)規(guī)模的急速增大,應(yīng)用種類的極大豐富,個(gè)人用戶和企業(yè)對(duì)信息的需求已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了原有平臺(tái)的能力。越來(lái)越多的應(yīng)用和平臺(tái),不論對(duì)企業(yè)級(jí)還是個(gè)人級(jí)用戶都不堪重負(fù),Hadoop平臺(tái)作為一個(gè)開(kāi)源的,且運(yùn)行在集群上的大型數(shù)據(jù)庫(kù)處理框架得到了廣泛應(yīng)用,然而由于Hadoop還比較年輕,在很多地方還有改進(jìn)和修改的可能。
　　本文通過(guò)廣泛的調(diào)研,介紹了云計(jì)算的定義和關(guān)鍵技術(shù),對(duì)基于云計(jì)算的Hadoop平臺(tái)的兩大核心Mapreduce和HDFS進(jìn)行

2、了深入的研究。論文重點(diǎn)分析了現(xiàn)有的3種調(diào)度算法:先入先出調(diào)度算法(FIFO)、公平調(diào)度算法(Fair-Scheduler)和計(jì)算能力調(diào)度算法(Capacity Scheduler)的設(shè)計(jì)思路和優(yōu)缺點(diǎn),并針對(duì)Hadoop的參數(shù)過(guò)多難以設(shè)置和調(diào)度算法過(guò)多難以選擇的問(wèn)題,提出了一種海量數(shù)據(jù)的抽樣算法,設(shè)計(jì)了基于該算法的改進(jìn)Hadoop框架,即在原有框架基礎(chǔ)上加入了策略選擇層,從而解決上述兩個(gè)問(wèn)題。最后對(duì)Hadoop平臺(tái)重新打包并進(jìn)行實(shí)驗(yàn)驗(yàn)證,