基于改進模擬退火算法的Hadoop云平臺下新型調(diào)度器的研究和開發(fā).pdf

1、當下，隨著“云計算(Cloud Computing)”平臺的火熱發(fā)展，越來越多的高校、研究所、IT公司以及互聯(lián)網(wǎng)企業(yè)開始深入研究并開展云平臺的項目，以求能更好地面對“大數(shù)據(jù)(Big Data)”時代的來臨。而在這其中，ApacheHadoop作為完全開源的云平臺，受到了大多數(shù)企業(yè)，工程師以及專家學者的青睞，紛紛參與到了Hadoop云計算平臺的研究和開發(fā)中。
　　而隨著“云計算”的火熱發(fā)展，“云服務”供應商正在面臨著越來越巨大，越來

2、越復雜的數(shù)據(jù)處理。各種PB級別的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)讓現(xiàn)有的Hadoop平臺處理起來非常地吃力。此時，原生Hadoop在某些特殊作業(yè)的背景下已經(jīng)難以有效地應對用戶所提交的各種復雜任務了。
　　本文正是針對目前Map Reduce框架下Hadoop現(xiàn)有調(diào)度器在處理大內(nèi)存需求作業(yè)時出現(xiàn)的任務等待時間過長，作業(yè)完成時間過高等問題，研究了不同調(diào)度器的調(diào)度策略，提出并設計了基于模擬退火算法的隊列級別調(diào)度策略。通過采用隊列資源利用率作為退火概

3、率，將作業(yè)期望完成時間、資源量限制等作為設計參數(shù)，利用模擬退火算法的高效率、低初始條件約束等特點，優(yōu)化計算能力調(diào)度器的調(diào)度效果。本文所做工作如下:
　　首先，針對目前的Hadoop平臺，分析，研究了Hadoop的設計理念，運行機制，掌握了MapReduce的處理框架，并對Hadoop現(xiàn)有調(diào)度器進行了深人的學習，包括Hadoop默認的FIFO先進先出調(diào)度器，Hadoop中自帶的公平調(diào)度器，計算能力調(diào)度器，以及在MapReduce事項

4、列表中正式提出且已設計出但尚未在Hadoop2.0之前的版本中正式使用的資源感知調(diào)度器和自適應調(diào)度器。針對以上五種調(diào)度器，探討了它們的設計理念，并對它們的調(diào)度機理進行了研究和分析，指出了目前各種調(diào)度器中所存在的不同問題。
　　然后，根據(jù)之前的工作中所總結(jié)的在現(xiàn)有各種調(diào)度器中所存在的普遍問題，本文提出并設計了一種新型的調(diào)度器，能有效地解決之前調(diào)度器中所存在的對大內(nèi)存需求作業(yè)調(diào)度吃緊的問題。設計思路采用改進型的模擬退火算法，首先對傳統(tǒng)

5、的模擬退火算法進行了分析，之后對如何在調(diào)度器中應用給出了改進方法，根據(jù)Hadoop平臺下的調(diào)度器原理進行了基于模擬退火算法新型調(diào)度策略的設計并依據(jù)該策略開發(fā)了新型的Hadoop調(diào)度器。
　　最后，本文對新型調(diào)度器進行了實際情況測試，包括Hadoop中實現(xiàn)調(diào)度器的自由切換，針對不同類型作業(yè)的調(diào)度情況測試，在同一種作業(yè)下與計算能力調(diào)度器的調(diào)度對比測試等等。經(jīng)過實驗驗證，本文所設計的新型調(diào)度器對大內(nèi)存需求作業(yè)進行調(diào)度時能有效地降低任務等