云計(jì)算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究.pdf

1、隨著數(shù)據(jù)爆炸時(shí)代的到來(lái)，如何高效地對(duì)TB級(jí)甚至是PB的大規(guī)模數(shù)據(jù)進(jìn)行處理是業(yè)界迫切急需解決的問(wèn)題。在應(yīng)用需求和技術(shù)推動(dòng)下，云計(jì)算作為一種新的計(jì)算模式被提出來(lái)了，并逐步成為了IT界的主旋律。
　　MapReduce分布式計(jì)算框架作為云計(jì)算中處理大規(guī)模數(shù)據(jù)的利器而被各大企業(yè)廣泛應(yīng)用。然而在實(shí)際的商業(yè)運(yùn)用中，MapReduce仍然還有很多需要完善的地方，尤其是在調(diào)度機(jī)制如任務(wù)的分配不均衡，失敗任務(wù)的二次調(diào)度等方面，同時(shí)原有的調(diào)度處理方式

2、也不能很好的適應(yīng)異構(gòu)環(huán)境。本文將MapReduce在異構(gòu)環(huán)境下的調(diào)度機(jī)制作為主要的研究方向。
　　本文針對(duì)異構(gòu)環(huán)境的特點(diǎn)，重點(diǎn)總結(jié)和分析了MapReduce框架存在的調(diào)度性能問(wèn)題和目前主流調(diào)度算法存在的不足，特別是在本地執(zhí)行、數(shù)據(jù)不均衡等方面。針對(duì)上述問(wèn)題本文提出了一種在異構(gòu)環(huán)境下基于蟻群算法的多任務(wù)集群調(diào)度算法MSBACO，該算法能夠評(píng)估集群中節(jié)點(diǎn)的處理能力；同時(shí)提出一種新的目標(biāo)轉(zhuǎn)移函數(shù)，將任務(wù)快速的按照本地執(zhí)行原則分配到各個(gè)節(jié)

3、點(diǎn)上執(zhí)行，從而縮短了運(yùn)行時(shí)間，提高了集群性能。本文在 MSBACO算法基礎(chǔ)之上提出了預(yù)失敗任務(wù)判定算法DAPT，該算法在任務(wù)執(zhí)行過(guò)程中通過(guò)對(duì)預(yù)失敗任務(wù)進(jìn)行感知預(yù)判，從而將即將失敗的任務(wù)快速轉(zhuǎn)移給其他節(jié)點(diǎn)執(zhí)行，減輕了主節(jié)點(diǎn)的負(fù)載和網(wǎng)絡(luò)開(kāi)銷(xiāo)?；谏鲜鰞煞N算法，本文提出了異構(gòu)環(huán)境下集群調(diào)度模型改進(jìn)方案HNE-IMCSS。最后，通過(guò)程序編寫(xiě)和集群平臺(tái)搭建，將作業(yè)執(zhí)行時(shí)間、負(fù)載度作為評(píng)估指標(biāo)與主流算法進(jìn)行對(duì)比，驗(yàn)證了改進(jìn)算法和調(diào)度模型在異構(gòu)環(huán)境中