Hadoop平臺(tái)下調(diào)度算法和下載機(jī)制的優(yōu)化.pdf

1、在飛速發(fā)展的互聯(lián)網(wǎng)技術(shù)中，數(shù)據(jù)量的增長(zhǎng)呈爆炸性的趨勢(shì)。數(shù)據(jù)作為信息的載體，在信息化的發(fā)展過(guò)程中占有舉足輕重的地位。海量數(shù)據(jù)的管理困難、高數(shù)據(jù)存儲(chǔ)成本、低可靠性和低安全性等是現(xiàn)在社會(huì)面臨的重大難題。更多的企業(yè)開(kāi)始涉足于云計(jì)算領(lǐng)域，使用云計(jì)算進(jìn)行數(shù)據(jù)的分布式計(jì)算和管理。云計(jì)算服務(wù)的優(yōu)勢(shì)在于其可靠性高、易于擴(kuò)展、存儲(chǔ)容量大及處理速度快等特點(diǎn)，所以關(guān)于云計(jì)算服務(wù)系統(tǒng)的研究已經(jīng)成為了IT技術(shù)進(jìn)一步發(fā)展的趨勢(shì)。論文以提高云計(jì)算實(shí)現(xiàn)平臺(tái)Hadoop中

2、的數(shù)據(jù)處理速度為目標(biāo)，深入地研究了MapReduce和HDFS內(nèi)部運(yùn)行機(jī)制。
　　 針對(duì)Hadoop運(yùn)行環(huán)境的異構(gòu)性，為了使Hadoop能夠根據(jù)每個(gè)計(jì)算節(jié)點(diǎn)的運(yùn)算能力進(jìn)行合理的任務(wù)分配，提出了一種改良的自適應(yīng)負(fù)載調(diào)節(jié)調(diào)度算法(SALS)。該算法將Hadoop調(diào)度算法和當(dāng)前系統(tǒng)負(fù)載水平相結(jié)合，實(shí)現(xiàn)了自適應(yīng)的調(diào)度算法，并改進(jìn)了Hadoop原始的推測(cè)執(zhí)行算法，新的算法使得影響系統(tǒng)響應(yīng)時(shí)間的掉隊(duì)者能得到更精確的判定，掉隊(duì)者任務(wù)的命中率得

3、到了很大程度上提高，從而更加有效的提高整個(gè)系統(tǒng)的響應(yīng)能力。
　　 針對(duì)Hadoop中HDFS的內(nèi)部數(shù)據(jù)下載效率較低和可能出現(xiàn)的負(fù)載不均衡的問(wèn)題，提出一種分布式文件并行下載算法。該算法從文件整體下載效率和數(shù)據(jù)塊的下載效率兩方面出發(fā)，提出了相應(yīng)的優(yōu)化方法，并在此基礎(chǔ)上引入P2P的多線程思想能夠有效地提高系統(tǒng)的下載效率。在傳統(tǒng)并行算法的基礎(chǔ)之上，引入了一種新的速度預(yù)測(cè)函數(shù)。該函數(shù)利用平均歷史下載速度和當(dāng)前速度以實(shí)現(xiàn)對(duì)未來(lái)下載速度更精確