云環(huán)境下MapReduce多組容錯(cuò)機(jī)制的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與普及，人類社會(huì)已由信息時(shí)代進(jìn)入了大數(shù)據(jù)時(shí)代，傳統(tǒng)的計(jì)算模式已經(jīng)不能滿足時(shí)代的要求，一種新興的商業(yè)計(jì)算模型——云計(jì)算應(yīng)運(yùn)而生，云計(jì)算為計(jì)算機(jī)行業(yè)帶來(lái)了新的機(jī)遇和挑戰(zhàn)。云計(jì)算是一個(gè)大規(guī)模的分布式計(jì)算系統(tǒng)，為互聯(lián)網(wǎng)上的外部用戶提供抽象的、虛擬的、動(dòng)態(tài)調(diào)整以及可管理的計(jì)算能力、存儲(chǔ)、平臺(tái)以及服務(wù)。
　　云計(jì)算最典型的案例是Goolge公司提出的MapReduce并行編程模型，它簡(jiǎn)單易用、并行化程度高、可靠性高等特

2、點(diǎn)吸引了很多用戶。目前，國(guó)內(nèi)外針對(duì)MapReduce編程模型各個(gè)方面的研究很多，其中關(guān)于MapReduce容錯(cuò)機(jī)制一直是研究熱點(diǎn)之一。針對(duì)容錯(cuò)機(jī)制的研究可以總結(jié)為兩種方案：備份和再執(zhí)行，但是這兩種方案有一個(gè)基本前提條件——感知到失效節(jié)點(diǎn)，如果感知失效情況不及時(shí)或者不準(zhǔn)確，這兩種方案也就不能發(fā)揮作用了。本文將從一個(gè)新的視角出發(fā)，針對(duì)如何更快更準(zhǔn)確的發(fā)現(xiàn)失效節(jié)點(diǎn)問(wèn)題展開研究，主要分為以下幾個(gè)方面：
　　首先，根據(jù)需求分析設(shè)計(jì)容錯(cuò)方案，

3、簡(jiǎn)單地將其分為三個(gè)步驟：多組監(jiān)測(cè)、請(qǐng)求申請(qǐng)、任務(wù)遷移，分析各自的職能，研究多組容錯(cuò)的運(yùn)行機(jī)制。
　　其二，對(duì)傳統(tǒng)的MapReduce架構(gòu)進(jìn)行改進(jìn)，在同機(jī)柜中的各個(gè) TaskTracker節(jié)點(diǎn)之間搭建多組架構(gòu)，建立多組心跳機(jī)制，分別在TaskTracker和JobTracker上增加多組類multipleTaskTracker、multipleJobTracker，實(shí)現(xiàn)多組容錯(cuò)。
　　其三，對(duì)任務(wù)遷移過(guò)程中可能出現(xiàn)的資源競(jìng)爭(zhēng)問(wèn)

4、題進(jìn)行補(bǔ)充，根據(jù)公平性原則，針對(duì)兩類資源競(jìng)爭(zhēng)現(xiàn)象按照各自的規(guī)則進(jìn)行任務(wù)遷移。
　　最后，分別從響應(yīng)時(shí)間、加速比和多組容錯(cuò)的優(yōu)勢(shì)三個(gè)方面對(duì)多組容錯(cuò)性能進(jìn)行分析，得出在不影響系統(tǒng)擴(kuò)展性的前提下，多組關(guān)系提高了監(jiān)測(cè)失效節(jié)點(diǎn)的效率，節(jié)約了作業(yè)響應(yīng)時(shí)間，降低了帶寬使用率，減少網(wǎng)絡(luò)擁塞，減輕了JobTracker節(jié)點(diǎn)的負(fù)荷。
　　大量實(shí)驗(yàn)數(shù)據(jù)表明，在不影響MapReduce系統(tǒng)可擴(kuò)展性的前提下，多組容錯(cuò)要明顯優(yōu)于傳統(tǒng)容錯(cuò)方案。在集群中存