企業(yè)級(jí)MapReduce系統(tǒng)失效恢復(fù)機(jī)制的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Google在2004年提出了云計(jì)算關(guān)鍵技術(shù)之一的MapReduce編程模型,該編程模型也用來(lái)處理集群中的海量數(shù)據(jù)集。在Google將這一核心技術(shù)以論文的形式公布的兩年后,就有了對(duì)這一技術(shù)的開(kāi)源實(shí)現(xiàn)——Hadoop。目前來(lái)說(shuō),無(wú)論是Google內(nèi)部的MapReduce引擎還是開(kāi)源的Hadoop,都是架構(gòu)在以普通個(gè)人計(jì)算機(jī)為基礎(chǔ)的計(jì)算機(jī)集群上。雖然在成本和擴(kuò)展性上普通個(gè)人計(jì)算機(jī)較之超級(jí)計(jì)算機(jī)有無(wú)可比擬的優(yōu)勢(shì),但其穩(wěn)定性、可用性卻不能滿足目

2、前企業(yè)生產(chǎn)需要。
　　本論文基于PlatformComputing公司于2011年7月發(fā)布的企業(yè)級(jí)大數(shù)據(jù)處理工作引擎PlatformMapReduce,研究如何在原有的系統(tǒng)架構(gòu)基礎(chǔ)上實(shí)現(xiàn)系統(tǒng)失效恢復(fù)機(jī)制。要實(shí)現(xiàn)失效恢復(fù),本文首先提出了使用候選結(jié)點(diǎn)列表的辦法解決單點(diǎn)失效問(wèn)題。即用新的Master結(jié)點(diǎn)讀取狀態(tài)的快照及事件日志信息,恢復(fù)系統(tǒng)運(yùn)行來(lái)解決單點(diǎn)失效。其次針對(duì)在企業(yè)環(huán)境中需要系統(tǒng)能夠滿足7*24小時(shí)運(yùn)行要求,本論文通過(guò)日志等方法

3、來(lái)解決。即將作業(yè)狀態(tài)信息與用戶數(shù)據(jù)均存儲(chǔ)在共享文件系統(tǒng)中。當(dāng)某個(gè)作業(yè)因?yàn)橄到y(tǒng)原因失效,系統(tǒng)能夠通過(guò)日志重構(gòu)出該作業(yè),并重新執(zhí)行。再次,整個(gè)失效恢復(fù)機(jī)制需要對(duì)用戶透明,即當(dāng)失效發(fā)生時(shí),系統(tǒng)能夠自動(dòng)地恢復(fù)運(yùn)行,而非依靠人工幫助。這個(gè)問(wèn)題的解決,需要依賴系統(tǒng)原有設(shè)計(jì)中的底層通信庫(kù)。當(dāng)失效發(fā)生時(shí),底層通信庫(kù)能夠通過(guò)心跳等機(jī)制發(fā)現(xiàn)并且通知上層,引發(fā)上層自動(dòng)執(zhí)行失效恢復(fù)機(jī)制。最后,由于MapReduce引擎處理的數(shù)據(jù)是超大數(shù)據(jù)集,影響了失效恢復(fù)的效