多任務(wù)數(shù)據(jù)處理引擎資源共享與錯誤隔離機制研究.pdf

1、MapReduce是一個流行的計算框架，被商業(yè)界和學(xué)術(shù)界廣泛地應(yīng)用于大數(shù)據(jù)處理和分析，而Hadoop是一個主流的MapReduce的開源實現(xiàn)，隨著Hadoop的大規(guī)模的應(yīng)用，其可靠性和可用性成為人們關(guān)注的焦點。Hadoop采用了Master/Slaves結(jié)構(gòu)，因此不可避免的存在單點問題，Colt系統(tǒng)正是通過對當(dāng)前單點問題的解決方案和已有的對Hadoop的單點問題的研究進(jìn)行分析，并提出的對于Hadoop的單點問題的一個新的解決方案，是一個

2、優(yōu)化后的Hadoop系統(tǒng)。
　　Colt系統(tǒng)針對Hadoop中MapReduce的單點問題，借鑒分布式協(xié)調(diào)服務(wù)Zookeeper的思想，在系統(tǒng)中采用Zookeeper作為信息管理系統(tǒng)，使其作為系統(tǒng)運行的一部分，以達(dá)到主從節(jié)點錯誤隔離的目的。在當(dāng)前的解決方案中，將Hadoop的Master/Slaves模型變?yōu)镸aster-Zookeeper-Slaves的二級網(wǎng)絡(luò)結(jié)構(gòu)模型，把主從節(jié)點隔離，主從節(jié)點不再直接進(jìn)行信息交互，而是通過與Z

3、ookeeper進(jìn)行交互。在這種狀況下，即使主節(jié)點失效，從節(jié)點也能繼續(xù)與Zookeeper進(jìn)行交互，并繼續(xù)正常運行，從而到達(dá)錯誤隔離的目的。同時通過狀態(tài)管理模型，將Master變?yōu)闊o狀態(tài)節(jié)點，可以快速從失敗中恢復(fù)，因主節(jié)點失效而失敗的作業(yè)也能快速恢復(fù)到之前的作業(yè)狀態(tài)繼續(xù)運行，達(dá)到了正在運行任務(wù)級別的恢復(fù)粒度，為了保證系統(tǒng)性能與原系統(tǒng)相比誤差在5％以內(nèi)，系統(tǒng)針對當(dāng)前架構(gòu)進(jìn)行了優(yōu)化，將心跳處理方式變?yōu)椴l(fā)處理方式，以提高處理速度。