分布式數(shù)據(jù)流管理系統(tǒng)中基于冗余的高可用性技術(shù)研究.pdf

1、隨著數(shù)據(jù)流應(yīng)用的興起和發(fā)展，數(shù)據(jù)流管理中間件的設(shè)計(jì)與研究引起了廣泛的關(guān)注。一個(gè)良好的數(shù)據(jù)流管理中間件系統(tǒng)不僅能對(duì)數(shù)據(jù)流進(jìn)行有效地管理，還應(yīng)該具有較好的實(shí)時(shí)性、高可用性等特點(diǎn)。以往對(duì)數(shù)據(jù)流系統(tǒng)中高可用性的研究側(cè)重于對(duì)系統(tǒng)節(jié)點(diǎn)發(fā)生故障進(jìn)行有效地恢復(fù)，通過(guò)對(duì)計(jì)算部件進(jìn)行冗余備份實(shí)現(xiàn)系統(tǒng)節(jié)點(diǎn)故障時(shí)的軟件替換，保證系統(tǒng)繼續(xù)運(yùn)行。然而這些研究沒(méi)有從運(yùn)算子冗余度角度考慮怎樣最大限度的提高系統(tǒng)的高可用性。本文以東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院自主研發(fā)的Ne

2、bula系統(tǒng)為平臺(tái)，研究分布式數(shù)據(jù)流管理中間件系統(tǒng)中基于冗余的高可用性技術(shù)。
　　 提高系統(tǒng)冗余度可以增強(qiáng)可用性，然而受實(shí)際負(fù)載條件限制，當(dāng)系統(tǒng)運(yùn)行負(fù)載較重時(shí)，無(wú)法將冗余度提升至理想值。針對(duì)該情況，本文的主要目標(biāo)是通過(guò)研究系統(tǒng)負(fù)載和冗余度的關(guān)系，在可承受的負(fù)載限制條件下尋找到系統(tǒng)能達(dá)到的最大冗余度，增強(qiáng)系統(tǒng)可用性。本文首先給出實(shí)現(xiàn)高可用性的Nebula系統(tǒng)(Nebula HA)的整體架構(gòu)設(shè)計(jì)，進(jìn)一步研究了Nebula HA的故障

3、恢復(fù)模型以保證系統(tǒng)在發(fā)生計(jì)算節(jié)點(diǎn)故障時(shí)進(jìn)行快速正確地恢復(fù)。隨后本文針對(duì)Nebula HA系統(tǒng)提出了一套負(fù)載評(píng)估理論模型，對(duì)計(jì)算節(jié)點(diǎn)及冗余備份負(fù)載消耗做有效估算，用于冗余度的選取和冗余備份。通過(guò)負(fù)載估算構(gòu)造出系統(tǒng)冗余度與冗余負(fù)載的關(guān)系曲線(xiàn)，并在曲線(xiàn)上尋找系統(tǒng)負(fù)載限制條件內(nèi)的最大冗余度值，盡可能地提高了系統(tǒng)冗余度。最后，通過(guò)原型系統(tǒng)及仿真實(shí)驗(yàn)證明，系統(tǒng)以最大冗余度實(shí)施備份并運(yùn)行，在可承受的性能下降范圍內(nèi)最大限度地增強(qiáng)了系統(tǒng)應(yīng)對(duì)節(jié)點(diǎn)故障的能力