分布式數(shù)據(jù)流管理系統(tǒng)的負(fù)載平衡及高可用性的研究.pdf

1、在許多應(yīng)用環(huán)境中,數(shù)據(jù)是以連續(xù)、可變、無界的序列形式出現(xiàn),這些大量的數(shù)據(jù)有序的聚集在一起即組成了數(shù)據(jù)流。由于數(shù)據(jù)流具有實(shí)時(shí)性、連續(xù)性、瞬時(shí)性等特點(diǎn),傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)理論和技術(shù)已不能很好地對數(shù)據(jù)流進(jìn)行有效的查詢處理。數(shù)據(jù)流本身的特點(diǎn)及面向流的應(yīng)用需求對數(shù)據(jù)流管理系統(tǒng)提出了很多挑戰(zhàn),人們正在研究適合于數(shù)據(jù)流的各類處理技術(shù)。 分布式數(shù)據(jù)流管理系統(tǒng)發(fā)展自集中式數(shù)據(jù)流管理系統(tǒng)之上,它的優(yōu)勢在于能夠集合多個(gè)查詢節(jié)點(diǎn)的查詢處理能力,通過節(jié)點(diǎn)之

2、間的任務(wù)調(diào)度,使其整體的查詢能力遠(yuǎn)遠(yuǎn)突破單個(gè)節(jié)點(diǎn)查詢瓶頸的限制。 本文研究了分布式數(shù)據(jù)流管理系統(tǒng)的負(fù)載平衡問題,發(fā)現(xiàn)數(shù)據(jù)流系統(tǒng)的瓶頸常常并非在于每個(gè)節(jié)點(diǎn)的有限的查詢能力,而是節(jié)點(diǎn)之間過高的數(shù)據(jù)轉(zhuǎn)移代價(jià)。它增加了系統(tǒng)整體的負(fù)載,降低了系統(tǒng)的查詢速度?；诖?在網(wǎng)絡(luò)帶寬有限的情況下,本文分別研究了針對節(jié)點(diǎn)超載和欠載狀況的負(fù)載轉(zhuǎn)移策略,提出了兼顧系統(tǒng)整體負(fù)載和查詢延時(shí)的負(fù)載平衡算法,使得在實(shí)施負(fù)載平衡后系統(tǒng)的整體負(fù)載和查詢延時(shí)達(dá)到了較

3、好的效果。 對于分布式數(shù)據(jù)流系統(tǒng)的高可用性保證,本文提出了一種以操作符作為備份和恢復(fù)粒度的高可用性算法。該算法通過對邊界操作符發(fā)送的元組進(jìn)行備份,對節(jié)點(diǎn)內(nèi)操作符實(shí)施分布式的備份策略,實(shí)現(xiàn)了1-Safety的高可用性保證,即在系統(tǒng)內(nèi)某時(shí)刻單個(gè)節(jié)點(diǎn)的錯(cuò)誤不會(huì)影響整個(gè)系統(tǒng)運(yùn)行,同時(shí)保證在錯(cuò)誤發(fā)生時(shí)能夠?qū)ο到y(tǒng)實(shí)現(xiàn)精確的恢復(fù)。 由于分布式數(shù)據(jù)流系統(tǒng)中的連接操作往往成為系統(tǒng)運(yùn)行和負(fù)載平衡的瓶頸,本文提出了對于連接操作的分割算法。該算

4、法在保證盡量降低分割后的系統(tǒng)負(fù)載的前提下,將一個(gè)較“大”的連接操作分割為若干較“小”的子操作,降低了連接操作符的粒度。操作分割完畢后,系統(tǒng)將通過負(fù)載平衡策略,對分割后的較小的子操作所對應(yīng)的操作符進(jìn)行重新調(diào)度,從而使系統(tǒng)達(dá)到新的平衡。這種分割算法能夠使分割后形成的子操作符更加靈活的被系統(tǒng)調(diào)度到不同的查詢節(jié)點(diǎn)上,從而使系統(tǒng)整體的運(yùn)行更加穩(wěn)定。 同時(shí)本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分布式數(shù)據(jù)流管理系統(tǒng),該系統(tǒng)采用管理節(jié)點(diǎn).查詢節(jié)點(diǎn)的兩級模型。管理