數(shù)據(jù)流管理系統(tǒng)中查詢優(yōu)化和負載脫落技術(shù)的研究.pdf

1、數(shù)據(jù)流管理系統(tǒng)是實時處理大量、快速、無界的數(shù)據(jù)流的系統(tǒng),數(shù)據(jù)流本身的特點及面向流的應(yīng)用需求對數(shù)據(jù)流管理系統(tǒng)實時、高效、穩(wěn)定的查詢需求提出了諸多挑戰(zhàn)。本文從系統(tǒng)查詢的高效性和穩(wěn)定性兩個角度出發(fā),研究了數(shù)據(jù)流查詢中查詢優(yōu)化和負載脫落兩個方面的問題,設(shè)計了相應(yīng)的模型和算法,并實現(xiàn)了一個數(shù)據(jù)流查詢原型系統(tǒng)。 針對查詢優(yōu)化,本文從查詢共享和查詢調(diào)度兩方面開展工作。查詢共享即通過對數(shù)據(jù)流管理系統(tǒng)中相同或相似的存儲結(jié)構(gòu)和處理過程進行共享,達到

2、減少重復(fù)存儲和計算、提高系統(tǒng)效率的目的。針對數(shù)據(jù)流存儲共享,本文設(shè)計了數(shù)據(jù)流查詢過程中中間結(jié)果的存儲結(jié)構(gòu),并設(shè)計了基于索引的共享隊列二級間接存儲算法,使得中間結(jié)果存儲得到一定程度的共享。針對多查詢操作共享,本文設(shè)計了相同查詢操作提取的算法,通過對查詢操作中相同計算資源的共享,減少了系統(tǒng)的處理開銷。 針對查詢調(diào)度,考慮到操作符在運行時輕重緩急的不同,本文采取為每個操作符設(shè)置優(yōu)先級并根據(jù)優(yōu)先級調(diào)度操作符的策略,設(shè)計了PriOpera

3、tor模型,綜合考慮了影響操作符優(yōu)先級的四個因素,并通過為每個因素設(shè)定系數(shù)的方式,計算得到操作符的優(yōu)先級并進行調(diào)度。然后,本文引入了基于模擬退火算法的人工神經(jīng)網(wǎng)絡(luò)方法,以影響系統(tǒng)性能的兩個因素作為反饋,對影響操作符優(yōu)先級的四個因素的待定系數(shù)進行學(xué)習(xí),并將學(xué)習(xí)結(jié)果運用到操作符優(yōu)先級的重新計算中,在節(jié)省系統(tǒng)存儲空間的同時提高了系統(tǒng)查詢的效率。 對于負載脫落問題,本文以存在連接操作符的情況時基于語義的負載脫落為重點,從負載脫落的時機、

4、數(shù)量和位置三個方面展開研究。通過監(jiān)測系統(tǒng)的負載狀態(tài),并在負載達到一定程度時進行預(yù)警,在縮小連接操作符滑動窗口的基礎(chǔ)上,給出了負載脫落解決方法。同時,本文設(shè)計了一種語義學(xué)習(xí)機制,對相應(yīng)元組屬性進行監(jiān)測并動態(tài)學(xué)習(xí)元組命中率狀況,根據(jù)學(xué)習(xí)的結(jié)果確定語義負載脫落的謂詞,使得系統(tǒng)負載脫落時能夠盡可能提高系統(tǒng)準確性。在負載量減少時,算法能自適應(yīng)性地刪除負載脫落操作符,增加系統(tǒng)查詢的準確度。 最后,結(jié)合本文研究的內(nèi)容,設(shè)計并實現(xiàn)了一個數(shù)據(jù)流查