分布式數(shù)據(jù)流的Top-K查詢研究.pdf

1、近幾年來,隨著通信技術(shù)和計算機技術(shù)的不斷發(fā)展,一種新型的數(shù)據(jù)模型--分布式數(shù)據(jù)流,得到越來越多的關(guān)注。它廣泛應用于金融、網(wǎng)絡監(jiān)視、通信數(shù)據(jù)管理、傳感器網(wǎng)絡等眾多領(lǐng)域。分布式數(shù)據(jù)流除具有數(shù)據(jù)量大、數(shù)據(jù)到達速率快、數(shù)據(jù)無限性等特點外,還具有數(shù)據(jù)源分布、各個數(shù)據(jù)源之間需要同步協(xié)調(diào)等特點。本論文主要研究分布式數(shù)據(jù)流環(huán)境下的Top-K查詢問題,即對分布于不同地理位置的同一組對象的觀測流數(shù)據(jù)進行分析,從而得到數(shù)值最大的K個對象(Top-K觀測查詢)

2、。 首先通過實現(xiàn)一種基于滑動窗口的數(shù)據(jù)結(jié)構(gòu)解決了數(shù)據(jù)流上的數(shù)據(jù)采集問題,將有效數(shù)據(jù)完全存儲于內(nèi)存中,既滿足應用的需要,又提高系統(tǒng)的響應速度和效率。其次,在分布式系統(tǒng)中的數(shù)據(jù)傳輸方面,提出并實現(xiàn)了一種基于索引的Counter Bloom Filter的算法,對傳輸數(shù)據(jù)進行有效的壓縮,從而降低分布式網(wǎng)絡中的網(wǎng)絡流量。最后,在對一種分布式Top-K查詢算法研究的基礎(chǔ)之上,提出并實現(xiàn)了一種新型的基于動態(tài)修正值的分布式數(shù)據(jù)流Top-K查詢