分布式數(shù)據(jù)流的Top-K查詢研究.pdf

1、近幾年來,隨著通信技術(shù)和計(jì)算機(jī)技術(shù)的不斷發(fā)展,一種新型的數(shù)據(jù)模型--分布式數(shù)據(jù)流,得到越來越多的關(guān)注。它廣泛應(yīng)用于金融、網(wǎng)絡(luò)監(jiān)視、通信數(shù)據(jù)管理、傳感器網(wǎng)絡(luò)等眾多領(lǐng)域。分布式數(shù)據(jù)流除具有數(shù)據(jù)量大、數(shù)據(jù)到達(dá)速率快、數(shù)據(jù)無限性等特點(diǎn)外,還具有數(shù)據(jù)源分布、各個(gè)數(shù)據(jù)源之間需要同步協(xié)調(diào)等特點(diǎn)。本論文主要研究分布式數(shù)據(jù)流環(huán)境下的Top-K查詢問題,即對(duì)分布于不同地理位置的同一組對(duì)象的觀測(cè)流數(shù)據(jù)進(jìn)行分析,從而得到數(shù)值最大的K個(gè)對(duì)象(Top-K觀測(cè)查詢)

2、。 首先通過實(shí)現(xiàn)一種基于滑動(dòng)窗口的數(shù)據(jù)結(jié)構(gòu)解決了數(shù)據(jù)流上的數(shù)據(jù)采集問題,將有效數(shù)據(jù)完全存儲(chǔ)于內(nèi)存中,既滿足應(yīng)用的需要,又提高系統(tǒng)的響應(yīng)速度和效率。其次,在分布式系統(tǒng)中的數(shù)據(jù)傳輸方面,提出并實(shí)現(xiàn)了一種基于索引的Counter Bloom Filter的算法,對(duì)傳輸數(shù)據(jù)進(jìn)行有效的壓縮,從而降低分布式網(wǎng)絡(luò)中的網(wǎng)絡(luò)流量。最后,在對(duì)一種分布式Top-K查詢算法研究的基礎(chǔ)之上,提出并實(shí)現(xiàn)了一種新型的基于動(dòng)態(tài)修正值的分布式數(shù)據(jù)流Top-K查詢