分布式數(shù)據(jù)流的查詢處理技術(shù).pdf

1、國(guó)內(nèi)圖書分類號(hào)：TP311.13國(guó)際圖書分類號(hào)：681.5工學(xué)博士學(xué)位論文分布式數(shù)據(jù)流的查詢處理技術(shù)博士研究生：張冬冬導(dǎo)師：李建中教授申請(qǐng)學(xué)位：工學(xué)博士學(xué)科、專業(yè)：計(jì)算機(jī)軟件與理論所在單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院答辯日期：2005年12月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)摘要─I─摘要隨著信息技術(shù)不斷深入應(yīng)用到金融、交通、軍事、生態(tài)環(huán)境監(jiān)測(cè)、Web應(yīng)用等領(lǐng)域，需要計(jì)算機(jī)處理的數(shù)據(jù)類型和數(shù)據(jù)量與日俱增。近年來，數(shù)據(jù)流作為一種新數(shù)據(jù)類型的出現(xiàn)引起了

2、數(shù)據(jù)庫界研究人員的廣泛關(guān)注，它具有容量無限性、流速不穩(wěn)定性、內(nèi)容不可預(yù)知性和來源分布性等不同于傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)的特點(diǎn)。將傳統(tǒng)數(shù)據(jù)庫技術(shù)用于數(shù)據(jù)流的查詢處理時(shí)會(huì)在計(jì)算、存儲(chǔ)和通信等方面都遇到極大的困難，需要研究新的適合于數(shù)據(jù)流的查詢處理技術(shù)。本文研究分布式數(shù)據(jù)流的查詢處理問題，包括分布式數(shù)據(jù)流的數(shù)據(jù)操作算法、分布式數(shù)據(jù)流系統(tǒng)資源有效的連續(xù)查詢處理技術(shù)和分布式數(shù)據(jù)流歷史數(shù)據(jù)的存儲(chǔ)和查詢處理算法。本文的主要研究成果分為如下五方面。首先，提出了分

3、布式數(shù)據(jù)流的聚集操作算法?；舅枷胧菍⒎植际綌?shù)據(jù)流系統(tǒng)中的原始數(shù)據(jù)流分組合并成復(fù)式數(shù)據(jù)流之后再進(jìn)行傳輸。與其它工作相比，該算法不僅可以減少網(wǎng)絡(luò)中數(shù)據(jù)的傳輸量，而且可以顯式地控制數(shù)據(jù)流聚集操作的精度。其次，提出了分布式數(shù)據(jù)流的多路Join操作算法。該算法是將多路Join查詢操作中的Join條件轉(zhuǎn)化為對(duì)數(shù)據(jù)流的過濾條件，在數(shù)據(jù)流的傳輸過程中盡可能多地過濾掉數(shù)據(jù)流中那些不能產(chǎn)生多路Join操作結(jié)果的數(shù)據(jù)，達(dá)到減少網(wǎng)絡(luò)中數(shù)據(jù)傳輸量和減輕中央處理

4、結(jié)點(diǎn)工作負(fù)載的目的，同時(shí)保證中央處理結(jié)點(diǎn)能夠接收到完成多路Join操作所需的數(shù)據(jù)。第三，提出了分布式數(shù)據(jù)流通信資源有效的連續(xù)查詢處理算法。算法思想是將數(shù)據(jù)流中頻繁數(shù)據(jù)項(xiàng)及其在未來一段時(shí)間內(nèi)的預(yù)計(jì)出現(xiàn)次數(shù)提前發(fā)送給中央處理結(jié)點(diǎn)以代替原始頻繁數(shù)據(jù)項(xiàng)的傳輸，目的是減少數(shù)據(jù)流中頻繁數(shù)據(jù)項(xiàng)對(duì)通信帶寬的占用量。然后在頻繁數(shù)據(jù)項(xiàng)的有效預(yù)測(cè)期結(jié)束之前，將頻繁數(shù)據(jù)項(xiàng)預(yù)計(jì)出現(xiàn)次數(shù)與實(shí)際出現(xiàn)次數(shù)之間的偏差發(fā)送給中央處理結(jié)點(diǎn)，以確保中央處理結(jié)點(diǎn)的查詢精度。最后