事務(wù)數(shù)據(jù)流處理的若干關(guān)鍵技術(shù)問題研究.pdf

1、面對數(shù)據(jù)的激烈增長，傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)已成為分析管道的瓶頸，傳統(tǒng)的先存貯再查詢的數(shù)據(jù)管理和結(jié)構(gòu)難以解決數(shù)據(jù)倉庫的實時響應(yīng)要求。數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理在處理快速、大量數(shù)據(jù)時都采用了不保存數(shù)據(jù)直接在內(nèi)存中對數(shù)據(jù)進(jìn)行處理的方法，提高數(shù)據(jù)處理的實時性，同時也減少了對計算資源的占用。但數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理在處理關(guān)系型數(shù)據(jù)流時都是直接將其轉(zhuǎn)化為沉表，忽略了數(shù)據(jù)的事務(wù)特性;對多數(shù)據(jù)流的連接查詢采用基于時間或者基于元組的連接查詢語義，沒有

2、考慮關(guān)系型數(shù)據(jù)流各種復(fù)雜的窗口連接語義和多數(shù)據(jù)流的同步問題;在處理數(shù)據(jù)流與磁盤存貯表的連接查詢時直接將磁盤存貯表轉(zhuǎn)化為流表的形式，沒有考慮兩者之間連接語義和內(nèi)存開銷。關(guān)系型數(shù)據(jù)庫作為一類重要數(shù)據(jù)來源，在數(shù)據(jù)流和復(fù)雜事件處理中增強對事務(wù)數(shù)據(jù)流的處理是很有必要的。
　　 本文主要針對數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理中的關(guān)系型數(shù)據(jù)流處理進(jìn)行了擴展，使得數(shù)據(jù)能夠?qū)崟r快速處理的同時也保持其事務(wù)特性。主要的研究工作如下:
　　 (1)提

3、出了事務(wù)數(shù)據(jù)流的單調(diào)性理論，該理論使得事務(wù)數(shù)據(jù)流的單調(diào)查詢輸出在處理相同時間戳的元組時與元組順序無關(guān)，保證了事務(wù)數(shù)據(jù)流查詢計算的ACID性質(zhì)。為實現(xiàn)事務(wù)數(shù)據(jù)流的單調(diào)查詢，本文提出了延遲計算策略和基于主存數(shù)據(jù)庫的查詢執(zhí)行。實驗說明基于主存數(shù)據(jù)庫的查詢執(zhí)行有效地解決了窗口的分組驅(qū)動及事務(wù)數(shù)據(jù)流的共享計算，驗證了事務(wù)數(shù)據(jù)流的單調(diào)性理論。
　　 (2)針對多事務(wù)數(shù)據(jù)流的連接計算問題，提出了滑動窗口標(biāo)識匹配的連接語義模型。數(shù)據(jù)流的基本連接

4、語義模型會導(dǎo)致內(nèi)存溢出，而基于時間和基于元組的滑動窗口連接模型無法處理各種不同類型窗口之間的連接查詢。本文通過滑動窗口標(biāo)識屏蔽各種滑動窗口間的差異，在各種不同的滑動窗口之間進(jìn)行連接查詢。為實現(xiàn)滑動窗口標(biāo)識匹配，本文提出了滑動窗口的子窗口存儲結(jié)構(gòu)及該存儲結(jié)構(gòu)下的窗口維護(hù)和連接計算算法，并通過優(yōu)化子窗口存儲結(jié)構(gòu)來提高連接計算速率。實驗驗證了該語義模型可屏蔽各種滑動窗口間的差異，解決多事務(wù)數(shù)據(jù)流的同步和連接計算問題。
　　 (3)對數(shù)

5、據(jù)流和磁盤存貯表的連接計算算法進(jìn)行了改進(jìn)。通過對經(jīng)典算法MESHJOIN算法的分析，發(fā)現(xiàn)MESH JOIN算法每次連接計算后都替換存貯表放在內(nèi)存中的整個數(shù)據(jù)塊，因此產(chǎn)生大量的磁盤I/O。為減少磁盤I/O，本文提出將存貯表在內(nèi)存中的數(shù)據(jù)塊劃分為若干邏輯分區(qū)，每次連接計算后僅替換其中的一個邏輯分區(qū)。實驗證明改進(jìn)算法降低了每個滑動窗口計算時的I/O代價，提高了每個滑動窗口的計算速率。
　　 (4)對事務(wù)數(shù)據(jù)流與多個存貯表的連接計算，提

6、出將多個存貯表之間的查詢定義為實化視圖后再與事務(wù)數(shù)據(jù)流進(jìn)行連接計算。本文對實化視圖的增量維護(hù)算法進(jìn)行了改進(jìn)。對實化外連接視圖的增量計算提出了基于連接析取范式的輔助增量計算算法，實驗證明該算法保證了增量計算的正確性也克服了外連接視圖定義的約束條件。對實化連接視圖的增量計算提出了數(shù)據(jù)源上的延遲補償算法，實驗證明該算法避免了全局時間戳和系統(tǒng)靜止時刻的補償要求。
　　 數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理已廣泛應(yīng)用于物聯(lián)網(wǎng)、云計算等環(huán)境。本文的