基于滑動窗口的數據流查詢處理技術的研究與實現.pdf

1、隨著網絡的發(fā)展，許多應用中的數據不再是數據庫中靜態(tài)的數據，而是以一種流的方式在線到達的動態(tài)數據。這樣的數據具有數據無界，數據量大，流速快，并且要求實時處理等特性，這種新型的數據被稱為流數據。對應的，包含流數據的應用被稱為數據流的應用。而這種新型的數據使得傳統(tǒng)的查詢處理方法產生了很多的問題，比如數據的無限性就使得傳統(tǒng)的阻塞處理方法變得無效。針對數據流應用中產生的問題，專家學者們開展了廣泛的研究工作。如同傳統(tǒng)數據庫中存在數據庫管理系統(tǒng)一樣，

2、在研究數據流時需要開發(fā)數據流管理系統(tǒng)，這樣的系統(tǒng)負責對流式數據進行查詢處理。 數據流管理系統(tǒng)中的核心是查詢處理功能模塊。通常情況下，在數據流上基本的查詢處理包括選擇、投影和連接(SPJ)操作。相對于選擇與投影，連接操作更為復雜。由于數據流的無限性和連接操作的阻塞性質，使得在數據流上的連接操作必須要加以限制。因此滑動窗口的概念也就很自然的引入到數據流中，通過對處理的數據加上滑動窗口的限制，變傳統(tǒng)的阻塞操作為流上的非阻塞操作。對流上

3、連接操作的研究也是廣泛的展開，但是當前的研究都是針對于等值連接來開展的，并沒有考慮到非等值連接操作的處理該如何進行。然而在一些實際的應用中非等值連接的查詢處理也是十分重要的。例如在線拍賣的應用中，需要對出價時間與拍賣商品的有效時間進行比較從而檢查系統(tǒng)中注冊的查詢的合法性。因此我們對非等值連接操作也會進行詳細介紹。 另外，由于數據流的特性，通常情況下數據流的查詢處理都是在主存中進行的，其目的是為了避免頻繁的磁盤讀取操作，從而提高了

4、查詢處理的效率。除此之外，如果直接對流數據進行查詢處理無疑效率是很低的，為了能夠進一步的提高效率，我們采用了基于紅黑樹索引的查詢處理方法。紅黑樹易于建立和維護，所以這種數據結構是一種適用于主存的數據結構。通過紅黑樹索引的技術能夠提高查詢處理的效率。這樣在查詢處理過程中將首先對流式數據建立索引，而后利用索引進行高效的查詢處理。 我們開發(fā)了數據流管理原型系統(tǒng)RealStream，在多流多查詢環(huán)境下能夠對流數據進行基本的查詢處理以及優(yōu)