支持高效杳詢的數據立方構建技術研究.pdf

1、隨著數字技術和計算機信息化的普及和發(fā)展,許多單位和部門都采用了計算機進行管理和運營。這些計算機系統通常都具有強大的收集、存儲和處理數據的能力。生產監(jiān)控數據、醫(yī)療數據、人口統計數據、財經數據和海洋數據等,這些日積月累的數據形成了一個巨大的“寶藏”,如何有效地管理這些數據,從中挖掘規(guī)律性知識,指導制定生產和營銷策略,就顯得越來越重要。數據倉庫技術正是為此提供解決方案而產生的,也是目前學術界和工業(yè)界研究開發(fā)的熱點問題之一。隨著網絡時代的到來,

2、網絡技術的飛速發(fā)展,已經而且正在繼續(xù)改變著人們的生活及思維方式。每個人、每個企業(yè)可以在充分利用全世界信息資源的前提下做出自己的決策,人們不僅僅是在普通地查詢和訪問數據,更重要的是從數據中獲取信息和知識,進而支持科學的決策。數據倉庫及其之上的OLAP分析技術和數據挖掘技術提供了獲取信息和知識的手段。
　　 數據倉庫和OLAP技術都是基于多維模型的。多維數據模型是面向分析應用而提出來的一種直觀的概念模型,可以直接地表達分析目標。該模

3、型將數據看作數據立方體形式。而建立數據倉庫進行OLAP處理的最終目的都是服務于決策分析的,需要的是對用戶查詢的快速而準確的響應,這就要求針對數據立方的查詢結果要準確、響應要快速,因此數據立方的構建問題就變得極其重要。因此本文研究數據立方的構建等相關技術,具體包括以下幾個方面的內容。
　　 (1)針對數據倉庫的物化視圖選擇問題,提出了一種基于查詢模式的動態(tài)物化視圖選擇算法。物化視圖的選擇和調整不但考慮了視圖物化所需的空間限制,還參

4、照了用戶以往的查詢模式來調整其計算參數,每個視圖都被賦予了一個權重,視圖被查詢的次數越多,其權重越大,則該視圖被物化的可能性就越大。與傳統的物化視圖選擇算法相比,基于查詢模式的動態(tài)物化視圖選擇算法的查詢命中率大大提高。
　　 (2)針對高維低基數的數據立方的計算和查詢問題,提出了一種基于壓縮位圖的索引結構,以及兩個相應的高維數據集上數據立方計算和查詢的算法。壓縮位圖索引的位“與”運算速度非?？?引入“起始有效指針”和“結束有效指

5、針”大大降低了位“與”運算的次數和內存消耗。與Frag-Cubing算法相比,壓縮位圖索引算法計算數據立方的時間開銷節(jié)省了30％,存儲空間節(jié)省了25％以上。
　　 (3)針對消除前綴冗余和后綴冗余的語義壓縮數據立方結構Dwarf的存儲問題,提出了兩個基于頁面分區(qū)策略的加速查詢的聚簇算法。遞歸聚簇算法考慮了點查詢對Dwarf節(jié)點進行深度優(yōu)先順序查詢的特點進行聚簇,層次聚簇算法考慮了范圍查詢對Dwarf節(jié)點進行廣度優(yōu)先順序查詢的特點

6、進行聚簇。采用邏輯聚簇的機制來保證聚簇特性。與Dwarf原來的聚簇相比,遞歸聚簇算法更適合于點查詢,層次聚簇算法適用于范圍查詢,查詢時間和I/O時間的性能都有很大提高。
　　 (4)針對數據立方中對度量值進行實時動態(tài)泛化統計分析的查詢需求,提出了一種適合動態(tài)泛化統計分析的數據立方模型。數據泛化是通過將相對較低層次的值(如屬性age的數值)用較高層次的概念(如青年、中年和老年)置換來得到匯總數據的過程。新模型通過對傳統數據立方模型

7、的維和事實表的定義進行擴展,解決了傳統方法對動態(tài)泛化統計分析實現的不靈活性和無法對動態(tài)泛化統計分析下的數據立方進行預先物化而造成查詢性能過低等缺點。針對動態(tài)泛化分析查詢,新模型在查詢時間、用戶滿意度和操作靈活性等方面都優(yōu)于傳統模型。
　　 (5)最后根據對Dwarf上點查詢和范圍查詢的特點的分析和對Windows磁盤管理子系統的分析,提出了一個加速數據立方查詢的自定義緩沖機制,在基于自定義緩沖區(qū)的查詢系統中,在聚簇Dwarf的基

8、礎上對維排序屬性進行了重新選擇,將一部分經常被查詢到的Dwarf節(jié)點放在自定義的緩沖區(qū)中以減少I/O次數加快查詢速度,自定義緩沖機制對查詢性能的提升十分顯著。
　　 總之,本文研究了數據倉庫中關于數據立方構建的相關問題,提出了基于物化視圖策略、索引策略、語義壓縮策略和緩沖策略的新的數據立方構建算法,設計了一種適合動態(tài)泛化統計分析的數據立方模型,有效地解決了一系列數據立方構建和查詢的相關問題,理論分析和大量的實驗結果證明了這些算法