支持高效杳詢的數(shù)據(jù)立方構(gòu)建技術(shù)研究.pdf

1、隨著數(shù)字技術(shù)和計(jì)算機(jī)信息化的普及和發(fā)展,許多單位和部門都采用了計(jì)算機(jī)進(jìn)行管理和運(yùn)營(yíng)。這些計(jì)算機(jī)系統(tǒng)通常都具有強(qiáng)大的收集、存儲(chǔ)和處理數(shù)據(jù)的能力。生產(chǎn)監(jiān)控?cái)?shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計(jì)數(shù)據(jù)、財(cái)經(jīng)數(shù)據(jù)和海洋數(shù)據(jù)等,這些日積月累的數(shù)據(jù)形成了一個(gè)巨大的“寶藏”,如何有效地管理這些數(shù)據(jù),從中挖掘規(guī)律性知識(shí),指導(dǎo)制定生產(chǎn)和營(yíng)銷策略,就顯得越來(lái)越重要。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正是為此提供解決方案而產(chǎn)生的,也是目前學(xué)術(shù)界和工業(yè)界研究開(kāi)發(fā)的熱點(diǎn)問(wèn)題之一。隨著網(wǎng)絡(luò)時(shí)代的到來(lái),

2、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,已經(jīng)而且正在繼續(xù)改變著人們的生活及思維方式。每個(gè)人、每個(gè)企業(yè)可以在充分利用全世界信息資源的前提下做出自己的決策,人們不僅僅是在普通地查詢和訪問(wèn)數(shù)據(jù),更重要的是從數(shù)據(jù)中獲取信息和知識(shí),進(jìn)而支持科學(xué)的決策。數(shù)據(jù)倉(cāng)庫(kù)及其之上的OLAP分析技術(shù)和數(shù)據(jù)挖掘技術(shù)提供了獲取信息和知識(shí)的手段。
　　 數(shù)據(jù)倉(cāng)庫(kù)和OLAP技術(shù)都是基于多維模型的。多維數(shù)據(jù)模型是面向分析應(yīng)用而提出來(lái)的一種直觀的概念模型,可以直接地表達(dá)分析目標(biāo)。該模

3、型將數(shù)據(jù)看作數(shù)據(jù)立方體形式。而建立數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行OLAP處理的最終目的都是服務(wù)于決策分析的,需要的是對(duì)用戶查詢的快速而準(zhǔn)確的響應(yīng),這就要求針對(duì)數(shù)據(jù)立方的查詢結(jié)果要準(zhǔn)確、響應(yīng)要快速,因此數(shù)據(jù)立方的構(gòu)建問(wèn)題就變得極其重要。因此本文研究數(shù)據(jù)立方的構(gòu)建等相關(guān)技術(shù),具體包括以下幾個(gè)方面的內(nèi)容。
　　 (1)針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的物化視圖選擇問(wèn)題,提出了一種基于查詢模式的動(dòng)態(tài)物化視圖選擇算法。物化視圖的選擇和調(diào)整不但考慮了視圖物化所需的空間限制,還參

4、照了用戶以往的查詢模式來(lái)調(diào)整其計(jì)算參數(shù),每個(gè)視圖都被賦予了一個(gè)權(quán)重,視圖被查詢的次數(shù)越多,其權(quán)重越大,則該視圖被物化的可能性就越大。與傳統(tǒng)的物化視圖選擇算法相比,基于查詢模式的動(dòng)態(tài)物化視圖選擇算法的查詢命中率大大提高。
　　 (2)針對(duì)高維低基數(shù)的數(shù)據(jù)立方的計(jì)算和查詢問(wèn)題,提出了一種基于壓縮位圖的索引結(jié)構(gòu),以及兩個(gè)相應(yīng)的高維數(shù)據(jù)集上數(shù)據(jù)立方計(jì)算和查詢的算法。壓縮位圖索引的位“與”運(yùn)算速度非?？?引入“起始有效指針”和“結(jié)束有效指

5、針”大大降低了位“與”運(yùn)算的次數(shù)和內(nèi)存消耗。與Frag-Cubing算法相比,壓縮位圖索引算法計(jì)算數(shù)據(jù)立方的時(shí)間開(kāi)銷節(jié)省了30％,存儲(chǔ)空間節(jié)省了25％以上。
　　 (3)針對(duì)消除前綴冗余和后綴冗余的語(yǔ)義壓縮數(shù)據(jù)立方結(jié)構(gòu)Dwarf的存儲(chǔ)問(wèn)題,提出了兩個(gè)基于頁(yè)面分區(qū)策略的加速查詢的聚簇算法。遞歸聚簇算法考慮了點(diǎn)查詢對(duì)Dwarf節(jié)點(diǎn)進(jìn)行深度優(yōu)先順序查詢的特點(diǎn)進(jìn)行聚簇,層次聚簇算法考慮了范圍查詢對(duì)Dwarf節(jié)點(diǎn)進(jìn)行廣度優(yōu)先順序查詢的特點(diǎn)

6、進(jìn)行聚簇。采用邏輯聚簇的機(jī)制來(lái)保證聚簇特性。與Dwarf原來(lái)的聚簇相比,遞歸聚簇算法更適合于點(diǎn)查詢,層次聚簇算法適用于范圍查詢,查詢時(shí)間和I/O時(shí)間的性能都有很大提高。
　　 (4)針對(duì)數(shù)據(jù)立方中對(duì)度量值進(jìn)行實(shí)時(shí)動(dòng)態(tài)泛化統(tǒng)計(jì)分析的查詢需求,提出了一種適合動(dòng)態(tài)泛化統(tǒng)計(jì)分析的數(shù)據(jù)立方模型。數(shù)據(jù)泛化是通過(guò)將相對(duì)較低層次的值(如屬性age的數(shù)值)用較高層次的概念(如青年、中年和老年)置換來(lái)得到匯總數(shù)據(jù)的過(guò)程。新模型通過(guò)對(duì)傳統(tǒng)數(shù)據(jù)立方模型

7、的維和事實(shí)表的定義進(jìn)行擴(kuò)展,解決了傳統(tǒng)方法對(duì)動(dòng)態(tài)泛化統(tǒng)計(jì)分析實(shí)現(xiàn)的不靈活性和無(wú)法對(duì)動(dòng)態(tài)泛化統(tǒng)計(jì)分析下的數(shù)據(jù)立方進(jìn)行預(yù)先物化而造成查詢性能過(guò)低等缺點(diǎn)。針對(duì)動(dòng)態(tài)泛化分析查詢,新模型在查詢時(shí)間、用戶滿意度和操作靈活性等方面都優(yōu)于傳統(tǒng)模型。
　　 (5)最后根據(jù)對(duì)Dwarf上點(diǎn)查詢和范圍查詢的特點(diǎn)的分析和對(duì)Windows磁盤管理子系統(tǒng)的分析,提出了一個(gè)加速數(shù)據(jù)立方查詢的自定義緩沖機(jī)制,在基于自定義緩沖區(qū)的查詢系統(tǒng)中,在聚簇Dwarf的基

8、礎(chǔ)上對(duì)維排序?qū)傩赃M(jìn)行了重新選擇,將一部分經(jīng)常被查詢到的Dwarf節(jié)點(diǎn)放在自定義的緩沖區(qū)中以減少I/O次數(shù)加快查詢速度,自定義緩沖機(jī)制對(duì)查詢性能的提升十分顯著。
　　 總之,本文研究了數(shù)據(jù)倉(cāng)庫(kù)中關(guān)于數(shù)據(jù)立方構(gòu)建的相關(guān)問(wèn)題,提出了基于物化視圖策略、索引策略、語(yǔ)義壓縮策略和緩沖策略的新的數(shù)據(jù)立方構(gòu)建算法,設(shè)計(jì)了一種適合動(dòng)態(tài)泛化統(tǒng)計(jì)分析的數(shù)據(jù)立方模型,有效地解決了一系列數(shù)據(jù)立方構(gòu)建和查詢的相關(guān)問(wèn)題,理論分析和大量的實(shí)驗(yàn)結(jié)果證明了這些算法