數(shù)據(jù)倉庫中基于訪問頻率的動態(tài)物化視圖的研究.pdf

1、數(shù)據(jù)倉庫的在線分析處理(OLAP，On-LineAnalyticalProcessing)和在線數(shù)據(jù)挖掘(OLDM，On-LineAnalyticalMining)通常要對大量的數(shù)據(jù)進行運算，以精簡的結(jié)果來回答用戶的查詢。數(shù)據(jù)倉庫系統(tǒng)的這一特點使得物化視圖技術(shù)在數(shù)據(jù)倉庫中尤為重要。物化視圖是經(jīng)過數(shù)據(jù)預(yù)處理而生成的表，這些表物理地存儲在數(shù)據(jù)倉庫中，通過對其簡單運算或簡單查找回答用戶查詢，從而能夠在很大程度上提高數(shù)據(jù)倉庫的查詢響應(yīng)速度。由于

2、物化視圖占用存儲空間、需要進行更新維護，所以物化所有的查詢對應(yīng)的視圖是不現(xiàn)實的，必須考慮選出哪些視圖進行物化，這就是物化視圖選擇問題(MVS，MaterializedViewsSelection)。 盡管對于MVS問題已經(jīng)有大量的研究，然而現(xiàn)有研究還達不到工業(yè)中所要求的穩(wěn)定性、健壯性，數(shù)據(jù)倉庫的商業(yè)產(chǎn)品對物化視圖自動選擇支持不夠理想?，F(xiàn)有支持物化視圖自動選擇的數(shù)據(jù)倉庫產(chǎn)品采用的是靜態(tài)物化視圖選擇方案，這種方案違背了OLAP和決策

3、支持系統(tǒng)(DSS，DecisionSupportSystem)的動態(tài)本質(zhì)。而數(shù)據(jù)倉庫未來的發(fā)展對物化視圖選擇的效率、易用性、有效性和自適應(yīng)性提出了更高的要求。 本文提出了一種基于視圖訪問頻率的動態(tài)物化視圖方案，該方案能夠克服靜態(tài)物化視圖選擇方案的缺點，它具有自適應(yīng)、高效、易操作的特點，能解決大規(guī)模的MVS問題。 方案根據(jù)視圖不同的訪問需求特征，在不同階段、以不同的方式物化視圖，從而降低了整個MVS問題的復(fù)雜度，提高了給定

4、存儲空間的物化視圖的有效性。系統(tǒng)調(diào)用多項式時間的改進的貪心算法，自動選出初始物化視圖，填充部分物化視圖存儲空間，通過對MVS本階段的子問題規(guī)模進行控制，提高本階段的執(zhí)行效率。方案認為視圖的訪問頻率反映了用戶的查詢趨勢，因此構(gòu)造了以視圖訪問頻率為主要因素的收益模型，并以此模型計算的收益值作為物化視圖的調(diào)整標準，對物化視圖集動態(tài)物化和調(diào)整。這樣物化視圖集能夠隨著用戶查詢趨勢的改變而改變，具有自適應(yīng)性。方案把物化視圖分為兩種：永久物化視圖和臨

5、時物化視圖，只有臨時物化視圖才可以被調(diào)整，從而避免了具有較高穩(wěn)定訪問頻率的物化視圖被刪除。物化視圖預(yù)警線(PWL，PriorWarningLine)的引入，可以提前發(fā)現(xiàn)物化視圖存儲空間即將被填滿的狀態(tài)，提前進行物化視圖調(diào)整前的準備，從而提高系統(tǒng)響應(yīng)查詢的效率。本文提出了動態(tài)物化選擇及調(diào)整的核心算法，采用TPC-H基準數(shù)據(jù)模式、用1GB的數(shù)據(jù)構(gòu)造和填充了Oracle數(shù)據(jù)倉庫，以此為基礎(chǔ)進行實驗查詢和分析對比，實驗驗證了收益模型和動態(tài)物化調(diào)