數(shù)據(jù)立方體生成技術(shù)研究.pdf

1、隨著企業(yè)聯(lián)機事務(wù)處理系統(tǒng)的建立、運行和發(fā)展，業(yè)務(wù)數(shù)據(jù)大量積累，數(shù)據(jù)源分散異構(gòu)，人們發(fā)現(xiàn)僅依賴聯(lián)機事務(wù)處理系統(tǒng)已經(jīng)不足以獲得市場競爭的優(yōu)勢，數(shù)據(jù)倉庫的思想、技術(shù)和產(chǎn)品開始形成并迅速發(fā)展，為科學(xué)決策提供了良好的技術(shù)解決方案。 數(shù)據(jù)立方體是數(shù)據(jù)倉庫中多維數(shù)據(jù)模型的核心，業(yè)界對多維數(shù)據(jù)模型以及數(shù)據(jù)立方體的生成和維護己經(jīng)做了大量的研究工作。物化視圖的選擇和視圖的生成算法是立方體生成中的兩個重點。 數(shù)據(jù)立方體生成技術(shù)的研究在如何減少

2、其存儲代價、查詢時間和維護(更新)時間上，以及如何在這幾者之間達到較佳的平衡還沒有找到很好的算法。 針對上述問題，在全面系統(tǒng)學(xué)習(xí)和總結(jié)了國內(nèi)外立方體生成技術(shù)的最新成果的基礎(chǔ)上，本論文主要做了以下工作： 1)通過把數(shù)據(jù)立方體中的維分為劃分維和非劃分維，定義了一個等價關(guān)系，使得具有相同劃分維的視圖構(gòu)成了一個等價類。把等價類組織成主流水線，等價類中的視圖組織成次流水線，給出了兩層流水線數(shù)據(jù)立方體串行算法，可以充分的利用物理內(nèi)存

3、，大大減少讀原始數(shù)據(jù)的次數(shù)和處理機之間的通訊開銷，縮短了計算時間。 2)Cube算子的計算在OLAP應(yīng)用中起著極為重要的作用。本論文分析了在高維Cube算子計算中傳統(tǒng)流水線方法的不足之處，提出了通過有選擇地實例化Cube中的部分節(jié)點以提高0LAP性能的解決方案，并給出了一個獲取需要實例化節(jié)點的算法。 3)立方體生成過程中，總受到系統(tǒng)資源的限制，本論文通過采用一種關(guān)系和多維數(shù)組混合存儲結(jié)構(gòu)來存儲數(shù)據(jù)立方體，它結(jié)合了流水線聚