基于Hbase的OLAP多維數(shù)據(jù)聚集計算.pdf

1、OLAP（On-LineAnalyticalProcessing，聯(lián)機分析處理）是隨著數(shù)據(jù)倉庫技術(shù)出現(xiàn)的一種數(shù)據(jù)分析處理技術(shù)，它允許用戶快速地從不同的角度和層次分析大量多維數(shù)據(jù)，主要用于決策支持。隨著應(yīng)用的發(fā)展，OLAP要處理的數(shù)據(jù)規(guī)模越來越大，已發(fā)展到TB級和PB級，數(shù)據(jù)的維數(shù)也已過百。在這種情況下，作為OLAP的傳統(tǒng)存儲結(jié)構(gòu)，關(guān)系數(shù)據(jù)庫和多維數(shù)據(jù)庫都從本質(zhì)上制約著OLAP的發(fā)展。因為關(guān)系數(shù)據(jù)庫在查詢時需要掃描整行數(shù)據(jù)，查詢效率較低;

2、多維數(shù)據(jù)庫雖然能快速響應(yīng)查詢，但其更新代價太高、靈活性低且不支持大規(guī)模數(shù)據(jù)存儲。為解決此問題，本文給出了基于列數(shù)據(jù)庫HBase的OLAP多維數(shù)據(jù)存儲技術(shù)和基于MapReduce的基本聚集計算方法。
　　 首先，本文在對OLAP和列存儲的研究基礎(chǔ)上，提出了一種新穎的將列存儲結(jié)構(gòu)應(yīng)用于OLAP的思想，指出選擇HBase用于OLAP的優(yōu)勢。然后對HBase的數(shù)據(jù)模型、體系結(jié)構(gòu)等關(guān)鍵技術(shù)進行了分析，將HBase與OLAP的多維數(shù)據(jù)模型結(jié)

3、合，給出了OLAP多維數(shù)據(jù)在HBase上的存儲方法和數(shù)據(jù)加載算法，具有較好的可擴展性，并給出了HBase存儲的優(yōu)化策略;對MapReduce編程模型的工作機制、使用方法進行了分析，給出了基于MapReduce的5種基本聚集計算算法，并給出了聚集計算性能的優(yōu)化策略。實驗結(jié)果顯示，本文的數(shù)據(jù)加載和聚集計算算法的速度都要明顯好于關(guān)系數(shù)據(jù)庫，并具有良好的可擴展性，驗證了本文采用HBase和MapReduce來存儲和計算OLAP多維數(shù)據(jù)的有效性和