基于Hadoop的多維數(shù)據(jù)倉庫數(shù)據(jù)劃分與查詢技術(shù)研究與實現(xiàn).pdf

1、隨著近年來數(shù)據(jù)搜集手段的長足發(fā)展，很多企業(yè)所擁有的生產(chǎn)與管理的數(shù)據(jù)量已經(jīng)非常巨大，如何存儲和檢索這些數(shù)據(jù)指導(dǎo)企業(yè)下一步戰(zhàn)略變得越來越重要。伴隨著Google提出著名的MapReduce計算模型，將關(guān)系性數(shù)據(jù)倉庫與該模型整合來處理海量數(shù)據(jù)上已經(jīng)成為解決該問題的有效方案之一。但是當(dāng)前實現(xiàn)的MapReduce模型下的數(shù)據(jù)倉庫在進(jìn)行分布式存儲時并沒有考慮到數(shù)據(jù)間的相關(guān)性。如果對數(shù)據(jù)進(jìn)行相關(guān)存儲會在很大程度提高分布式數(shù)據(jù)倉庫上的檢索性能。

2、　　本文針對這個問題，設(shè)計了數(shù)據(jù)倉庫中事實表進(jìn)行多維衍生水平劃分的方案;并將其應(yīng)該到本文設(shè)計的MDChunkDB多維分布數(shù)數(shù)據(jù)倉庫中;另外還擴(kuò)展了Hadoop開源框架中的InputFormat數(shù)據(jù)接口，使在MDChunkDB數(shù)據(jù)倉庫上運行Hadoop的檢索作業(yè)成為現(xiàn)實。首先，事實表的多維衍生水平劃分方案是將事實表按照指定的參照維的取值不同進(jìn)行水平分片，劃分后的事實表分片中的各個數(shù)據(jù)元組的參照維的取值上具有相關(guān)性。這種分片方減少了檢索時啟

3、動Map任務(wù)的數(shù)據(jù)節(jié)點數(shù)量，只有在與SQL查詢相關(guān)的數(shù)據(jù)分片上啟動Map任務(wù)即可，可以在檢索時大大提高檢索效率。其次，MDChunkDB數(shù)據(jù)倉庫是一個可以建立部署在廉價的超大PC集群上的分布式數(shù)據(jù)倉庫。它通過整合MapReduce計算框架和傳統(tǒng)的關(guān)系數(shù)據(jù)庫技術(shù)，將其兩者的優(yōu)勢結(jié)合在一起。在MDChunkDB數(shù)據(jù)倉庫中，存儲數(shù)據(jù)的載體是集群中數(shù)據(jù)節(jié)點上的集中式數(shù)據(jù)庫，而對該數(shù)據(jù)倉庫進(jìn)行并行檢索的操作是由MapReduce計算模型來實現(xiàn)。文

4、中詳細(xì)的闡述了MDChunkDB數(shù)據(jù)倉庫的整體架構(gòu)及設(shè)計中的各個要點:元數(shù)據(jù)信息、存儲策略、容錯性與擴(kuò)展性等等。最后，為了實現(xiàn)MapReduce計算模型與MDChunkDB數(shù)據(jù)倉庫的融合，擴(kuò)展了Hadoop的InputFormat接口，使MDChunkDB數(shù)據(jù)倉庫上可以運行Hadoop的查詢檢索任務(wù)。通過實驗測試了MDChunkDB多維分布式數(shù)據(jù)倉庫的加載性能和檢索性能。MDChunkDB數(shù)據(jù)倉庫的加載性能不及HadoopDB，但是大數(shù)