基于MapReduce的分布式多維數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)放置與查詢的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用和計(jì)算機(jī)技術(shù)擴(kuò)展到社會(huì)生活的各個(gè)方面，數(shù)據(jù)量呈現(xiàn)出爆炸式的增長(zhǎng)。今天，存儲(chǔ)和處理大規(guī)模數(shù)據(jù)和超大規(guī)模數(shù)據(jù)已經(jīng)成為企業(yè)面臨的全新挑戰(zhàn)。為此，行業(yè)內(nèi)提出了多種解決方案來(lái)滿足海量數(shù)據(jù)處理的要求。云計(jì)算是目前比較流行的一種，它的基本思想是將海量數(shù)據(jù)的處理和分析工作從部署在并行數(shù)據(jù)庫(kù)上的高端服務(wù)器轉(zhuǎn)移到更廉價(jià)的無(wú)共享體系結(jié)構(gòu)中的低端服務(wù)器集群上。隨著云計(jì)算技術(shù)的日益發(fā)展，越來(lái)越多的應(yīng)用程序?qū)⒈晦D(zhuǎn)移到云端，數(shù)據(jù)庫(kù)系統(tǒng)也不例外。但如果將

2、數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，數(shù)據(jù)庫(kù)系統(tǒng)所需的ACID（原子性、一致性、隔離性、持久性）四個(gè)特性可能導(dǎo)致系統(tǒng)性能不佳，特別是連接操作。
　　為了解決這些問(wèn)題，本文設(shè)計(jì)了集成MapReduce和數(shù)據(jù)庫(kù)的分布式多維數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)DMDWH(Distributed Multi-Dimensional Data Warehouse)，其中包括五個(gè)組成部分:客戶端、元數(shù)據(jù)庫(kù)、查詢引擎、數(shù)據(jù)加載器和Hadoop擴(kuò)展集群。在數(shù)據(jù)放置方面，提出了三種高效的存

3、儲(chǔ)策略:表的全復(fù)制、獨(dú)立水平劃分和聯(lián)合水平劃分策略，盡可能把相關(guān)數(shù)據(jù)存儲(chǔ)在一個(gè)節(jié)點(diǎn)上，大大增加了在本地執(zhí)行連接的機(jī)會(huì)，避免了跨節(jié)點(diǎn)的網(wǎng)絡(luò)通信開銷和數(shù)據(jù)傳輸代價(jià)。在查詢優(yōu)化方面，添加了編譯器、優(yōu)化器、生成器和執(zhí)行器形成了一套完整的查詢引擎，并在生成器中添加了基于代價(jià)的優(yōu)化，產(chǎn)生最優(yōu)的執(zhí)行計(jì)劃。最后對(duì)Hadoop的InputFormat和OutputFormat數(shù)據(jù)接口進(jìn)行了擴(kuò)展設(shè)計(jì)，實(shí)現(xiàn)真正意義上的并行地從RDBMS中獲取輸入數(shù)據(jù)和輸出數(shù)