基于MapReduce架構(gòu)的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵技術(shù)研究.pdf

1、隨著數(shù)字技術(shù)和計(jì)算機(jī)信息化的普及和發(fā)展，大多數(shù)企業(yè)都采用了計(jì)算機(jī)進(jìn)行管理和運(yùn)營(yíng)。這些計(jì)算機(jī)系統(tǒng)通常都具有強(qiáng)大的收集、存儲(chǔ)和處理數(shù)據(jù)的能力。生產(chǎn)監(jiān)控?cái)?shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計(jì)數(shù)據(jù)、財(cái)經(jīng)數(shù)據(jù)和海洋數(shù)據(jù)等，這些日積月累的數(shù)據(jù)形成了一個(gè)巨大的“寶藏”。隨著市場(chǎng)競(jìng)爭(zhēng)的加劇和信息社會(huì)需求的發(fā)展，從大量數(shù)據(jù)中挖掘規(guī)律性知識(shí)，指導(dǎo)制定生產(chǎn)和營(yíng)銷策略，就顯得越來(lái)越重要。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正是為此提供解決方案而產(chǎn)生的，也是目前學(xué)術(shù)界和工業(yè)界研究開(kāi)發(fā)的熱點(diǎn)問(wèn)題之一。

2、
　　隨著企業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的熟悉，數(shù)據(jù)倉(cāng)庫(kù)支持預(yù)測(cè)分析的能力越來(lái)越好地被用來(lái)驅(qū)動(dòng)商業(yè)決策。然而傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)是周期性更新的，決策所用的信息和數(shù)據(jù)并沒(méi)有包括最新的生產(chǎn)數(shù)據(jù)和信息，基于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的戰(zhàn)略決策在時(shí)間的實(shí)時(shí)性上不能滿足要求。隨著業(yè)務(wù)節(jié)奏的加快，需要分析的實(shí)時(shí)數(shù)據(jù)信息的數(shù)量呈爆炸性增長(zhǎng)。數(shù)據(jù)倉(cāng)庫(kù)必須有能力支持快速的業(yè)務(wù)分析，能夠?qū)⒆钚滦畔⒈M快反映給決策者，使決策者對(duì)瞬息萬(wàn)變的商業(yè)形勢(shì)做出快速的反應(yīng)。因此，實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)隨之應(yīng)運(yùn)

3、而生。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)有很大的不同，它既要為商業(yè)決策提供實(shí)時(shí)的數(shù)據(jù)保證，又要提供更快速的查詢分析。為此，本文針對(duì)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中的實(shí)時(shí)體系結(jié)構(gòu)建模、更新與查詢調(diào)度、并行數(shù)據(jù)倉(cāng)庫(kù)查詢、并行數(shù)據(jù)立方構(gòu)建等關(guān)鍵問(wèn)題進(jìn)行了研究。主要工作包含以下幾點(diǎn):
　　(1)設(shè)計(jì)了實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的總體框架結(jié)構(gòu)，并針對(duì)靈活可變卻又十分重要的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)區(qū)的設(shè)計(jì)方法進(jìn)行了研究，包括ODS分區(qū)、雙鏡像交替分區(qū)、數(shù)據(jù)倉(cāng)庫(kù)副本分區(qū)和多級(jí)緩存分區(qū)機(jī)制等。

4、最后將幾種實(shí)時(shí)數(shù)據(jù)存儲(chǔ)區(qū)設(shè)計(jì)方法進(jìn)行了對(duì)比，分析了各種方法適用的環(huán)境。
　　(2)提出一種實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中基于優(yōu)先級(jí)的更新查詢平衡調(diào)度算法PBBS，詳細(xì)闡述了PBBS算法的系統(tǒng)結(jié)構(gòu)和算法思想。PBBS算法綜合考慮了系統(tǒng)中更新任務(wù)的優(yōu)先級(jí)、用戶查詢?nèi)蝿?wù)的優(yōu)先程度、任務(wù)隊(duì)列的實(shí)時(shí)執(zhí)行狀況、系統(tǒng)資源的使用現(xiàn)況，來(lái)進(jìn)行任務(wù)的并行調(diào)度。PBBS算法不但能夠根據(jù)用戶需求調(diào)整更新與查詢的資源分配，也能夠合理利用系統(tǒng)資源，保證優(yōu)先級(jí)較高的任務(wù)優(yōu)先被

5、調(diào)度執(zhí)行。不僅減少了重要查詢的系統(tǒng)響應(yīng)時(shí)間，而且提高了重要數(shù)據(jù)的數(shù)據(jù)新鮮度。
　　(3)提出一種實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中的支持QoS的更新和查詢調(diào)度算法。算法首先提出了實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中與查詢相關(guān)的一些用戶交互式QoS參數(shù)，然后根據(jù)查詢的QoS參數(shù)要求來(lái)進(jìn)行更新任務(wù)和查詢?nèi)蝿?wù)的實(shí)時(shí)調(diào)度。QoS算法能夠根據(jù)用戶的具體QoS查詢需求，合理地調(diào)整任務(wù)的執(zhí)行順序，有效地使用系統(tǒng)資源，為用戶查詢提供更快速的響應(yīng)和更高的數(shù)據(jù)實(shí)時(shí)性。
　　(4)設(shè)計(jì)了

6、基于MapReduce框架的關(guān)系型數(shù)據(jù)的并行運(yùn)算操作，對(duì)傳統(tǒng)的查詢、投影、連接、除、聚集等關(guān)系運(yùn)算基于MapReduce框架進(jìn)行了設(shè)計(jì)并實(shí)現(xiàn);并提出一種基于分塊結(jié)構(gòu)的分布式關(guān)系數(shù)據(jù)庫(kù)ChunkDB，詳細(xì)設(shè)計(jì)了ChunkDB的整體架構(gòu)、數(shù)據(jù)分塊方式、數(shù)據(jù)存放結(jié)構(gòu)、子塊分布策略、元數(shù)據(jù)信息、容錯(cuò)性和可擴(kuò)展性等方面;最后設(shè)計(jì)了基于ChunkDB數(shù)據(jù)庫(kù)的MapReduce計(jì)算方法，對(duì)MapReduce框架進(jìn)行了擴(kuò)展，使之與ChunkDB很好地兼

7、容，方便高效地進(jìn)行數(shù)據(jù)讀取。
　　(5)提出一種基于MapReduce框架的并行Dwarf數(shù)據(jù)立方構(gòu)建算法。算法首先對(duì)傳統(tǒng)的單Dwarf立方進(jìn)行等價(jià)劃分，將其分割為多個(gè)獨(dú)立的子Dwarf立方;其次算法采用MapReduce架構(gòu)，對(duì)Dwarf立方進(jìn)行并行地構(gòu)建、查詢和更新。并行Dwarf算法首先能夠提供高效的數(shù)據(jù)立方的建立，其次針對(duì)MapReduce機(jī)制無(wú)索引的順序掃描機(jī)制，Dwarf立方的自索引機(jī)制提供了高效的查詢;然后并行Dwa

8、rf克服了傳統(tǒng)Dwarf較低的增量更新性能，為Dwarf的實(shí)際應(yīng)用提供了條件;并且并行Dwarf具有良好的可擴(kuò)展性，隨著數(shù)據(jù)量的增加，可以通過(guò)動(dòng)態(tài)增加結(jié)點(diǎn)的方法，有效地提高Dwarf立方的性能。
　　(6)設(shè)計(jì)并實(shí)現(xiàn)了MR-RTDWH原型系統(tǒng)。通過(guò)將本文所提出的實(shí)時(shí)數(shù)據(jù)體系結(jié)構(gòu)、更新與查詢調(diào)度、基于MapReudce的關(guān)系運(yùn)算、MapReduce架構(gòu)與關(guān)系數(shù)據(jù)庫(kù)的融合、實(shí)時(shí)數(shù)據(jù)立方的并行構(gòu)建等理論和方法在MR-RTDWH系統(tǒng)中的實(shí)