基于MapReduce的聯(lián)機(jī)分析服務(wù)器查詢處理研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和信息技術(shù)的廣泛應(yīng)用,由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來越龐大,而聯(lián)機(jī)分析處理作為存儲和分析數(shù)據(jù)的主要技術(shù),需要存儲與處理的數(shù)據(jù)量也相應(yīng)的成倍增長,同時要面對巨大的計算量。由 Google公司提出的MapReduce是一種能夠在大型計算機(jī)集群上并行處理海量數(shù)據(jù)的框架模型,但是該模型在處理結(jié)構(gòu)化數(shù)據(jù)方面有著先天的不足。因此,研究 MapReduce與數(shù)據(jù)庫相結(jié)合的聯(lián)機(jī)分析服務(wù)器混合系統(tǒng)有著重要的意義。
　　從系統(tǒng)需求、設(shè)計原

2、則和設(shè)計目標(biāo)三個方面對基于 MapReduce與數(shù)據(jù)庫的聯(lián)機(jī)分析服務(wù)器查詢處理系統(tǒng)進(jìn)行了分析;設(shè)計了混合系統(tǒng)的總體架構(gòu),從層次結(jié)構(gòu)和系統(tǒng)模塊兩個方面對系統(tǒng)架構(gòu)進(jìn)行了介紹,層次結(jié)構(gòu)包括展現(xiàn)層、轉(zhuǎn)換層、計算/調(diào)度層和存儲層,系統(tǒng)模塊包括分布式數(shù)據(jù)庫存儲優(yōu)化模塊、查詢優(yōu)化模塊等,描述了系統(tǒng)的主要工作流程;擴(kuò)展了多維查詢語言,詳細(xì)說明了多維查詢語言的語法。
　　在對聯(lián)機(jī)分析服務(wù)器的優(yōu)化技術(shù)方面,給出了存儲和查詢優(yōu)化技術(shù)的實現(xiàn)方案。對于存儲

3、優(yōu)化,定義了星型模式中事實表與維表的劃分存儲方式,并描述了事實表與維表的連接優(yōu)化方案;對于查詢優(yōu)化,給出了改進(jìn)后的QCTree的構(gòu)造和查詢算法,及其在 MapReduce上的實現(xiàn);分析了存儲優(yōu)化對查詢效率的影響。
　　最后通過實驗表明基于 MapReduce的聯(lián)機(jī)分析服務(wù)器查詢處理系統(tǒng)在事實表與維表的連接性能上與基于 HDFS(Hadoop Distributed File System)的Hadoop系統(tǒng)相比有一定的提高,在查詢