基于MapReduce和編程方式的ETL框架研究與應(yīng)用.pdf

1、隨著計(jì)算機(jī)及互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，許多企業(yè)內(nèi)部逐步實(shí)現(xiàn)了業(yè)務(wù)的計(jì)算機(jī)化管理，積累了大量的歷史業(yè)務(wù)數(shù)據(jù)，而且數(shù)據(jù)量還在快速增長(zhǎng)。越來(lái)越多的企業(yè)使用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行匯總、處理和分析，ETL過(guò)程是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵環(huán)節(jié)。ETL工具能否方便用戶靈活地實(shí)施ETL解決方案直接影響到數(shù)據(jù)倉(cāng)庫(kù)解決方案能否順利實(shí)施，ETL處理的效率直接影響數(shù)據(jù)裝載的效率。針對(duì)該問題背景，本文主要研究工作如下:
　　 (1)分析MapReduce和ETL

2、目前的研究現(xiàn)狀，闡述了本文的研究意義，對(duì)維度數(shù)據(jù)ETL、事實(shí)數(shù)據(jù)ETL、ETL處理模型、漸變維度和MapReduce編程模型分別進(jìn)行了深入分析與研究。
　　 (2)設(shè)計(jì)一個(gè)基于MapReduce和編程方式的ETL框架。首先，對(duì)ETL的整體架構(gòu)進(jìn)行設(shè)計(jì);其次，對(duì)維度數(shù)據(jù)ETL模塊和事實(shí)數(shù)據(jù)ETL模塊進(jìn)行了詳細(xì)設(shè)計(jì);最后，對(duì)維度數(shù)據(jù)的索引結(jié)構(gòu)進(jìn)行了設(shè)計(jì)，優(yōu)化了MapReduce中數(shù)據(jù)塊的分配算法。
　　 (3)對(duì)Hive提供