基于數(shù)據(jù)倉庫與Hadoop的移動廣告平臺設(shè)計與實現(xiàn).pdf

1、隨著移動互聯(lián)網(wǎng)的迅速發(fā)展，應(yīng)用軟件采集數(shù)據(jù)的途徑更加廣泛，需要處理的數(shù)據(jù)規(guī)模也達到了前所未有的級別，這給傳統(tǒng)數(shù)據(jù)倉庫帶來了很大挑戰(zhàn)，要想充分挖掘這些海量數(shù)據(jù)，僅靠傳統(tǒng)數(shù)據(jù)倉庫的運算處理能力是達不到的。分布式處理框架Hadoop的誕生突破了這一瓶頸，通過框架內(nèi) HDFS和 MapReduce兩大部分提供的數(shù)據(jù)存儲及計算能力，充分利用集群優(yōu)勢，對海量數(shù)據(jù)進行高效快速的并行處理，彌補了傳統(tǒng)數(shù)據(jù)倉庫在海量數(shù)據(jù)存儲和運算方面的不足。
　　本

2、文在分析了傳統(tǒng)數(shù)據(jù)倉庫方案和Hadoop方案在進行數(shù)據(jù)處理時的優(yōu)缺點之后，提出了讓兩者相互協(xié)作的解決方案，并基于此方案構(gòu)建了移動廣告平臺的數(shù)據(jù)分析系統(tǒng)。一方面采用傳統(tǒng)數(shù)據(jù)倉庫 PostgreSQL處理數(shù)據(jù)量不大且結(jié)構(gòu)化的表數(shù)據(jù)，另一方面用Hadoop集群中的數(shù)據(jù)倉庫Hive處理半結(jié)構(gòu)化大數(shù)據(jù)量的Web日志數(shù)據(jù)。整個系統(tǒng)分為了部署環(huán)境、同步數(shù)據(jù)、定制統(tǒng)計分析任務(wù)、調(diào)度任務(wù)、查詢報表五個功能模塊，分別從數(shù)據(jù)倉庫和Hadoop兩個方面介紹如何

3、設(shè)計和實現(xiàn)它們。其中系統(tǒng)主要解決了以下幾個問題：
　?。?）異構(gòu)數(shù)據(jù)同步問題。利用ETL工具Kettle對多臺服務(wù)器上的MySQL庫里的數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換，消除不一致性后，按照一定的業(yè)務(wù)邏輯載入到目標數(shù)據(jù)倉庫PostgreSQL。
　?。?）大數(shù)據(jù)量時的數(shù)據(jù)分析效率問題。利用Hive高效的處理系統(tǒng)中的龐大的Web日志數(shù)據(jù)，因為 Hive是構(gòu)建在 Hadoop之上，它能自動將寫好的Hive任務(wù)解析成MapReduce運行

4、，從而利用Hadoop集群并行處理任務(wù)，提高了數(shù)據(jù)分析的效率。
　?。?）高效率低成本的進行 PostgreSQL和 Hadoop集群之間數(shù)據(jù)傳輸問題。Sqoop是款開源的數(shù)據(jù)傳輸工具，主要用于關(guān)系型數(shù)據(jù)庫與Hadoop之間的數(shù)據(jù)傳輸，專為大數(shù)據(jù)批量傳輸而設(shè)計，能夠?qū)Υ髷?shù)據(jù)進行分割形成區(qū)塊，并創(chuàng)建Hadoop任務(wù)來并行處理每個區(qū)塊，從而高效的實現(xiàn)PostgreSQL和Hadoop集群之間數(shù)據(jù)的傳輸。
　?。?）數(shù)據(jù)安全性和權(quán)

5、限控制問題。系統(tǒng)中除數(shù)據(jù)分析人員外，都不能直接訪問數(shù)據(jù)庫，只能通過網(wǎng)站提供的報表查詢頁面來查詢報表，針對不同的用戶或不同的報表，系統(tǒng)將返回不同的報表查詢結(jié)果給用戶，這樣做的好處一來是提高了數(shù)據(jù)庫的安全性，二來控制了用戶查看報表的權(quán)限。
　　本文考慮到了現(xiàn)有系統(tǒng)對大數(shù)據(jù)技術(shù)的需求，從而引進了Hadoop技術(shù)，同時又要保證對系統(tǒng)已有的數(shù)據(jù)倉庫進行重用，故保留了原有的數(shù)據(jù)倉庫系統(tǒng)。設(shè)計和實現(xiàn)了兩者相互協(xié)作的移動廣告平臺數(shù)據(jù)分析系統(tǒng)，并在