基于數(shù)據(jù)倉庫與Hadoop的移動廣告平臺設計與實現(xiàn).pdf

1、隨著移動互聯(lián)網(wǎng)的迅速發(fā)展，應用軟件采集數(shù)據(jù)的途徑更加廣泛，需要處理的數(shù)據(jù)規(guī)模也達到了前所未有的級別，這給傳統(tǒng)數(shù)據(jù)倉庫帶來了很大挑戰(zhàn)，要想充分挖掘這些海量數(shù)據(jù)，僅靠傳統(tǒng)數(shù)據(jù)倉庫的運算處理能力是達不到的。分布式處理框架Hadoop的誕生突破了這一瓶頸，通過框架內(nèi) HDFS和 MapReduce兩大部分提供的數(shù)據(jù)存儲及計算能力，充分利用集群優(yōu)勢，對海量數(shù)據(jù)進行高效快速的并行處理，彌補了傳統(tǒng)數(shù)據(jù)倉庫在海量數(shù)據(jù)存儲和運算方面的不足。
　　本

2、文在分析了傳統(tǒng)數(shù)據(jù)倉庫方案和Hadoop方案在進行數(shù)據(jù)處理時的優(yōu)缺點之后，提出了讓兩者相互協(xié)作的解決方案，并基于此方案構建了移動廣告平臺的數(shù)據(jù)分析系統(tǒng)。一方面采用傳統(tǒng)數(shù)據(jù)倉庫 PostgreSQL處理數(shù)據(jù)量不大且結構化的表數(shù)據(jù)，另一方面用Hadoop集群中的數(shù)據(jù)倉庫Hive處理半結構化大數(shù)據(jù)量的Web日志數(shù)據(jù)。整個系統(tǒng)分為了部署環(huán)境、同步數(shù)據(jù)、定制統(tǒng)計分析任務、調(diào)度任務、查詢報表五個功能模塊，分別從數(shù)據(jù)倉庫和Hadoop兩個方面介紹如何

3、設計和實現(xiàn)它們。其中系統(tǒng)主要解決了以下幾個問題：
　?。?）異構數(shù)據(jù)同步問題。利用ETL工具Kettle對多臺服務器上的MySQL庫里的數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換，消除不一致性后，按照一定的業(yè)務邏輯載入到目標數(shù)據(jù)倉庫PostgreSQL。
　　（2）大數(shù)據(jù)量時的數(shù)據(jù)分析效率問題。利用Hive高效的處理系統(tǒng)中的龐大的Web日志數(shù)據(jù)，因為 Hive是構建在 Hadoop之上，它能自動將寫好的Hive任務解析成MapReduce運行

4、，從而利用Hadoop集群并行處理任務，提高了數(shù)據(jù)分析的效率。
　?。?）高效率低成本的進行 PostgreSQL和 Hadoop集群之間數(shù)據(jù)傳輸問題。Sqoop是款開源的數(shù)據(jù)傳輸工具，主要用于關系型數(shù)據(jù)庫與Hadoop之間的數(shù)據(jù)傳輸，專為大數(shù)據(jù)批量傳輸而設計，能夠?qū)Υ髷?shù)據(jù)進行分割形成區(qū)塊，并創(chuàng)建Hadoop任務來并行處理每個區(qū)塊，從而高效的實現(xiàn)PostgreSQL和Hadoop集群之間數(shù)據(jù)的傳輸。
　　（4）數(shù)據(jù)安全性和權

5、限控制問題。系統(tǒng)中除數(shù)據(jù)分析人員外，都不能直接訪問數(shù)據(jù)庫，只能通過網(wǎng)站提供的報表查詢頁面來查詢報表，針對不同的用戶或不同的報表，系統(tǒng)將返回不同的報表查詢結果給用戶，這樣做的好處一來是提高了數(shù)據(jù)庫的安全性，二來控制了用戶查看報表的權限。
　　本文考慮到了現(xiàn)有系統(tǒng)對大數(shù)據(jù)技術的需求，從而引進了Hadoop技術，同時又要保證對系統(tǒng)已有的數(shù)據(jù)倉庫進行重用，故保留了原有的數(shù)據(jù)倉庫系統(tǒng)。設計和實現(xiàn)了兩者相互協(xié)作的移動廣告平臺數(shù)據(jù)分析系統(tǒng)，并在