分布式數(shù)據(jù)倉庫查詢模塊的設計與實現(xiàn).pdf

1、隨著信息化水平的逐漸提高，數(shù)據(jù)的重要性得到了各個行業(yè)特別是互聯(lián)網(wǎng)公司的重視。對數(shù)據(jù)的提取、分析、挖掘為互聯(lián)網(wǎng)企業(yè)決策提供了重要依據(jù)，同時使企業(yè)對市場的細分更為精確，能夠更準確的為客戶定制服務，使企業(yè)與客戶的利益最大化?！皬V告投放”已經(jīng)成為互聯(lián)網(wǎng)行業(yè)重要的吸金與服務方式之一，互聯(lián)網(wǎng)對廣告數(shù)據(jù)的重視程度也達到了空前的高度。目前，由于互聯(lián)網(wǎng)用戶激增，大型搜索網(wǎng)站每日產(chǎn)生的廣告數(shù)據(jù)可以達到100G級甚至T級，在如此海量的數(shù)據(jù)面前要對新舊數(shù)據(jù)的及

2、時查詢與分析，傳統(tǒng)的數(shù)據(jù)庫或數(shù)據(jù)倉庫無法滿足。在此背景下，公司決定開發(fā)分布式數(shù)據(jù)倉庫系統(tǒng)來對當前的迫切需求進行支持。
　　該分布式數(shù)據(jù)倉庫系統(tǒng)使用C++語言開發(fā)，利用分布式系統(tǒng)進行海量數(shù)據(jù)的存儲，設計數(shù)據(jù)分布式存儲結(jié)構(gòu)，利用自動分區(qū)和物化視圖等方法提高查詢效率。根據(jù)不同的功能需求，系統(tǒng)劃分為調(diào)度模塊、元數(shù)據(jù)管理模塊、數(shù)據(jù)導入模塊、查詢模塊和數(shù)據(jù)存儲模塊。調(diào)度模塊實現(xiàn)對各個模塊的調(diào)度及監(jiān)控功能;數(shù)據(jù)導入模塊支持對大數(shù)據(jù)的批量導入及數(shù)

3、據(jù)恢復，同時生成對應的物化視圖以提高查詢效率。元數(shù)據(jù)管理模塊通過對Hadoop子項目Zookeeper系統(tǒng)的封裝，完成對系統(tǒng)數(shù)據(jù)的安全存儲并支持實時查詢。查詢模塊為多種查詢方式提供接口、生成查詢計劃、執(zhí)行查詢過程、返回查詢結(jié)果。數(shù)據(jù)存儲模塊主要負責對海量數(shù)據(jù)進行分布式存儲。本人主要負責查詢模塊的設計與開發(fā):設計查詢模塊的層次架構(gòu)制定查詢副本選擇策略、設計與實現(xiàn)查詢計劃的生成方式、實現(xiàn)各種查詢方式的接口、設計實現(xiàn)查詢模塊的異常處理機制等。