基于Hadoop的海量數(shù)據(jù)存儲和計算平臺的設(shè)計與實現(xiàn).pdf

1、隨著通信行業(yè)和互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，用戶在上網(wǎng)過程中產(chǎn)生的數(shù)據(jù)量以TB級速度增長，企業(yè)的海量數(shù)據(jù)處理和存儲面臨著嚴峻的挑戰(zhàn)，數(shù)據(jù)的處理能力和存儲能力以成為企業(yè)發(fā)展需要考慮的一個嚴峻的問題，分布式計算和云存儲的應(yīng)用能解決這一問題。Hadoop分布式系統(tǒng)以其隨機訪問、實時讀寫為大數(shù)據(jù)提供了存儲條件。同時，Hadoop分布式系統(tǒng)之所以備受廣大企業(yè)的青睞，是因為其處理性能和系統(tǒng)穩(wěn)定性高、成本低和擴展性強的特點。HBase是Hadoop系統(tǒng)中的子

2、項目，在數(shù)據(jù)更新和存儲上與關(guān)系型數(shù)據(jù)庫不同，它同時也繼承了Hadoop的優(yōu)點。HBase提供的接口方便了開發(fā)人員的應(yīng)用。因此，許多大企業(yè)都用到了Hadoop分布式系統(tǒng)對海量數(shù)據(jù)進行處理和存儲。
　　本文對通信企業(yè)在海量數(shù)據(jù)處理與存儲上遇到的問題進行了分析，設(shè)計了系統(tǒng)的總體架構(gòu)，并實現(xiàn)了其中的主要模塊功能。作者的主要工作如下：
　?。?）針對中國電信某分公司提出全省上網(wǎng)日志文件的存儲與查詢需求進行分析，同時考慮到系統(tǒng)的安全和穩(wěn)

3、定性的需求，提出了系統(tǒng)的總體架構(gòu)。并搭建了Hadoop集群的實驗環(huán)境，為系統(tǒng)的實現(xiàn)提供了良好的支撐。
　?。?）根據(jù)每個模塊實現(xiàn)的功能將系統(tǒng)的總體架構(gòu)分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲和數(shù)據(jù)呈現(xiàn)四個模塊，以及各個模塊的功能進行了詳細設(shè)計。同時，實現(xiàn)了系統(tǒng)的數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)呈現(xiàn)模塊的功能。
　?。?）實現(xiàn)了海量數(shù)據(jù)存儲和計算平臺的主要功能模塊。數(shù)據(jù)處理模塊主要使用MapReduce程序?qū)?shù)據(jù)進行處理，主要對數(shù)據(jù)進

4、行連接操作。數(shù)據(jù)存儲模塊使用三種不同的存儲方式進行存儲，包括關(guān)系型數(shù)據(jù)庫 Oracle、Lucene和HBase分布式數(shù)據(jù)庫。數(shù)據(jù)呈現(xiàn)模塊又分為WEB端和Service端，采用WebService的方式實現(xiàn)。WEB端主要是頁面的呈現(xiàn)使用了緩存技術(shù)。Service端主要是數(shù)據(jù)的查詢，查詢出的結(jié)果以Json的數(shù)據(jù)形式傳遞給前段頁面。
　?。?）通過四組不同數(shù)量級的數(shù)據(jù)分別對Oracle、Lucene和HBase存儲和查詢性能進行了實驗