基于Hadoop的海量數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著通信行業(yè)和互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，用戶在上網(wǎng)過(guò)程中產(chǎn)生的數(shù)據(jù)量以TB級(jí)速度增長(zhǎng)，企業(yè)的海量數(shù)據(jù)處理和存儲(chǔ)面臨著嚴(yán)峻的挑戰(zhàn)，數(shù)據(jù)的處理能力和存儲(chǔ)能力以成為企業(yè)發(fā)展需要考慮的一個(gè)嚴(yán)峻的問(wèn)題，分布式計(jì)算和云存儲(chǔ)的應(yīng)用能解決這一問(wèn)題。Hadoop分布式系統(tǒng)以其隨機(jī)訪問(wèn)、實(shí)時(shí)讀寫為大數(shù)據(jù)提供了存儲(chǔ)條件。同時(shí)，Hadoop分布式系統(tǒng)之所以備受廣大企業(yè)的青睞，是因?yàn)槠涮幚硇阅芎拖到y(tǒng)穩(wěn)定性高、成本低和擴(kuò)展性強(qiáng)的特點(diǎn)。HBase是Hadoop系統(tǒng)中的子

2、項(xiàng)目，在數(shù)據(jù)更新和存儲(chǔ)上與關(guān)系型數(shù)據(jù)庫(kù)不同，它同時(shí)也繼承了Hadoop的優(yōu)點(diǎn)。HBase提供的接口方便了開發(fā)人員的應(yīng)用。因此，許多大企業(yè)都用到了Hadoop分布式系統(tǒng)對(duì)海量數(shù)據(jù)進(jìn)行處理和存儲(chǔ)。
　　本文對(duì)通信企業(yè)在海量數(shù)據(jù)處理與存儲(chǔ)上遇到的問(wèn)題進(jìn)行了分析，設(shè)計(jì)了系統(tǒng)的總體架構(gòu)，并實(shí)現(xiàn)了其中的主要模塊功能。作者的主要工作如下：
　　（1）針對(duì)中國(guó)電信某分公司提出全省上網(wǎng)日志文件的存儲(chǔ)與查詢需求進(jìn)行分析，同時(shí)考慮到系統(tǒng)的安全和穩(wěn)

3、定性的需求，提出了系統(tǒng)的總體架構(gòu)。并搭建了Hadoop集群的實(shí)驗(yàn)環(huán)境，為系統(tǒng)的實(shí)現(xiàn)提供了良好的支撐。
　　（2）根據(jù)每個(gè)模塊實(shí)現(xiàn)的功能將系統(tǒng)的總體架構(gòu)分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)呈現(xiàn)四個(gè)模塊，以及各個(gè)模塊的功能進(jìn)行了詳細(xì)設(shè)計(jì)。同時(shí)，實(shí)現(xiàn)了系統(tǒng)的數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)呈現(xiàn)模塊的功能。
　?。?）實(shí)現(xiàn)了海量數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)的主要功能模塊。數(shù)據(jù)處理模塊主要使用MapReduce程序?qū)?shù)據(jù)進(jìn)行處理，主要對(duì)數(shù)據(jù)進(jìn)

4、行連接操作。數(shù)據(jù)存儲(chǔ)模塊使用三種不同的存儲(chǔ)方式進(jìn)行存儲(chǔ)，包括關(guān)系型數(shù)據(jù)庫(kù) Oracle、Lucene和HBase分布式數(shù)據(jù)庫(kù)。數(shù)據(jù)呈現(xiàn)模塊又分為WEB端和Service端，采用WebService的方式實(shí)現(xiàn)。WEB端主要是頁(yè)面的呈現(xiàn)使用了緩存技術(shù)。Service端主要是數(shù)據(jù)的查詢，查詢出的結(jié)果以Json的數(shù)據(jù)形式傳遞給前段頁(yè)面。
　?。?）通過(guò)四組不同數(shù)量級(jí)的數(shù)據(jù)分別對(duì)Oracle、Lucene和HBase存儲(chǔ)和查詢性能進(jìn)行了實(shí)驗(yàn)